在數(shù)據(jù)分析中經(jīng)常需要從csv格式的文件中存取數(shù)據(jù)以及將數(shù)據(jù)寫書到csv文件中。將csv文件中的數(shù)據(jù)直接讀取為dict類型和DataFrame是非常方便也很省事的一種做法,以下代碼以鳶尾花數(shù)據(jù)為例。
代碼
# -*- coding: utf-8 -*- import csv with open('E:/iris.csv') as csvfile: reader = csv.DictReader(csvfile, fieldnames=None) # fieldnames默認(rèn)為None,如果所讀csv文件沒有表頭,則需要指定 list_1 = [e for e in reader] # 每行數(shù)據(jù)作為一個(gè)dict存入鏈表中 csvfile.close() print list_1[0]
輸出
{'Petal.Length': '1.4', 'Sepal.Length': '5.1', 'Petal.Width': '0.2', 'Sepal.Width': '3.5', 'Species': 'setosa'}
如果讀入的每條數(shù)據(jù)需要單獨(dú)處理且數(shù)據(jù)量較大,推薦逐條處理然后再放入。
list_1 = list() for e in reader: list_1.append(your_func(e)) # your_func為每條數(shù)據(jù)的處理函數(shù)
代碼
# 數(shù)據(jù) data = [ {'Petal.Length': '1.4', 'Sepal.Length': '5.1', 'Petal.Width': '0.2', 'Sepal.Width': '3.5', 'Species': 'setosa'}, {'Petal.Length': '1.4', 'Sepal.Length': '4.9', 'Petal.Width': '0.2', 'Sepal.Width': '3', 'Species': 'setosa'}, {'Petal.Length': '1.3', 'Sepal.Length': '4.7', 'Petal.Width': '0.2', 'Sepal.Width': '3.2', 'Species': 'setosa'}, {'Petal.Length': '1.5', 'Sepal.Length': '4.6', 'Petal.Width': '0.2', 'Sepal.Width': '3.1', 'Species': 'setosa'} ] # 表頭 header = ['Petal.Length', 'Sepal.Length', 'Petal.Width', 'Sepal.Width', 'Species'] print len(data) with open('E:/dst.csv', 'wb') as dstfile: #寫入方式選擇wb,否則有空行 writer = csv.DictWriter(dstfile, fieldnames=header) writer.writeheader() # 寫入表頭 writer.writerows(data) # 批量寫入 dstfile.close()
上述代碼將數(shù)據(jù)整體寫入csv文件,如果數(shù)據(jù)量較多且想實(shí)時(shí)查看寫入了多少數(shù)據(jù)可以使用writerows函數(shù)。
代碼
# 讀取csv文件為DataFrame import pandas as pd dframe = pd.DataFrame.from_csv('E:/iris.csv')
也可以稍微曲折點(diǎn):
import csv import pandas as pd with open('E:/iris.csv') as csvfile: reader = csv.DictReader(csvfile, fieldnames=None) # fieldnames默認(rèn)為None,如果所讀csv文件沒有表頭,則需要指定 list_1 = [e for e in reader] # 每行數(shù)據(jù)作為一個(gè)dict存入鏈表中 csvfile.close() dfrme = pd.DataFrame.from_records(list_1)
dfrme.to_csv('E:/dst.csv', index=False) # 不要每行的編號(hào)
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com