pyhon讀取文件很方便,但是,如果文件很大,而且還是一行文件,那就蛋疼了. 不過還好有read(size)方法,這個方法就是每次讀取size大小的數(shù)據(jù)到內(nèi)存中

下面來個示例
def readlines(f, separator):
'''
讀取大文件方法
:param f: 文件句柄
:param separator: 每一行的分隔符
:return:
'''
buf = ''
while True:
while separator in buf:
position = buf.index(separator) # 分隔符的位置
yield buf[:position] # 切片, 從開始位置到分隔符位置
buf = buf[position + len(separator):] # 再切片,將yield的數(shù)據(jù)切掉,保留剩下的數(shù)據(jù)
chunk = f.read(4096) # 一次讀取4096的數(shù)據(jù)到buf中
if not chunk: # 如果沒有讀到數(shù)據(jù)
yield buf # 返回buf中的數(shù)據(jù)
break # 結(jié)束
buf += chunk # 如果read有數(shù)據(jù) ,將read到的數(shù)據(jù)加入到buf中
with open('text.txt',encoding='utf-8') as f:
for line in readlines(f,'|||'):
# 為什么readlines函數(shù)能夠使用for循環(huán)遍歷呢, 因為這個函數(shù)里面有yield關(guān)鍵字呀, 有它就是一個生成器函數(shù) ......
print(line)
當前標題:Python基于read(size)方法讀取超大文件-創(chuàng)新互聯(lián)
本文鏈接:http://www.chinadenli.net/article6/iijig.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供手機網(wǎng)站建設(shè)、網(wǎng)站收錄、商城網(wǎng)站、網(wǎng)站設(shè)計公司、企業(yè)建站、標簽優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容