Python基于read(size)方法读取超大文件
本文向大家介绍Python基于read(size)方法读取超大文件,包括了Python基于read(size)方法读取超大文件的使用技巧和注意事项,需要的朋友参考一下
pyhon读取文件很方便,但是,如果文件很大,而且还是一行文件,那就蛋疼了. 不过还好有read(size)方法,这个方法就是每次读取size大小的数据到内存中
下面来个示例
def readlines(f, separator): ''' 读取大文件方法 :param f: 文件句柄 :param separator: 每一行的分隔符 :return: ''' buf = '' while True: while separator in buf: position = buf.index(separator) # 分隔符的位置 yield buf[:position] # 切片, 从开始位置到分隔符位置 buf = buf[position + len(separator):] # 再切片,将yield的数据切掉,保留剩下的数据 chunk = f.read(4096) # 一次读取4096的数据到buf中 if not chunk: # 如果没有读到数据 yield buf # 返回buf中的数据 break # 结束 buf += chunk # 如果read有数据 ,将read到的数据加入到buf中 with open('text.txt',encoding='utf-8') as f: for line in readlines(f,'|||'): # 为什么readlines函数能够使用for循环遍历呢, 因为这个函数里面有yield关键字呀, 有它就是一个生成器函数 ...... print(line)
测试文件text.txt
fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb钦铁杆jdlfdl|||tedsthfdskfdk
打印结果
fgshfsljflsjfls
fyhdiyfdfhn
fudofdb钦铁杆jdlfdl
tedsthfdskfdk
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持呐喊教程。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:notice#yiidian.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。