用python快速读取大文件几个GB以上的csv数据文件

遇到几个GB的csv大文件,用python读取时,可以通过next()函数一行行来读取以提高效率,然后分批量进行处理。

1、文件格式例图

用python快速读取大文件几个GB以上的csv数据文件-LMLPHP
其中第一、第二行是数据行数、列数汇总。

2、流程

1、把csv第一、第二行的数据说明,先读取出来并转换成字典
2、循环行数,使用next()一行行读取
3、把读取出来的数据分批量进行处理
4、比如画图显示、滤波处理等

3、代码

# -*- coding: utf-8 -*-

"""
@contact: 微信 1257309054
@file: 读取与写入csv.py
@time: 2024/4/16 18:25
@author: LDC
"""
import csv
import numpy as np
import re


04-19 20:14