pandas读取3G的csv文件卡死,咋办?

eventvwr
精光互撸娃 2019-11-13 字数 25

求问有啥办法。机器内存16G

Python Python的自由天空
7 个回复
zx107kaka
zx107kaka 2019-11-13

贴代码啊,分块读取也卡?

【 在 eventvwr 的大作中提到: 】

: 求问有啥办法。机器内存16G

GoldenBull
祝病魔早日战胜方老师 2019-11-13

看一下chunk_size这个参数

【 在 eventvwr (精光互撸娃) 的大作中提到: 】

: 求问有啥办法。机器内存16G

sea801
sea801 2019-11-27
zhangfan4590
这个世界就是给胆大狡猾的恶人准备的战场 2019-11-28

看你什么需求,如果是一行行处理的话用iterator就好了吧。

一般来说没必要全部load进内存的

【 在 eventvwr (精光互撸娃) 的大作中提到: 】

: 求问有啥办法。机器内存16G

halfyuan
halfyuan 2019-11-29

就算能勉强读进去,这堆东西怎么用啊

【 在 eventvwr 的大作中提到: 】

: 求问有啥办法。机器内存16G

superisaac
宅男总动员 2019-11-29

换成hdf5格式

【 在 eventvwr (精光互撸娃) 的大作中提到: 】

: 标  题: pandas读取3G的csv文件卡死,咋办?

: 发信站: 水木社区 (Wed Nov 13 13:02:07 2019), 转信

: 求问有啥办法。机器内存16G

: --

dhcn
朝晖 2019-12-07

按行流式读,3g也不算大。

【 在 eventvwr 的大作中提到: 】

:求问有啥办法。机器内存16G

:--

:FROM 106.37.187.*

:...................