求问想处理一个 21Gjson 文件需要怎么操作啊

[bfpiaoran]

有人跟我说
with open("file_name",'r') as file：
for line in file:
pass
这样读可以的 有没有更好的方法呀

[hellojinjie]

直接 json.loads

嗯，这个时候就是考验你是不是土豪的时候了😄

[hahastudio]

https://pypi.org/project/ijson/

[yedashuai]

@hellojinjie 楼上坏坏～～～

[mokeyjay]

json 是有一定结构的，你一行一行读了也没法解析呀

[haon]

分块啊

[bfpiaoran]

问题是 json 格式啊 可怜我的小破机器只有 16G @hahastudio @hellojinjie 坏银~~

[qfdk]

扔进 elk ？

[yanaraika]

开 swap，存成 hdf 等适合大数据的格式

[InternetExplorer]

哪个机器导出来的？这么牛的机器一定也能读吧，让那个机器转成可以分块读取的数据结构再给你

[bfpiaoran]

@hahastudio 这个库可以读么

[eastrd]

丢进 Splunk 吧

[bfpiaoran]

@InternetExplorer 从网上下的 dns 记录

[bfpiaoran]

@yanaraika
@eastrd 就像用本机处理 再开大数据好麻烦。。

[bfpiaoran]

凉了 不是 21G 解压之后 127G

[hahastudio]

@bfpiaoran https://www.dataquest.io/blog/python-json-tutorial/
不过好像要分行，如果你这个只有 1 行，那我估计你就要先预处理分行了

[Droi]

用 pandas 试试
详细的教程：
https://www.dataquest.io/blog/python-json-tutorial/

[strict]

json.load(f)试试？

[xenme]

@bfpiaoran DNS 记录也就一行一行的，不会台复杂，直接自己按行读取解析下就好了，又不是未知结构。

[814084764]

类似于 SAX 读取 XML 的方式？？？ DOM 方式肯定不行了。

JDK 提供的 XML 解析方式分为两种：DOM 方式和 SAX 方式
DOM：Document Object Model。需要读取整个 XML 文档，先需要在内存中构架代表整个 DOM 树的 Document 对象，可以进行随机访问. 需要考虑内存.适合增删改
SAX：Simple API for XML。采用事件驱动的方式解析 XML 文件，边读边对文档进行处理.适合读取

[bfpiaoran]

读出来了 很普通的格式 我去想怎么处理啦 谢谢~~~
with open("file_name",'r') as file：
for line in file:
pass
这样读都是秒读的

[wizardoz]

自己从头解析啊，深度优先，一层层放入数据库。

[FanWall]

@814084764 #19
SAX +1，边读取边解析边对解析后的数据进行处理

[bfpiaoran]

@wizardoz 打算这么做了

[crab]

导入数据库，再通过数据库来

[RicardoScofileld]

有个流式读取 json 的库 好行叫 jsonstream 来着可以用那个

[RicardoScofileld]

@Droi 如果 json 数据不规整，read_json 不会报错吗

[icyalala]

mmap 然后用 SAX 的 API 读取。
如果用 C++ 的话，可以试试 rapidjson。

[luozic]

想办法处理一下，把数据搞进数据库。后面玩起来就爽了，elk，postgresql 都支持直接处理 json

[bfpiaoran]

@luozic 搞了下太慢了 最后把首字母排序处理的~~

[luozic]

@bfpiaoran 你得先把这些数据解析一下塞到数据库里面再搞，直接塞，太耗 cpu 内存了。