WilliamHL 最近的时间轴更新 WilliamHL 最近的时间轴更新 |
WilliamHLV2EX 第 363318 号会员，加入于 2018-11-15 11:57:24 +08:00 |
| 如何优化 Python 计算超大字典的问题 Python • WilliamHL • 2021-02-08 10:04:46 AM • 最后回复来自 ghostviper | 30 |
WilliamHL 最近回复了
2021-03-29 20:24:30 +08:00 回复了 huzhikuizainali 创建的主题 › Python › 为什么要使用 anaconda 做数据分析。相比于直接使用某一款 IDE，其必要性是什么？ |
感觉生产环境 virtualenv 更习惯
2021-03-29 20:23:21 +08:00 回复了 huzhikuizainali 创建的主题 › Python › 为什么要使用 anaconda 做数据分析。相比于直接使用某一款 IDE，其必要性是什么？ |
环境隔离，项目 a 需要用到 numpy-A 版本，项目 b 需要用到 numpy-B 版本，这样可以方便进行环境管理和切换
2021-02-05 14:43:20 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@kele1997 感谢，我去尝试一下。多进程是后来改写的，还没有验证，数据上都是之前单进程执行出现的
2021-02-05 14:41:23 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@DoctorCat 尝试了一下 del 确实比 pop 占用多一些内存。感觉峰值内存还是在切片和推导上
2021-02-05 11:31:07 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@Wincer 是这样的但是不知道有没有什么好的办法，最后坏的办法就是进行分次读取，但是感觉多 db 读取，会造成程序执行时间过长
2021-02-05 11:27:07 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@DoctorCat 大概就是 19 楼和 20 提到的问题，value 计算了很多中间层的 list 和 str 造成的，但是目前这些都是需要进行的中间层计算，暂时没有想到好的办法
2021-02-04 19:25:06 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@skinny 考虑过采用 array 实现，稍微看了下貌似能降低内存占用
2021-02-04 19:10:14 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@laqow 你竟然能看懂，我还没排版
2021-02-04 19:09:34 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@laqow Pool 是我新更新的，之前是单进程的
2021-02-04 18:52:58 +08:00 回复了 WilliamHL 创建的主题 › Python › 如何优化 Python 计算超大字典的问题 |
@linw1995 感谢啊，周末排查一下
Select Language