V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  sealinfree  ›  全部回复第 2 页 / 共 2 页
回复总数  34
1  2  
2022-11-30 23:14:21 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@lysS 感谢这么多较真的朋友!
2022-11-30 23:13:27 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@lysS 1 、截取了片段代码,部分是为了表达清楚逻辑构造的。
2 、最开始返回的 str ,但是内存溢出,就不断尝试调整
3 、实际使用的是带分区读写锁的 map ,还是为了逻辑简单直接构造了一个 map
4 、服务器内存比较大,直接读取实测速度更快,就改为这个版本了
5 、该函数底层就是 path.Join ,只是因为路径比较复杂,要动态获取,单独封装了一个函数
6 、指针引用再搭配分区 map ,会产生一些不可预料的修改错误,所以还是用值传递比较多了

最后,使用 string()转换不能解决溢出问题,使用 strings.clone 深拷贝才可以
2022-11-30 01:27:08 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@swulling 是的,之前不明白此处该使用深拷贝,这次学习了
2022-11-30 01:26:24 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@rrfeng 谢谢指导,因为数据最终要放到内存作为常驻缓存,所以逐行读取和一次性读取区别不大;切分处理速度比顺序处理快 6 倍,配置是 12 核心 24 线程虚拟机,也是优化过才成了这个样子,第一版是流式顺序处理,载入一次 1G 文件要 1 分钟多,无法忍受,改为多线程变成 10-16 秒了
2022-11-29 22:22:09 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@yin1999 问题解决,内存稳定了,感谢
2022-11-29 21:28:11 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@yin1999 #6 有道理!感谢!受教了,我改好上线跑一段时间看看
2022-11-29 21:23:48 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@yin1999 #3 感谢指点,我改下试试
2022-11-29 21:15:00 +08:00
回复了 sealinfree 创建的主题 Go 编程语言 求教 os.readfile 内存溢出的问题
@Maboroshii #1 线上系统 pprof 比较了 6 个小时间隔的内存数据,这部分增长了 3G 的内存
2022-09-21 22:26:07 +08:00
回复了 zhonj 创建的主题 宽带症候群 50 人小型公司网络如何建设需要采购啥设备
坐标成都,mikrotik 全线产品考虑下,主路由 5009 ,交换机华为二手 24-48 口*2 ,ap hap ax2 、hap ac2 、hap ac3 * 6-8 ,设备预算可以控制在 5000 以内,其他费用可以提供 1-2 年远程或上门维护,提供日志、域名关联白名单、钉钉关联告警,网络结构可以弹性扩容,主路由 5009 可支撑 200-400 设备,同时可以解决 sdwan 组网问题,提供独立开发的控制面板 RosZ 云路由 rosz.cn
2022-09-21 22:14:18 +08:00
回复了 haihaishuaige 创建的主题 问与答 现在你们的生日都是怎么过的?
生日快乐!!!
2022-09-17 20:58:21 +08:00
回复了 Slogen 创建的主题 职场话题 女生,成都,数据分析, offer 求选择
B ,因为感觉 A 的背景有点复杂,不能保证 A 老板说的都是事实,而 B 的情况比较清楚
2022-08-28 14:02:22 +08:00
回复了 a33291 创建的主题 程序员 哦豁,喜提中度脂肪肝
@necomancer 那程序员岂不值钱了?按 g 算钱,雄起
2022-08-27 12:52:19 +08:00
回复了 a33291 创建的主题 程序员 哦豁,喜提中度脂肪肝
我也有,控制饮食,减少热量摄入,锻炼身体,半年左右就没了;
暴饮暴食,管不住嘴,几个月又有了;
反反复复,综上所述,关键还是自律,一起加油!不用过度焦虑,只要血脂肝功指标稳定在健康范围内,先控制饮食增加运动量调节下!
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1206 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 18:18 · PVG 02:18 · LAX 10:18 · JFK 13:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.