V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chuwt
V2EX  ›  程序员

如何优化 Go 频繁的读文件导致的调度开销

  •  
  •   chuwt · 35 天前 · 1928 次点击
    这是一个创建于 35 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在需要对一个文件频繁的读,没有写,文件大小在 100-500G 左右,有顺序读,有随机读。 现在是读取次数太多陷入 syscall 太多然后导致调度占用时间变多,大佬们这种如何优化。

    10 条回复    2021-09-20 00:37:58 +08:00
    JKeita
        1
    JKeita   35 天前
    顺序读也就每次加载一段数据到内存,随机的话感觉优化不了。
    MidGap
        2
    MidGap   35 天前
    可以参考 mmap
    rrfeng
        3
    rrfeng   35 天前 via Android
    根据文件内容,拆分后索引起来。
    如果文件本身有序那也可以索引 offset
    wellsc
        4
    wellsc   35 天前
    文件啥类型的,纯文本?有没有格式?
    ch2
        5
    ch2   35 天前
    直接 mmap
    misaka19000
        6
    misaka19000   35 天前
    mmap+1 让 OS 帮你调度
    llllIIIIllll
        7
    llllIIIIllll   35 天前
    买 1T 内存
    index90
        8
    index90   35 天前
    了解一下 golang 的 netpoll,仿造一个?
    CrazyMonkeyV
        9
    CrazyMonkeyV   35 天前
    长打开这个文件,不关闭就行了
    b00tyhunt3r
        10
    b00tyhunt3r   34 天前
    不 close 不就行了吗?
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1367 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:58 · PVG 01:58 · LAX 10:58 · JFK 13:58
    ♥ Do have faith in what you're doing.