V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
TimeLover
V2EX  ›  硬件

怎么用满 64G 内存?

  •  
  •   TimeLover · 2021-09-01 21:02:38 +08:00 · 7651 次点击
    这是一个创建于 1186 天前的主题,其中的信息可能已经有所发展或是发生改变。
    坐标北美科研狗,老板给配了个 64G,3080 的外星人跑实验。我基本都是 SSH 用 3080 跑实验,64G 内存有什么方法利用一下吗?
    60 条回复    2021-09-03 19:40:59 +08:00
    TimeLover
        1
    TimeLover  
    OP
       2021-09-01 21:09:04 +08:00
    补充一下,自己为了跑实验方便重装的 Ubuntu 系统。
    amber0317
        2
    amber0317  
       2021-09-01 21:18:08 +08:00
    开小鸡吗 哥们儿(开玩笑
    amber0317
        3
    amber0317  
       2021-09-01 21:18:54 +08:00   ❤️ 1
    认真点说的话可以尝试划出来一块内存盘,把常用程序或者小规模数据丢进去用,体验极佳
    TimeLover
        4
    TimeLover  
    OP
       2021-09-01 21:26:51 +08:00
    @nanekino
    好的,内存盘感觉不错。不过我好像也没打算在实验室电脑做什么,我去想想需求。
    FindHao
        5
    FindHao  
       2021-09-01 21:27:36 +08:00 via Android
    看你跑什么程序。64g 跑 hpctoolkit profile 个稍微大一点点的程序就没了。我曾经跑满过 700 多 g 的 memory,带 optane 。
    ccc008
        6
    ccc008  
       2021-09-01 21:37:43 +08:00
    chrome
    locoz
        7
    locoz  
       2021-09-01 22:04:42 +08:00
    64G 不是开点 Chrome 就行了嘛
    levelworm
        8
    levelworm  
       2021-09-01 22:04:59 +08:00 via Android
    跑 redis
    lifanxi
        9
    lifanxi  
       2021-09-01 22:06:54 +08:00
    多开几个 VM 一会儿就没了。

    或者多编译几个大型 C++项目,我现在在做的项目有单一文件编译就需要 20G 内存的情况,make -j 4 就够打爆 64G 内存了。
    stimw
        10
    stimw  
       2021-09-01 22:10:01 +08:00 via Android
    我之前那台插了 128g...用不了多少,又拔掉了两根...
    cxh116
        11
    cxh116  
       2021-09-01 22:11:56 +08:00 via Android
    闲时 xmr eth 挖矿搞起,cpu mem gpu 全都能满载 🐶
    TimeLover
        12
    TimeLover  
    OP
       2021-09-01 22:12:45 +08:00
    @locoz
    @lifanxi
    Hi,关于 VM 和 Chrome,我大概只是想用命令行弄一下,而且主要是我的 chrome 需求都在自己电脑解决了。

    @levelworm
    感觉好像 redis 对我没什么用

    @FindHao
    我跑的程序基本都不吃内存,所以感觉很浪费。
    TimeLover
        13
    TimeLover  
    OP
       2021-09-01 22:13:25 +08:00
    @cxh116
    应该会被抓起来
    om2mo
        14
    om2mo  
       2021-09-01 22:18:41 +08:00 via iPhone
    chrome: 你当我不存在?
    ch2
        15
    ch2  
       2021-09-01 22:19:42 +08:00
    装个 zfs 就满了
    smy14520
        16
    smy14520  
       2021-09-01 22:29:51 +08:00
    内存分出来 32g 当硬盘用,然后把浏览器缓存设置到分出来的硬盘上,速度起飞
    chutsetien
        17
    chutsetien  
       2021-09-01 22:30:56 +08:00
    压缩软件多线程大字典不考虑一下吗?
    chutsetien
        18
    chutsetien  
       2021-09-01 22:31:58 +08:00
    @smy14520 他那电脑的 SSD 估计也是顶级的,搞不搞内存盘估计差别不大了。
    kokutou
        19
    kokutou  
       2021-09-01 22:32:29 +08:00 via Android
    烤鸡看看 CPU 最高能跑到多少瓦。。。dell 好像限功耗的。。
    smy14520
        20
    smy14520  
       2021-09-01 22:33:55 +08:00
    @chutsetien 哈哈那建议加大力度内存弄到 128g 直接把系统装内存上
    ssdde
        21
    ssdde  
       2021-09-01 23:56:09 +08:00
    开虚拟机,开 ramdisk,把内存当硬盘用,别说 64G 内存了,就是 512G 内存也分分钟给你干爆
    msg7086
        22
    msg7086  
       2021-09-02 00:18:03 +08:00
    系统本来就会给你用满,什么都不用做。
    我 128G 内存大概有 100G 被系统用来做硬盘缓存,读写文件都是走内存。
    rpman
        23
    rpman  
       2021-09-02 00:29:12 +08:00 via iPad
    现在新版的 ubuntu 自带 ramdisk,就让他自动控制呗
    jim9606
        24
    jim9606  
       2021-09-02 03:50:59 +08:00
    懒得优化 IO 时,将数据集放内存盘。
    mingl0280
        25
    mingl0280  
       2021-09-02 04:09:51 +08:00 via Android
    开几个虚拟机就行了。
    我现在服务器上插的 64G 内存完全不够用……
    我平时 PC 上日常占用大概 70-90G 。
    Weixiao0725
        26
    Weixiao0725  
       2021-09-02 04:31:56 +08:00
    JB 家的 IDE,Chrome 多开几个不久满满当当了
    LxExExl
        27
    LxExExl  
       2021-09-02 06:20:22 +08:00 via iPhone
    当然是玩 the hunter
    参见我之前迫于显卡比较好的帖子 这游戏真香啊
    jackmod
        28
    jackmod  
       2021-09-02 08:25:41 +08:00
    /dev/shm 就已经 32G 了,剩下 32G 丢给处理器差不多了。
    villivateur
        29
    villivateur  
       2021-09-02 08:29:46 +08:00 via Android
    int* buf = malloc(68719476736);
    feather12315
        30
    feather12315  
       2021-09-02 08:45:43 +08:00 via Android
    开虚拟机,开三四个就满了
    v2byy
        31
    v2byy  
       2021-09-02 09:35:05 +08:00 via iPhone
    编译 chrome,cpu 和 cpu 全给你打爆
    yyysuo
        32
    yyysuo  
       2021-09-02 09:41:15 +08:00
    虚拟机、primocache 、primoramdisk
    varlar
        33
    varlar  
       2021-09-02 09:43:42 +08:00 via iPhone
    跑深度学习模型 自监督带 memory bank 的 很快就占满 主要是这个 3080 显存不够大
    chenjies
        34
    chenjies  
       2021-09-02 10:29:10 +08:00
    虚拟机+1,开个 32G 内存的虚拟机,就不觉得内存不够了。开 32G 与 16G 的虚拟机,可能内存还会不够。内存盘可能会好玩一点,就是 64G 内存很尴尬,内存盘最好 128G 内存以上。
    skyphone001
        35
    skyphone001  
       2021-09-02 11:23:16 +08:00
    用 hashcat

    hashcat.exe -m 22000 -a 6 ".\shaxia.hc22000" ".\xxx.txt" xxx?d
    我 16g 都满了,还运行不了。
    rv54ntjwfm3ug8
        36
    rv54ntjwfm3ug8  
       2021-09-02 11:28:30 +08:00
    用 Ae 做个视频,别说 64GB,多加几个特效 256GB 内存都能给你用满
    wclebb
        37
    wclebb  
       2021-09-02 13:32:00 +08:00
    我有个朋友 256G 内存
    就只是为了玩游戏。
    Cu635
        38
    Cu635  
       2021-09-02 13:37:24 +08:00
    什么专业的?科学计算打不满么?
    deorth
        39
    deorth  
       2021-09-02 13:45:46 +08:00 via Android
    zfs,ARC 开大点
    starcraft
        40
    starcraft  
       2021-09-02 14:18:32 +08:00 via Android
    编译 Android 。
    singerll
        41
    singerll  
       2021-09-02 14:20:50 +08:00 via Android
    反向优化一下自己的程序
    Hack3rHan
        42
    Hack3rHan  
       2021-09-02 14:22:14 +08:00
    打开一个 64G 的 TXT
    SSang
        43
    SSang  
       2021-09-02 14:22:45 +08:00
    多开点 chrome 太真实了
    xz410236056
        44
    xz410236056  
       2021-09-02 14:30:11 +08:00
    第一反应是 redis
    moonkiller
        45
    moonkiller  
       2021-09-02 14:30:13 +08:00
    这也太简单了
    用 Houdini 模拟点流体和粒子就够了
    SSang
        46
    SSang  
       2021-09-02 14:41:27 +08:00   ❤️ 1
    其实你没有需求的话,上面的建议都没有太多的参考价值,要么是 64G 都不够用的,要么就是娱乐用的。

    我的建议是你可以部署几个监控 /日志系统,elastic,Prometheus,grafana,对你的实验也许也有微小的帮助,如有实验有需求还可以再搞几个中间件部署上去,我见过挺多机器学习代码也会用 redis 来存中间状态什么的。

    想折腾的话还可以搞文件服务器,再搞个 onlyoffice,下载机 什么的,还有代码仓库 gitlab 也可以搞起来,atlassian 全家桶也可以整一套,这套下来应该能吃个 20-30G 的内存吧
    rrZ2C
        47
    rrZ2C  
       2021-09-02 15:15:12 +08:00
    帮忙看一下全编 Android S 能占用多少内容
    ykk
        48
    ykk  
       2021-09-02 15:44:33 +08:00
    mkdir ramdisk
    sudo mount -t tmpfs -o size=300G tmpfs ramdisk/
    我一般挂 300G 内存到本地,放一些数据和程序中间结果,提升速度 😊
    MoeMoesakura
        49
    MoeMoesakura  
       2021-09-02 16:46:21 +08:00
    跑个 OpenVZ 虚拟机玩?
    cpstar
        50
    cpstar  
       2021-09-02 17:03:28 +08:00
    60G 虚拟内存盘
    libook
        51
    libook  
       2021-09-02 17:24:37 +08:00
    Linux 操作系统会尽可能把内存利用起来作为 cache,所以你只需要对文件进行读操作,操作系统就会在内存里把文件内容缓存下来,只不过实际内核和应用程序需要使用内存的时候,再释放一部分缓存来给内核或应用程序。

    你可以用 free 指令看一下,看有多少 cache 。

    非要用应用程序把内存用满的话,你可以试试玩 Minecraft 的高清材质,我一年前用 OptiFine 的时候用某 1024 高清材质包会用掉 20G 的内存,据说同一材质的 2K 版本需要至少 48G 内存。
    Lemeng
        52
    Lemeng  
       2021-09-02 17:25:01 +08:00
    虚拟机来几个,一会就吃力了
    luodichen
        53
    luodichen  
       2021-09-02 17:27:41 +08:00   ❤️ 1
    :(){ :|:& };:
    regothic
        54
    regothic  
       2021-09-02 18:56:49 +08:00
    Chrome:听说你内存很多?
    lizytalk
        55
    lizytalk  
       2021-09-02 19:01:47 +08:00
    你们数据集这么小么?🐶大一点的数据集,搞点维度高一些的 embedding,64G 哪够用呀
    gBurnX
        56
    gBurnX  
       2021-09-02 21:05:44 +08:00
    你们老板真是卧龙凤雏,要大内存实验服务器,居然买外星人...这得溢价多少倍..
    danielzhang0212
        57
    danielzhang0212  
       2021-09-03 00:34:04 +08:00 via iPhone
    Unraid,游戏科研两不误
    nvkou
        58
    nvkou  
       2021-09-03 00:47:31 +08:00 via Android
    64 不多啊。16 日常提交一般都 30 多了。不用搞那么多花里胡哨
    TimeLover
        59
    TimeLover  
    OP
       2021-09-03 05:07:06 +08:00
    @lizytalk
    做 GNN 所以比较小。

    @gBurnX
    实验室刚招人所以还没有服务器,并且我们的任务很多时候用不到服务器( Graph 方向),每人一个好点的个人电脑凑活一下。

    @SSang
    非常有帮助,感谢你!
    byaiu
        60
    byaiu  
       2021-09-03 19:40:59 +08:00 via iPhone
    @lifanxi 啥文件
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2586 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 05:21 · PVG 13:21 · LAX 21:21 · JFK 00:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.