V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kanson
V2EX  ›  程序员

组装个神经网络模型推理主机,放本地跑数据,大家觉得这配置怎么样

  •  
  •   kanson ·
    kanson1996 · 141 天前 · 1497 次点击
    这是一个创建于 141 天前的主题,其中的信息可能已经有所发展或是发生改变。

    规格参数

    • 机型/机箱:GPU 服务器,中等塔式机箱
    • 主板:配置华硕/微星的 B760M 主板
    • CPU:配置 i7 13700KF 16C 2.7-5.4GHz 30M 125W 处理器
    • 内存:配置 1 条 32GB DDR4 内存条、4 个内存插槽
    • 硬盘:配置 1 块 480GB SATA 接口 SSD 硬盘
    • GPU 卡:配置 1 块 RTX 3090 24G GPU 卡
    • 电源:配置 750w 主机电源
    • 散热:配置水冷散热

    预算 1 万左右

    19 条回复    2024-06-21 16:45:38 +08:00
    iClass
        1
    iClass  
       141 天前 via Android
    2w 起步 💻
    uNXA7lt9OGmvxsya
        2
    uNXA7lt9OGmvxsya  
       141 天前   ❤️ 2
    要我的话会选 四卡 V100 SXM2 16G 服务器,丢弱电间用,反正自己玩玩不在乎速度,能跑就行
    jimrok
        3
    jimrok  
       141 天前
    这个 24G 的卡,只能跑个小模型吧。不过学习用完全没问题。
    lloovve
        4
    lloovve  
       141 天前 via iPhone   ❤️ 1
    上 D5 比较好,有些推理比较吃内存速度
    lloovve
        5
    lloovve  
       141 天前 via iPhone
    另外硬盘太小了
    i1MqODKe0P16t1Ra
        6
    i1MqODKe0P16t1Ra  
       141 天前
    内存插满比较好,128G
    28Sv0ngQfIE7Yloe
        7
    28Sv0ngQfIE7Yloe  
       141 天前
    一万能下来么?一块 3090 都多少了
    afeiche
        8
    afeiche  
       141 天前
    硬盘太小,大模型容量很大的
    iMoutai
        9
    iMoutai  
       141 天前
    猿神:启动!!!
    buaacss
        10
    buaacss  
       141 天前   ❤️ 2
    1 块 3090 还不如搞 4 块 P40 , 核心和 2080TI 一样,24GB 显存。Qwen-VL 的模型我 8 块 2080ti 没跑起来,准备换成 P40 了。
    kanson
        11
    kanson  
    OP
       141 天前
    @iClass 哈哈,直接 double 了🤣
    kanson
        12
    kanson  
    OP
       141 天前
    @lighting9792 可以可以,听起来也是个不错的选择~!弱电间还要维护哎
    kanson
        13
    kanson  
    OP
       141 天前
    @jimrok 是叭,艰难度日😅
    kanson
        14
    kanson  
    OP
       141 天前
    @lloovve #4 好的,这上面确实不必太省
    @lloovve #5 暂时没想到有大存储的需求场景,想的可能是定期转移备份?
    kanson
        15
    kanson  
    OP
       141 天前
    @joyarise 需要的时候再加哈哈
    kanson
        16
    kanson  
    OP
       141 天前
    @Morii 有点紧张哎
    kanson
        17
    kanson  
    OP
       141 天前
    @afeiche emmm...也是个烦恼,搞大些省的经常来回手动处理
    kanson
        18
    kanson  
    OP
       141 天前
    @buaacss 是叭是叭,也想组多卡来着,能这样最好啦~!
    kanson
        19
    kanson  
    OP
       139 天前
    来更新进展啦~
    1. 内存加到了 64G DDR5
    2. 硬盘改成了 2T 、7200RPM 的机械硬盘+512G SSD
    3. 目前这配置,微调肯定够呛,后面有需求,再组多卡( 3090 貌似还支持 NvLink )或者看看其他计算卡

    总花费:¥ 13868.9
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2891 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 14:49 · PVG 22:49 · LAX 06:49 · JFK 09:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.