V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
BenchWidth
V2EX  ›  硬件

如何组装一台能跑大模型的机器。

  •  
  •   BenchWidth · 57 天前 · 1447 次点击
    这是一个创建于 57 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我想组装一台能跑大模型的电脑,但是我个人在以前只有配置个人电脑的经验。对 AI 这一方面的配置不太了解,所以来请教一下各位。

    需求:

    1 、主要想运行 text-generation-webui 和 stable-diffusion-webui 两个可以不需要并行运行。

    2 、希望可以运行 llama 2 的 70B/13B 版本。

    至于要配的标准的话,可以是类似我们家用电脑的机箱形式,也可以是架在机架上的服务器。

    没有费用上限,也不需要太离谱的配置。

    因为是尝试搭建所以费用暂时最好在 2w 左右,当然越低越好,后期会进行升级配置。

    暂时能承受住同时 10 个人左右使用就可以了。

    第 1 条附言  ·  56 天前
    谢谢大家的建议了,我这边都收录了。
    8 条回复    2024-02-24 19:02:33 +08:00
    RichardML
        1
    RichardML  
       57 天前
    我自己用的 2080ti ,SD-webui 多人同时使用显存很重要,可以找找二手的大显存专业卡,10 人同时使用的话估计要接近百 G 显存了,主机的内存也不能小,防止多人同时加载模型的时候有瓶颈。综合考虑出图速度和显存大小,2080ti 改 22G 显存的是性价比最高的。
    mickerwx
        2
    mickerwx  
       57 天前
    你这个需求主要就是针对于显卡需求 如果不怕吵 选择刀片服务器 怕吵就选择塔式服务器 然后就是显卡的选择 有钱就上 4090 测试过 4090 的单位性价比是最高的 就是价格/性能 如果只是为了推理 慢一点也能接受的话 像 p40 24G v100 16G 都可以选择
    mickerwx
        3
    mickerwx  
       57 天前
    忘了看 你需要 10 个人同时使用 是只推理还是需要跑模型 只推理建议选择 p40 就行了 主要是便宜 慢点也能接受 其他的卡成本很高
    winglight2016
        4
    winglight2016  
       57 天前
    2w 只能配个 4080 的机器了,10 人并发是不可能的,搞个排队系统吧,也能凑合了
    mickerwx
        5
    mickerwx  
       56 天前
    text-generation-webui 和 stable-diffusion-webui 两个不太了解

    关于 llma2 只推理

    全精度 llama2 7B 最低显存要求:28GB
    全精度 llama2 13B 最低显存要求:52GB
    全精度 llama2 70B 最低显存要求:280GB

    16 精度 llama2 7B 预测最低显存要求:14GB
    16 精度 llama2 13B 预测最低显存要求:26GB
    16 精度 llama2 70B 预测最低显存要求:140GB

    8 精度 llama2 7B 预测最低显存要求:7GB
    8 精度 llama2 13B 预测最低显存要求:13GB
    8 精度 llama2 70B 预测最低显存要求:70GB

    4 精度 llama2 7B 预测最低显存要求:3.5GB
    4 精度 llama2 13B 预测最低显存要求:6.5GB
    4 精度 llama2 70B 预测最低显存要求:35GB
    je11yfish
        7
    je11yfish  
       55 天前
    建议先体验云端 API ,消费个 1-2k RMB 的 token 钱了,还有需要,再去配机器,Llama 2 各个云厂商都提供 api 的。
    sd 不熟悉,可以考虑类似操作。

    多数人,对大模型都是三分钟热度……
    ModerRAS
        8
    ModerRAS  
       52 天前 via iPhone
    一个显卡的话家用的也就同时跑一份模型,这种环境只可能是同时一个人用,你要同时 10 并发需要 10 个显卡。
    低配环境可以用 amd 的 8845h ,等等应该就能出小主机了,配个大内存用他自己的 npu 跑就是,虽然不快但是胜在便宜,三四千一套。这种环境下你配个 96G 内存应该是能跑 llama 70b 的 int8 量化版本的。
    其他环境家用不要考虑 70B ,那是 H100 干的活
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4887 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 09:59 · PVG 17:59 · LAX 02:59 · JFK 05:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.