1
kuhung 2024-02-08 10:14:14 +08:00 ![]() 你这个预算怎么弄都能跑了,无论是大语言模型还是生图。要点就是显存够大。
|
![]() |
2
kaichen 2024-02-08 10:40:14 +08:00
推理最重要的是有足够的显存可以把模型权重加载进来。
要么是搞个内存高一些的 mac ,要么是选个实惠一些的大显存显卡(去咸鱼淘二手) 7b 的 4bit 量化在 ~4G ,13b 的 4bit 在 ~8G ,34b 的 4bit 在 ~25GB ,70b 的 4bit 在 ~23GB |
3
cmonkey OP |
![]() |
5
mythabc 2024-02-08 10:55:58 +08:00 via Android
一步到位 4090 。其他卡都是勉强跑起来,你会不断花时间在纠结这破卡是不是该换了。
不要只看 int4 的模型最低的显存占用,prompt token 上去以后显存占用会暴增,平方关系。 |
![]() |
8
passive 2024-02-08 13:44:37 +08:00 via Android
如果只是推理,够买两张 16GB 的 4060 了
|
9
thedog 2024-02-08 13:49:37 +08:00
从某种角度来说,mac studio 192G ,用来做 ai 推理,是在售成品中性价比比较高的选择之一
|
11
fushenzhi 279 天前
LM Studio 跑 Phi 3 爽歪歪,phi3 手机上都能跑了,微软大法顶呱呱。
苹果生态对深度学习天生友好,不差钱就上即将推出的 M4 芯片工作站。如果轻度玩玩,五六千买个 m2 的二手 mac 就够了。 |