这是一个创建于 572 天前的主题，其中的信息可能已经有所发展或是发生改变。
想离线运行下大模型玩玩，有几个问题比较纠结，请教下各位大佬 1.现在还能搞到 4090 么？有啥便宜靠谱的渠道么？ 2.4090 和 4090d 差距有多大呢？ 3.入手 4090 还是等等 5090
 |
1
dcalsky 2024-04-07 12:11:56 +08:00
现实：4090 只能跑 13B ，且无法 finetune 。
|
 |
2
rqYzyAced2NbD8fw 2024-04-07 12:15:23 +08:00
你是要运行多"大"的模型...
实测咸鱼三百块的 P4 显卡可以流畅运行 gemma 7b, 生成速度没统计，但是差不多是 GPT4 的两倍。想要跑再大一点的模型多查几张 P4 或者换 P40 都可以的吧。。 |
 |
3
444571840 2024-04-07 12:23:44 +08:00
本地能跑的大模型（ 13B 以下的），基本和弱智一下，胡编乱造。。。
|
 |
4
TabGre 2024-04-07 12:23:59 +08:00 via iPhone
要跑 SD 需要什么显卡？ 出图不卡顿
|
 |
5
8E9aYW8oj31rnbOK 2024-04-07 12:27:21 +08:00  1
我有两张 A100 。
如果楼主只是玩玩，可以去租算力，算力租赁平台很多，技术也比较成熟了 |
 |
6
evan9527 2024-04-07 12:34:59 +08:00
@TabGre #4 手持 3060 ，500x500 生图几秒一张，至少比我 A 卡的 macbook 快多了，还得是英伟达。
|
 |
7
jmc891205 2024-04-07 13:24:19 +08:00
192G 的 M2 ultra 的 Mac Studio
或者等 256G 的 M3 ultrl |
 |
8
ichou 2024-04-07 13:46:35 +08:00
https://featurize.cn/ 玩一下的话，建议租一个
|
 |
9
JayZXu 2024-04-07 14:40:06 +08:00
个人部署的离线大模型的话，性价比最高的应该还是 M40 24G 版本的
只是运行大模型的话，显存足够大能加载模型就行，速度其实都是次要的 如果微调或者训练模型的话，一张 4090 也不太行，少说也要准备 100G 以上才能得到比较理想的效果 所以如果真的不是能有确定的项目收入，不如直接租个服务器玩玩算了，大多数情况下，直接调用各个收费模型免费的 API 额度都比自己搭的模型靠谱 |
 |
10
waityan 2024-04-07 15:15:48 +08:00
我的笔记本 i5 都能勉强跑得动 7b 的模型，用 ollama
|
 |
12
gunnarli 2024-04-07 20:15:50 +08:00 1
玩玩的话可以考虑租用，有很多算力租用平台，不过谨防跑路，谨慎甄别，祝顺利
|
|
14
rqYzyAced2NbD8fw 2024-04-08 06:38:15 +08:00
|
 |
15
kwater 2024-04-08 07:33:21 +08:00
离线运行，纯推理 chat ？
可以试试 模型类型+ benchmark 关键字 找到你能接受的性价比。 单片 4090 有 model 容量天花板，容易见顶完全不能用， 反而 ram 64-128g 的话可以天花板更高点 |
 |
17
pslucifer 2024-04-08 09:08:20 +08:00
A100 可以吗？
|
 |
18
lingeo 2024-04-08 09:56:15 +08:00
@Leonkennedy2 我看了 A100 的参数，互连上面写的是 nvlink * 2 是只支持两块互连吗？
|
|
19
8E9aYW8oj31rnbOK 2024-04-08 10:26:50 +08:00
@lingeo 是的，单个接口 nvlink * 2 ，最多可以 2+2 ，4 块互联
|
Select Language