这是一个创建于 789 天前的主题，其中的信息可能已经有所发展或是发生改变。
我在考虑升级主机到双 3090, 网上有人说主板不需要支持 nvidia sli, 也能发挥双 GPU 的实力. 因为 tf 和 pytorch 都支持多 GPU; 但是没有提到 3090 支持的 nvlink 会不会受影响.
如果用了 nvlinik, 2 块 3090 的 24G 可以合并成 48G. 所以我的问题是: 如果主板不支持 sli, 那么还能用 nvlink 合并显存吗?
 |
1
paopjian 2022-10-21 23:47:08 +08:00
nvlink 不能叠加显存,只是提高通信带宽的,现在的深度学习框架有其他技术实现单机多卡训练
想要超大显存只能买更贵的卡 |
 |
2
yangyaofei 2022-10-22 00:15:32 +08:00 via Android
多卡带来的是 batch size 方向的提升，如果本身模型太大，单卡跑不了 1 个 batch ，多卡也放不下的。 其实现在有梯度累积，只要能放下一个 batch 就可以累积成比较大的 batch,虽然损失速度和精度。 所以多卡更多的是训练速度上的提升
|
 |
3
siknet 2022-10-22 00:18:53 +08:00 via Android
三块 p40 肯定比一块 3090 性能好吧？
|
 |
4
fisherwei 2022-10-22 13:34:19 +08:00
nvlink 如果能合并显存，美国还封锁什么 A100 H100
|
 |
5
systemcall 2022-10-22 19:20:34 +08:00
SLI 是打游戏用的，现在基本上淘汰了，新点的游戏基本上都不再支持任何多 GPU 技术了
tf 和 PyTorch ，都是自己实现的多 GPU 。你弄两个一样的 GPU 就行了。其实和挖矿差不多的 nvlink 和主板是否支持 SLI 没关系。SLI 的桥其实和那些多屏卡的同步器是类似的，只是用来同步帧序列 nvlink 有一些地方说可以增加显存，但是一般的场景好像没那么大的作用，还是只能用一张显卡的显存 |
Select Language