这是一个专门讨论 idea 的地方。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
每个人的时间，资源是有限的，有的时候你或许能够想到很多 idea，但是由于现实的限制，却并不是所有的 idea 都能够成为现实。
那这个时候，不妨可以把那些 idea 分享出来，启发别人。
这是一个创建于 235 天前的主题，其中的信息可能已经有所发展或是发生改变。
有没有人做过类似的研究/尝试？对硬件设备有没有什么限制？
 |
1
chesha1 235 天前
1. 当然可以啊，Stable Diffusion 的原公司就是在一个 32 台 8 卡 A100 的集群上进行的训练
2. 不过这个方面的公开资料很少，因为大规模 GPU 集群是很工业界的东西，发论文的人不多，不如算法论文多 我也不是很了解这些，比如 google 的 pathway 就是相关工作，还有 OSDI/SOSP 上也有一些 MLsys 的论文 如果你的意思是怎么使用，而不是怎么研究，我也不清楚，我财力有限，没用过多台机器 3. 硬件限制没太懂，你是指什么样的限制呢？只要是服务器上有 GPU ，服务器之间用以太网/IB 连接，都能做，只是用不同的技术可能效率会差很多 |
 |
2
kaiz 234 天前 via iPhone
大型 cnn 的分布式训练和部署已经很成熟了，这方面的论文每年 OSDI 都会有。工业界的方案早的有 mu li 的 parameter server ，近的有 Google 的 pathway 。
|
Select Language