JeriffCheng

@a302800411 除了显卡算力限制以外，语料同样关键。Finetune 的话，只需要准备少量的针对性的中文预料，比如抖音那个就是不停的问 chatgpt 获得语料。从 0 开始 train ，那需要的语料是海量的。中文互联网高质量语料并不多，大概率训练出来的是一本正经的胡说八道。所以我不大相信国产大模型是自己从 0 开始 train 的。

@xxfye 因为有 ZZ 任务，目标考核，必须拥有多少张显卡。而且也是一门生意，过个把月涨价了就倒卖出去了。（不过最近好像强制买华为的显卡了，买来就丢库房）

@xxfye 下单和发货是两回事啊，制裁出来之后，很多单都被砍了，不发货了。真正到手的很少。而且很多银行之类的国企买显卡过来并不是干正事的，就是丢在库房里，应付检查的，或者加价倒卖出去，好像还没有哪个银行或者国企发布什么大模型吧。

@xxfye 这半年应该从黑市里流入一些 A100 了吧。

@justfindu 训练大模型绝大多数都是用 A100 和 H100 ，其他的很少用，具体为啥我也不清楚，我也不是搞硬件的。

@sighforever 刚才去查了一下最新资料，腾讯、字节、百度英伟达 A100 的存量都不超过 2000 枚，阿里要多一些。llama 第一代的训练花了 2000 多块 A100 ，finetune 它只需要 10 几块 A100 ，所以，阿里的千问，有可能是自己从 0 训练出来的，其他厂家的大概率是 finetune 的。最新的 llama 3 训练花费了 24000 个 H100 ，目前显卡限令下，国内凑不够这个数量级的显卡。

严格意义上说，并不存在所谓的国产大模型，因为全都是 fine-tune 人家的模型，只是在毛坯房的基础上刷了一层漆，全世界无数人每天都在刷漆，甚至拿几块 4090 花半个月时间也能浅浅的刷一遍漆。如果英语水平稍微好一点，直接使用联网 Chatgpt 的话，效果比千问这些要好的多的，中文语料的缺失可以通过联网搜索解决，你让它以中文回答就好了。

国内几乎所有的大模型都是在 llama 的基础上用中文语料二次训练 finetune 出来的, llama 是 facebook 公司搞出来的。集合中国境内所有的显卡都不够从 0 训练出一个大模型，这是算力限制。二次训练就会出现各种后遗症，答非所问，中英文混搭，这种现象在提供给普通用户的几个 G 的小体积裁剪模型文件里尤其严重，大体积几十 G 的模型文件要好很多，但是普通家用显卡没有那么大的显存来运行大体积模型文件，所以只能部署在企业的服务器上，以云服务按 token 计费的方式来提供给普通用户使用。

地震都是在川西山区。
成都在川东盆地。