想问问大家有没有搭建本地的 LLM，我对应用场景挺困惑的

[vtea]

现在大语言模型挺火，我平时用的都是在线的 chatgpt 、deepseek 之类。

最近看到 AMD AIMAX 395 什么的，我在想是否自己组一个，本地搭建一个蒸馏模型。

但除了隐私数据安全相关问题，像我这样普通人，也想不出本地应用场景的优势。

[donaldturinglee]

本地跑小模型玩一玩，学习一下原理，真要在生产环境用肯定是组卡或者买 API 。

[crocoBaby]

本地部署只玩到推理，但是 ai 含金量高的技术是预训练，所以本地部署使用场景有点鸡肋

[vtea]

@donaldturinglee 也是，平时使用，我看买会员那种也还行
@crocoBaby 预训练对我来说太难了，我只想过用 llm 来推荐买基金的时间点

[xiaket]

^用正常模型来给一个程式化的判据, 而不是每次需要依赖不那么可靠的本地模型来预测

[volvo007]

我们这行有很多测试标准，所以准备给公司搭一个知识库用。但设备是专门的 4 卡 A100 ，还有一台 8 卡 4090 的准备放点别的小玩意。就算推理也是需要一点算力和显存才可用

[crocoBaby]

@vtea 那线上免费的对话已经足够你使用了,你需要的只是调教 prompt

[wnzhyee]

参数量为王，再怎么蒸馏，家用 pc 的那点性能能搭起来的 LLM 和闭源那些主流模型比差距太大了，不是一个世界的

[Daybyedream]

自己弄个 然后弄个 dify

[coefu]

本地起码要 2*nvidia dgx spark 起步,或者一个 mac studio ultra m4 512G ，不然都是玩具。