大伙有想过二次训练吗？

[archxm]

• 比如我下载了一个模型。
• 然后再把我所有文档交给它，二次训练。
• 那么，是不是就没必要 RAG 了。
• 通过这个模型，我就能提问了嘛，毕竟，我的基因已经嵌入进去了。

[raycool]

理论上是
只是微调的效果不可控，并且算力的需求比 RAG 大太多了。

[HHHans]

gpt3.5 刚出来的时候微调还很火热，现在已经没人提了。。

[owt5008137]

正常模型本就是分初始预训练和继续预训练的，你说的二次训练怕不就是继续预训练。然后后面才是微调和对齐训练。

[gorvey]

cursor 的自研模型就是这么干的，底模是 kimi-k2.5 ，注入 cursor 中高质量的对话训练的

[XenoGear]

你有卡当然可以，普通人压根没有足够的资源来训练大模型

[archxm]

@XenoGear 话说，既然 ai 真这么火热，云服务商，或者其他公司，应该可以提供这种租借服务吧。但要签协议，保证不摄取用户数据，帮用户训练二次模型。
我感觉这个需求还是停常见的。

[kennylam777]

@archxm 早就有了, vast.ai 很多人在用

問題是你所謂的二次訓練, 其實還有分 CPT 及 SFT 的, 一般用 SFT 已經足夠應付任務, CPT 效果不佳而且你之後還是要補回一次 SFT

[archxm]

@kennylam777 好的，又学到新术语

[mingtdlb]

@HHHans #2 说明一直在发展，这种方案不合适，淘汰了呗