V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
nosugar
V2EX  ›  问与答

大模型的训练是不是到头了?

  •  
  •   nosugar · 15 天前 · 4066 次点击
    GPT5 发布后用了感觉没有质的变化,可能是部分场景的调优,拼训练数据,拼各种细分场景的优化,感觉训练数据就这么多,以后各家的水平会无限接近,会拼各个细分领域

    大家觉得以后大模型还会从哪方面发展?以后是否是更注重大模型的实际业务需求落地?
    21 条回复    2025-08-19 09:37:08 +08:00
    kunkunzhang
        1
    kunkunzhang  
       15 天前   ❤️ 1
    不是行内人就别评论了。。。多调查调查不是坏事
    icemaple
        2
    icemaple  
       15 天前
    你要不把你的内容输入到 GPT5 呢?
    ScotGu
        3
    ScotGu  
       15 天前
    点进来之前我以为 NVIDIA 要黄摊子了呢。
    gazi
        4
    gazi  
       15 天前
    多模态,通用世界模型。 前路漫漫呢
    showonder
        5
    showonder  
       15 天前
    2 年这个发展速度已经够快了。。。这行业里还有很多要做没做的东西,空间大着呢。。。
    clemente
        6
    clemente  
       15 天前
    还有多模态和 MOE 呢

    只能说纯语言的模型快到头了 (不过数据集还可以继续增长)
    JamesR
        7
    JamesR  
       15 天前
    很明显没有,大模型至少还有个二次大升级,大模型它还可以收集各个用户反馈成功与否,来进一步大提升自己某个问题的准确率和它本身的洞察力。
    就看谁家大模型掌握的用户问答数据更多了。
    love060701
        8
    love060701  
       15 天前
    基于 Transformer 的 LLM 应该是到头,Scaling Law 基本失效。其他方向目前还没看到能让 LLM 大幅进化的迹象,实现 AGI 还需要新的技术出现。
    catazshadow
        9
    catazshadow  
       15 天前
    AGI 不可能的
    gpt5
        10
    gpt5  
       15 天前
    那不正是做空 ai 概念股的机会
    AEDaydreamer
        11
    AEDaydreamer  
       15 天前
    Openai 估计是到头了, Anthropic 和 Google 油还很多.
    huanxianghao
        12
    huanxianghao  
       15 天前
    首先应该解决 AI 的幻觉问题,经常性胡说八道
    exploretheworld
        13
    exploretheworld  
       15 天前 via Android
    堆参数和训练文本的模式可能走到头了,要开始卷算法了把
    hahiru
        14
    hahiru  
       15 天前   ❤️ 1
    你可以试一下 qwen3 的 30b-a3b 模型。
    以后可以拼小模型的性能。
    小模型微调+行业数据+内部文档+本地部署
    JontyChen
        15
    JontyChen  
       15 天前
    远没到头啊,到头的时候是老板一句话把产品做完了,把下面牛马都裁掉
    lovedebug
        16
    lovedebug  
       15 天前
    针对人类学习的科学研究还没有到头~
    trungdieu031
        17
    trungdieu031  
       15 天前   ❤️ 2
    至少目前还没到头。

    不过你可以说现有范式下的 pre training 趋于平缓了,test time training 还远没看到上限,作为例子,本次 GPT5 pro 模式下,数学等逻辑推理能力提升很大,幻觉也大大降低了(但大部分人可能都用不到)。这是 o 系列模型进一步提升的效果。而且 OpenAI 最近接连在 IMO 和 IOI 上连续获得金牌也足以说明一些问题。

    我看很多人说 GPT5 智力下降了,表现在连个 9.11 和 9.8 的大小都比不出来。这一方面是 OpenAI 路由的问题,本来这些数学问题无论大小都要用 thinking 模式,如果只是路由到直接输出的基模,不管谁家的都有可能大错;另一方面也可能大多数用户也不知道这些常识,什么时候要用什么样的模型里面也是有点门道的~

    目前的大模型能力在继续增强是毫无疑问的,但也不是没有缺陷。on-line learning, memory, long term planning 这些还都要进一步突破~
    jdz
        18
    jdz  
       15 天前   ❤️ 1
    @kunkunzhang 尽说片汤话
    putaozhenhaochi
        19
    putaozhenhaochi  
       15 天前
    没呢 互联网公司还没大规模裁员呢
    re2ikotr
        20
    re2ikotr  
       14 天前
    感觉 pretraining 这套确实到头了
    mingtdlb
        21
    mingtdlb  
       14 天前
    说下体验,感觉 gpt5 有时候像智障
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3599 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 10:28 · PVG 18:28 · LAX 03:28 · JFK 06:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.