V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bmpidev2019
V2EX  ›  分享发现

ChatGPT 背后的语言模型简史

  •  
  •   bmpidev2019 · 2023-05-08 09:06:25 +08:00 · 3237 次点击
    这是一个创建于 567 天前的主题,其中的信息可能已经有所发展或是发生改变。

    文章地址: https://www.bmpi.dev/dev/deep-learning/nlp-language-models/

    ChatGPT 的火爆出圈,让大家对 NLP 语言模型的发展历程产生了浓厚的兴趣。本文将从深度学习在 NLP 领域的发展历程,到大语言模型的发展历程,再到大语言模型的未来展望,带你一起了解 NLP 语言模型的发展历史。

    8 条回复    2023-05-09 11:44:15 +08:00
    hoopan
        1
    hoopan  
       2023-05-08 09:33:38 +08:00
    学习了
    fresco
        2
    fresco  
       2023-05-08 11:23:51 +08:00 via iPhone
    收藏了
    dacapoday
        3
    dacapoday  
       2023-05-08 13:23:38 +08:00
    "在机器学习的路线中,有一个分支是深度学习( Deep Learning ),它是一种以神经网络为基础的机器学习方法,它的特点是可以自动学习数据的特征,不需要人工标记数据,这样就可以大大减少人工标记数据的工作量。"
    这个描述准确吗?图像的深度学习,不还是需要人工标注 tag
    hoythan
        4
    hoythan  
       2023-05-08 13:33:48 +08:00
    借楼请教大家一个问题,OPENAI API 连续对话好像是通过 messages 把历史的对话都传过去。这样的 Tokens 计费是怎么计算的?连续对话的 messages 越长越贵吗?还是只计费最后一次对话?还是只计费返回的最新内容?
    bmpidev2019
        5
    bmpidev2019  
    OP
       2023-05-09 08:57:22 +08:00
    @dacapoday 感谢指正,昨天已经修改这段描述,的确存在问题
    bmpidev2019
        6
    bmpidev2019  
    OP
       2023-05-09 08:57:48 +08:00
    @hoythan 当然是全部计费的
    pjxxcc
        7
    pjxxcc  
       2023-05-09 09:49:00 +08:00   ❤️ 1
    @hoythan 看过有人开源的基于 chatgpt 的聊天工具,连续对话传过去的历史对话都是计入 token 的,所以为了降低 token 消费会对历史对话长度做限制,超出限制的部分会被裁剪,所以表现上看就是聊天聊着聊着会发现 chatgpt“忘了”比较早聊过的内容
    evil0harry
        8
    evil0harry  
       2023-05-09 11:44:15 +08:00
    大佬,follow 你的推特了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4304 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 05:31 · PVG 13:31 · LAX 21:31 · JFK 00:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.