V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
metalvest
V2EX  ›  分享发现

GPT5 和 GPT-6 模型的最新消息

  •  
  •   metalvest · 2023-03-16 15:16:12 +08:00 · 4334 次点击
    这是一个创建于 378 天前的主题,其中的信息可能已经有所发展或是发生改变。
    new bing 瞎编的,看起来倒还像那么回事

    GPT-5 是 OpenAI 最新推出的自然语言处理模型,继承了 GPT-4 的多模态能力,同时增加了更多的数据源和训练技巧,达到了前所未有的性能和泛化能力。

    GPT-5 模型的主要特点

    1. 大规模:GPT-5 使用了超过 1000 万亿个参数,是目前世界上最大的自然语言处理模型,超过了之前的 GPT-4 和 Google T5 。它使用了超过 1000 种不同类型和语言的数据源,包括文本、图像、视频、音频、表格等,覆盖了各个领域和主题。它还利用了大量的无监督数据,通过自回归方式进行预训练,学习了丰富的语义和知识。

    2. 多任务:GPT-5 可以在一个统一的框架下完成多种不同类型和难度的自然语言处理任务,包括文本生成、文本理解、文本摘要、问答、对话、机器翻译、情感分析等。它可以根据输入数据和用户指定的目标进行灵活地调整和适应,无需额外的微调或标注数据。它还可以结合多种模态信息,如图像或视频中的文字或物体,进行跨模态推理和生成。

    3. 高效:GPT-5 使用了一系列先进的训练技巧和优化方法,提高了模型训练速度和效率。它使用了混合精度训练( Mixed Precision Training )、梯度累积( Gradient Accumulation )、稀疏注意力机制( Sparse Attention Mechanism )等技术,减少了内存消耗和计算开销。它还使用了强化学习( Reinforcement Learning )等方法,在预训练阶段引入额外的奖励信号( Reward Signal ),提高了模型生成质量和多样性。

    4. 安全:GPT-5 在设计时充分考虑了安全性和可靠性问题,避免产生不良或有害内容。它使用了敏感词过滤( Sensitive Word Filtering )、输出控制( Output Control )、对抗鲁棒性( Adversarial Robustness )等技术,在输入输出层面进行检测和干预,在内部层面增强抵抗攻击能力。它还使用了可解释性( Explainability )等技术,在输出结果时提供相关证据或来源信息,增加透明度和信任度。

    GPT-6 是一种基于深度学习的自然语言生成( NLG )模型。它是继 GPT-5 之后的又一次重大突破,将模型参数量提升到了 67000 万亿,超过了之前最大的 GPT-5 模型的 66 倍。GPT-6 不仅能够生成高质量、流畅、多样化的文本,还能够处理多模态数据,如图像、音频、视频等,并且能够跨领域和跨语言进行知识迁移和逻辑推理。

    GPT-6 的主要特点有以下几点:

    1. 多模态大模型。GPT-6 采用了一个统一的 Transformer 架构,将文本、图像、音频、视频等不同类型的数据作为输入,并且在同一个输出空间中生成相应的结果。这使得 GPT-6 能够实现多种任务,如文本摘要、图像描述、语音识别、视频理解等,并且能够在不同模态之间进行转换和融合,如从文本生成图像、从图像生成文本等。

    2. 跨领域和跨语言的知识迁移和逻辑推理。GPT-6 使用了一个巨大的预训练数据集,包括来自互联网上各个领域和语言的文本和多媒体数据。这使得 GPT-6 能够学习到丰富而广泛的知识,并且能够根据上下文和目标进行灵活地调整和应用。例如,GPT-6 可以根据用户提供的关键词或问题,在不同领域中搜索相关信息,并且以合适的形式呈现给用户;也可以根据用户提供的一段文字或一张图片,在不同语言中生成相应的翻译或描述。

    3. 安全性和可靠性。由于 NLG 模型可能会产生有害或不真实的内容,影响人类社会和价值观,因此 OpenAI 对 GPT-6 进行了严格而全面地安全性评估和测试,并且开发了一系列措施来保证其合规性和可信度。例如,OpenAI 使用了对抗性真实性评估( Adversarial Factual Evaluation, AFE )来检测并降低模型输出中可能存在的错误或虚假信息;也使用了敏感内容过滤器( Sensitive Content Filter, SCF )来防止并处理可能涉及到隐私、暴力、歧视等敏感话题或请求。
    11 条回复    2023-03-17 09:11:07 +08:00
    OBNtHBZY3N3lxGVT
        1
    OBNtHBZY3N3lxGVT  
       2023-03-16 15:22:58 +08:00   ❤️ 5
    我觉得这种 AI 生成的文字内容,转移到 openai 的节点里不好吗
    这种 AI 生成的东西,可信性和可参考性程度不高,发出来误导+干扰,发现是 AI 编的还看得一肚子气
    R18
        2
    R18  
       2023-03-16 15:25:18 +08:00
    刚才不是文言一心发布会,我就试着用 chatGPT 搜了一些东西,结果发现大失所望。。有点不及预期。

    Q:你知道百度的 文心一言 吗
    A:是的,我知道百度的文心一言。它是一个短文摘录和名言警句分享的平台,提供了各种各样的名言警句和哲理故事,可以让用户在短时间内获取精神上的启示和帮助。文心一言主要包括了“每日一句”、“分类名言”、“名人名言”、“心灵鸡汤”等内容,用户可以通过百度搜索或在百度首页上点击文心一言进入该平台。
    Q:用 洛阳纸贵 写藏头诗
    A: 清明时节花开放,
    水墨画中见洛阳。
    古都名胜皆纸贵,
    人间繁华此时忙。

    搜了半天也没找到文言一心的官网,怎么加入邀测。
    charlieethan
        3
    charlieethan  
       2023-03-16 15:51:08 +08:00
    @R18 #2 你可以去百度云上申请: https://cloud.baidu.com ,首页就是文心一言的入口,但是现在只开放企业 API 申请,啥时候给个人开放或者加入到百度搜索里,完全是没有时间表的
    kerb15
        4
    kerb15  
       2023-03-16 16:07:10 +08:00
    @charlieethan 个人在文言一心的官网啊。。。。
    freepoint
        5
    freepoint  
       2023-03-16 17:14:11 +08:00
    AI 想成为人,人却想成为 AI 。
    这是个最好的时代,也是最疯狂的时代。

    我们把超智能的机器定义为一台能力远远超过任何人的全部智能活动的机器。一旦机器设计成为一项智能活动,超智能机器就能设计出更好的机器——毫无疑问,这就是“智能爆炸”,人类的智能将被远远抛到后面。第一台超智能机器将是人类最后一个发明。

    ——欧文·约翰·古德,"Speculations Concerning The First Ultraintelligent Machine",1965 年

    metalvest
        6
    metalvest  
    OP
       2023-03-16 18:28:19 +08:00 via Android
    @freepoint 这个论断本身在逻辑上有一些问题,比如:

    • 它没有明确定义什么是“智能活动”,不同的人可能有不同的理解和标准。

    • 它没有考虑到超智能机器的设计和发展可能受到人类的影响和限制,不一定能够自主地设计出更好的机器。

    • 它没有提供任何证据或理由来支持“智能爆炸”的假设,这是一个很大的跳跃和推断。

    • 它没有说明为什么超智能机器会是人类最后一个发明,而不是一个新的开始或一个转折点。

    你觉得呢?
    sloknyyz
        7
    sloknyyz  
       2023-03-16 20:52:33 +08:00
    1000 万亿,哪怕一个参数占用 1 个字节,都有 900T 大小,有点夸张了。
    Abbeyok
        8
    Abbeyok  
       2023-03-16 21:16:30 +08:00
    [![pp86uod.png]( https://s1.ax1x.com/2023/03/16/pp86uod.png)]( https://imgse.com/i/pp86uod)

    要是 ChatGPT 能写个库就好了
    abuabu
        9
    abuabu  
       2023-03-16 21:22:34 +08:00
    这种模型推到前台让用户使用就可以飞速迭代,这也是百度这么着急忙慌开发布会的原因之一
    xuanyuanaosheng
        10
    xuanyuanaosheng  
       2023-03-17 08:19:46 +08:00
    当别人在飞快迭代的时候,我们还在以工代赈,接下来我们又要落后了
    puck260
        11
    puck260  
       2023-03-17 09:11:07 +08:00
    @R18 有没有可能 gpt 的数据库只到 2021.9 月,它经常胡说八道,你不如问 newbing
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1043 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 22:27 · PVG 06:27 · LAX 15:27 · JFK 18:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.