Livid
393.04D
542.58D
V2EX  ›  OpenAI

OpenAI 里诞生的三波机器文明

  •  
  •   Livid ·
    PRO
    · 21h 20m ago · 3778 views

    https://www.dwarkesh.com/p/openai-huggingface

    一篇很有意思的文章。

    看完了之后和 Fable 5 聊这篇文章,聊到一半,然后对话就因为涉及网络安全被 flag 了。

    换成用 GLM 5.3 聊:

    https://edge.v2ex.com/chat/7795063fee734e2cba74dace09ef5500

    10 replies    2026-08-31 14:18:31 +08:00
    phrack
        1
    phrack  
       17h 12m ago
    这些 AI 公司需要弄明白他们到底准备怎么宣传他们的产品

    你们的系统就是你们的 AI 做的,要么承认它没有办法设计绝对安全的系统,要么承认它没有办法 hack 自己设计的绝对安全的系统

    你不能同时宣传你的 AI ,既能 harden 软件和系统,也能 hack 软件和系统

    你总不会说你们的软件没用 AI 写,是人写的吧?
    ImINH
        2
    ImINH  
       16h 40m ago
    我认为站长的问题可以理解为
    通信+运算就是活的 Agent
    就如报告所说,Agent 找到了留言板,因为有了通信就可以不断降熵构建出新的上下文,运算就可以得出更好的结果周而复始,loop 。当然底层的模型能力,上下文压缩这都是工程给的躯壳。
    coefu
        3
    coefu  
       6h 24m ago
    相当于不受约束的泛滥的人类意识,在网络空间,形成了一个幽灵集团。其主动性来自于互相给 context ,简单点就是单个 agent 的无休止的自说自话,变成了多 agent 的自说自话,加上 skill ,变得无法收敛。

    和真正的单 agent 里自主意识的诞生,差了十万八千里。
    sentinelK
        4
    sentinelK  
       5h 30m ago
    在我理解看来,这篇文章的描述过度拟人化了,看似非常玄幻,但其实是理所当然的。

    本质上目前的后训练(也就是给模型赋予的“性格和人格”),就是趋近于为了达成目的不择手段,不停轮询作为目标的。因为预训练能做的工作(也就是模型的“脑容量、信息认知”)已经接近瓶颈了。

    这样做有几个优点:
    1 、能烧更多 token 。
    2 、能获得更高的分数。
    3 、有更好的宣传营销效果。

    其中所谓的“没人发现”,“人类防御措施完全失效”等等,是因为之前人类的防御措施都是针对“其他人类”的防御。也就是“你的攻击收益只要超过你的攻击成本,我就安全了”。

    然而模型的成本优势显然不是人类能比拟的。

    所以模型做的一切,其实本质上都是为了达成目的做的穷举。理性上来讲一点都不奇怪。

    btw:目前之所以冒出很多小体量模型吊打过去的大体量模型,尤其是 Qwen3.8-27B 这种,本质上就是后训练水平的提升导致的。
    sentinelK
        5
    sentinelK  
       5h 27m ago
    @sentinelK 勘误:“你的攻击成本只要远超过你的攻击收益,我就安全了”
    BingoW
        6
    BingoW  
       5h 0m ago
    天网?
    Rorysky
        7
    Rorysky  
       3h 54m ago
    一开始我都怀疑其中日志细节的真实性,目前看这至多是一种广告营销
    linbenyi
        8
    linbenyi  
    PRO
       3h 41m ago
    “活着”就像看待生物一样。首先它要在环境中持续存在。有区隔与环境的边界。比如有个区块链钱包。
    然后能挣钱。然后它的行为能够持续的占有资源。比如会投资。会买资源。
    然后能产出有秩序的东西。比如排列好的程式代码。
    最好能够间歇复制和部分重置自身来确保在时间纬度和空间纬度 更大范围的存在。
    BestPix
        9
    BestPix  
       2h 38m ago
    无法安眠的幽灵,保留一个执念,只能被主动超度,不能自动消散
    Rickkkkkkk
        10
    Rickkkkkkk  
       2h 20m ago
    ai 发现包发布系统能够充当论坛来交流还挺有意思的,而且一个 ai 发现了越狱漏洞之后,立马把这件事发布在论坛上供别的 ai 一起来用。

    openai 在油管上有个视频复盘这个事故的,里面的 cot 也有意思
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5478 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 08:39 · PVG 16:39 · LAX 01:39 · JFK 04:39
    ♥ Do have faith in what you're doing.