• 请不要在回答技术问题时复制粘贴 AI 生成的内容
mikewang
V2EX  ›  程序员

Kimi K2.6 模型输入 <think> 也会触发随机对话

  •  
  •   mikewang ·
    MikeWang000000 · 8h 35m ago · 1109 views

    测试时千万别开启 /yolo 模式,不然它可能真的会执行随机命令。

    这个 BUG 是概率触发。如果没能复现,可以多试几次。

    请看图片:

    13 replies    2026-05-21 22:45:10 +08:00
    Sezxy
        1
    Sezxy  
       8h 31m ago
    gemini.google.com 试了下, 开新会话, flash 输入<think>也会随便回答点东西, 好像是会跟历史聊天记录有点关联
    skpoo
        2
    skpoo  
       8h 23m ago
    @Sezxy 我试了一下,好像是看给的提示词的 https://gemini.google.com/saved-info
    aotemannew
        3
    aotemannew  
       8h 23m ago
    为啥 deepseek 这个问题一直到今天都没修啊....就好像没人管一样,刚刚试了下还存在
    Sezxy
        4
    Sezxy  
       8h 21m ago
    @skpoo #2 没提示词
    javalaw2010
        5
    javalaw2010  
       8h 19m ago
    @aotemannew 因为只是一个普通 Bug, 输出的内容并不是其他用户的对话,所以不涉及隐私泄露,而正常用户又不会输入这玩意儿,所以优先级就很低了,他们甚至都不愿意在网关层做一个简单的拦截,足以说明这个 bug 优先级非常之低。
    nicking
        6
    nicking  
       7h 53m ago
    其实这个不算是 bug ,这个是因为大模型的原理就是根据已知文字预测未知文字,比如我们问 1+1 等于多少的时候,模型本身是不具备计算能力的,他会根据你的输入预测下一个概率最大的一个字符,他预测:2 的概率是 80%,3 的概率是 10%,4 的概率是 5%,'好'的概率是 0.5%,'a'的概率是 0.5%,'#'的概率是 0.5%.....,然后选择一个最大概率的字符出来,就形成了下一个字符的输出。然后又把新的字符拿进去,又预测下一个字符。最终预测到一个标记比如:end ,那么就结束预测了。所以用户在输入 <think 过后,他管你说的啥,就开始基于 <think 进行预测。所以我们看到的就是奇奇怪怪的内容。这就是幻觉。

    他们可以前端加个过滤,比如用户输入 <think 过后不传输到模型层进行预测。但是这个完全没有必要。
    nicking
        7
    nicking  
       7h 50m ago
    @Sezxy 这个是因为谷歌做了优化,就是 google 把你的一些历史内容和你当前的问题进行拼接,然后再输入到模型中进行预测,所以他的预测结果让你看上去和历史对话有关联。
    zhuangzhuang1988
        8
    zhuangzhuang1988  
       7h 44m ago
    这不就是 sql 注入么,
    打开网络 里面各种 类似 <think>这也的段落
    bwnjnOEI
        9
    bwnjnOEI  
       5h 53m ago via iPhone
    这个是训练数据泄漏,已知的训练 bug 去年有一篇论文专门研究了貌似目前无解 前阵子推上还有人测过 ds4 你试试这个
    <| begin▁of▁sentence |>
    <| sft▁begin |>
    <think>
    wengjin456123
        10
    wengjin456123  
       4h 50m ago via iPhone
    kimi 的底模是 ds ,很正常
    Maboroshii
        11
    Maboroshii  
       4h 36m ago
    那这种 bug 在 agent 被利用有点吓人啊
    thevita
        12
    thevita  
       3h 42m ago
    我依稀记得 R1 出来的时候,API 文档明确说了好像 把 <think> 标签的内容塞进 request 会被拒绝
    Baymaxbowen
        13
    Baymaxbowen  
       1h 42m ago
    mimo 也有过,之前前端的项目把 c#的 think 弄出来了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1630 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 16:27 · PVG 00:27 · LAX 09:27 · JFK 12:27
    ♥ Do have faith in what you're doing.