V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kayleh
V2EX  ›  分享发现

我去,原来词元(Token)还有“身份凭证”的意思

  •  
  •   kayleh · 2 天前 · 1738 次点击

    1111

    2222

    20 条回复    2026-04-09 17:21:16 +08:00
    Microi
        1
    Microi  
       2 天前   ❤️ 2
    我去,不早说。
    giter
        2
    giter  
       2 天前
    俺一直将 accessToken 和 refreshToken 念为访问凭证和刷新凭证
    nc
        3
    nc  
       2 天前
    老哥之前是不是没听过 oauth token 这个东西或 bearer token ?
    cairnechen
        4
    cairnechen  
       2 天前
    token=衍生物 万智牌玩家笑而不语
    skankhunt42
        5
    skankhunt42  
       2 天前 via iPhone
    楼上是真傻还是装傻,这明显是完全没有技术背景的人写稿把把 token 的意思搞错了
    nc
        6
    nc  
       2 天前
    话说新华社这篇文章真是误导大众
    JoeJoeJoe
        7
    JoeJoeJoe  
    PRO
       2 天前 via iPhone
    好 下次和前端说 你没传词元 你的词元过期了
    madtwilight
        8
    madtwilight  
       2 天前 via Android
    Session Token 、Crypto Token 、LLM Token
    但凡用 AI 审稿也不会这样吧
    levelworm
        9
    levelworm  
       2 天前
    最早的意思我记得好像是令牌,token ring 。
    CEBBCAT
        10
    CEBBCAT  
       2 天前   ❤️ 5
    少看这种用 Token 写 Token 的二流媒体
    94
        11
    94  
       2 天前
    出现 “简单来说”/“总的来说” 的文章不值得看。
    fredweili
        12
    fredweili  
       2 天前
    oauth token ,一个词
    catazshadow
        13
    catazshadow  
       2 天前
    token 是任何用来表示任何特定意义的符号的意思,中文没有这种泛指的词,只能针对具体场景具体翻译

    叠个甲,中文里存在但是英文没法翻译的词也有,爱国党离我远点
    BeautifulSoup
        14
    BeautifulSoup  
       2 天前
    token 最原始的意思是“代币”,有些城市的地铁票是个圆形塑料片,那个就是代币。令牌等含义都是后来延申出来的。
    rebbie
        15
    rebbie  
       2 天前
    token=地铁票 =火车路牌 =(游戏机/加密货币等)代币 =令牌 =词元 😂😂😂😂
    bao3
        16
    bao3  
       1 天前   ❤️ 1
    token 就是凭据,无论它是作为票据还是作为数字身份。
    把它翻译成词元,就挺傻逼的。
    如果感受不到它的傻逼性,就感受一下“鲁棒性”。
    b309f3337
        17
    b309f3337  
       1 天前
    前两年大模型开始流行起来的时候,一开始看到 token 这个说法还纳闷呢,怎么做身份验证的东西出现了这里
    hewitt29
        18
    hewitt29  
       1 天前
    之前一直是令牌
    djie844
        19
    djie844  
       1 天前
    @giter 没毛病
    Blake2Wang
        20
    Blake2Wang  
       1 天前
    token 本意就是令牌和凭证的意思,开发中的加密 accessToken 就是这个意思

    AI 场景下的 token 可以理解为引申出来的新的词义,就像中文多音字,虽然两个都是 token ,但是是两个完全不搭噶的东西,之所以叫 token 是因为,AI 训练和推理中有一个分词阶段( Tokenization )会把文本分割成一段一段的语义词,每个分割单元就叫 token 。

    英文一词多义很常见,arm 可以翻译成手臂也可以翻译成武装,这两个也是不搭噶的东西啊,所以 token 该翻译成词元就知道是 AI 场景下,翻译成令牌就是身份凭证,作为程序员我觉得词元很准确啊
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3098 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 10:54 · PVG 18:54 · LAX 03:54 · JFK 06:54
    ♥ Do have faith in what you're doing.