V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
BeyondReach
V2EX  ›  OpenAI

哪家的 AI 可以处理 29247 个字符,相当于 26,650 个 Tokens 的文本输入?有免费的么?

  •  
  •   BeyondReach · 89 天前 · 1435 次点击
    这是一个创建于 89 天前的主题,其中的信息可能已经有所发展或是发生改变。
    14 条回复    2024-05-15 17:54:03 +08:00
    neteroster
        1
    neteroster  
       89 天前 via Android
    Claude3 全系列 200K 上下文,GPT4 Turbo 128K 上下文。绰绰有余。

    开源模型这边,Qwen1.5 词表有中文词汇,如果是中文的话 Tokens 量会比汉字数量少不少,32K 完全足够。但上下文较长时效果可能下降。
    macaodoll
        2
    macaodoll  
       89 天前 via Android
    这个问题之前也测试过,谷歌 genmini 1.5 最优,能吐完所有东西,国产几个吐着吐着就开始省略号了
    BeyondReach
        3
    BeyondReach  
    OP
       89 天前
    @neteroster

    免费版的 Claude3 Sonnet 提示我超出限制:
    Message is 12128% over the remaining length limit. Try replacing the attached 1 file with smaller excerpts.

    Coze 里的 GPT4 Turbo 128K 模型,支持我输入这么长的文字,但是输出的答案非常短,只有 Tokens 801 ,Characters 803
    wwhc
        4
    wwhc  
       89 天前
    MistralAI 的开源模型支持 32K Tokens 或 64K Tokens
    mrp
        5
    mrp  
       88 天前 via iPhone
    kimi
    BeyondReach
        6
    BeyondReach  
    OP
       88 天前
    @mrp

    kimi 支持长文本的输入输出,就是输出的时候需要点击 “继续”按钮

    但是对输入输出的审核太严苛,我输入的关于台版的理财投资信息,它有时都不愿意处理
    BeyondReach
        7
    BeyondReach  
    OP
       88 天前
    @mrp
    输入一个 80 分钟视频的字幕后( 29510 个字符),kimi 返回了 3670 个字符,就开始提示其他内容了
    BeyondReach
        8
    BeyondReach  
    OP
       88 天前
    @wwhc 8g 内存的 mac mini m2 ,使用 Jan 运行 Mistral Instruct 7B Q4 无响应
    BeyondReach
        9
    BeyondReach  
    OP
       88 天前
    @macaodoll Gemini 可以输入 3w 字文本后,会提示"我只是一个语言模型,无法为你提供这方面的帮助。"

    如果将文本减少到 2w 字左右,可以进行回答,但是输出时会进行删减
    wwhc
        10
    wwhc  
       88 天前
    @BeyondReach 建议在 16G 内存或 10G 以上显存的设备上部署 Mistral 7B
    maymay5
        11
    maymay5  
       87 天前
    Asistants GPT
    BeyondReach
        12
    BeyondReach  
    OP
       87 天前
    @maymay5 有网页吗?网上收到好几个项目都是这个名称
    maymay5
        13
    maymay5  
       87 天前
    @BeyondReach #12 这是 openai 官方的,你需要充值 API ,然后在这里可以使用 https://platform.openai.com/assistants
    BeyondReach
        14
    BeyondReach  
    OP
       63 天前
    @wwhc 没有显卡真是寸步难行

    Mac Mini M2 8g 版本真是太弱了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5071 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 07:04 · PVG 15:04 · LAX 00:04 · JFK 03:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.