V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaoz
1.03D
V2EX  ›  分享发现

推荐一个开源 LLM 网关: Bifrost,支持负载均衡和故障切换

  •  
  •   xiaoz · 3 月 26 日 · 1017 次点击

    Golang 开发的,低占用、高性能。主要特点是可以聚合多家 AI 大模型统一调用,且支持负载均衡故障切换,避免免费大模型出现 429 的尴尬。

    Github 开源地址: https://github.com/maximhq/bifrost

    写了一篇文章介绍如何部署和配置:https://blog.xiaoz.org/archives/22835

    13 条回复    2026-03-30 17:43:00 +08:00
    GlobalNPC
        1
    GlobalNPC  
       3 月 26 日   ❤️ 1
    字节内部抓包工具也叫 Bifrost
    xiaoz
        2
    xiaoz  
    OP
       3 月 26 日
    @GlobalNPC 网上搜了下叫 Bifrost 的项目好像还不少,不特别指明是大模型网关,AI 都不知道说的哪个。
    leena
        3
    leena  
       3 月 26 日 via iPhone   ❤️ 1
    有一个代理 app 也叫这个名字,不过好久没更新了
    wm5d8b
        4
    wm5d8b  
       3 月 26 日   ❤️ 1
    高级功能都得企业版,免费版不如 one-api 的分支
    xiaoz
        5
    xiaoz  
    OP
       3 月 26 日
    @wm5d8b 看个人用途吧,one-api 很多功能我用不上,我主要用 Bifrost 的负载均衡和故障切换。Bifrost 路由更强大一些。
    hellskof
        6
    hellskof  
       3 月 27 日
    @leena 安卓 APP 吧,装过,很久没更新了,后面没用了
    daimaosix
        7
    daimaosix  
       3 月 28 日 via Android
    支持给接口配置代理吗
    xiaoz
        8
    xiaoz  
    OP
       3 月 29 日
    @daimaosix #7 ,刚刚看了下支持 HTTP 和 SOCKET5 代理。参考: https://h.webp.top/2026/03/29/ftvwKEAX.png
    daimaosix
        9
    daimaosix  
       3 月 29 日
    @xiaoz #8 感谢,看上去不错,打算迁移过来试试
    daimaosix
        10
    daimaosix  
       3 月 30 日 via Android
    @xiaoz 我没太理解,这个负载平衡和故障切换好像就是不同的 AI 提供商来回切,如果我有两个 codex 的 API 没用吧。。。模型提供商只能添加一个,base_url 也只能有一个。。。
    xiaoz
        11
    xiaoz  
    OP
       3 月 30 日
    @daimaosix #10
    1. Codex 应该没有提供标准的 API 供第三方工具调用或接入吧?
    2. 模型提供商确实只能加一个,但是一个提供商可以设置多个密钥,参考: https://h.webp.top/2026/03/30/zexexyhQ.png
    3. 另外如果你想实现相同的渠道多个不同的密钥,也可以添加自定义渠道,可以自己填写 base_url ,参考: https://h.webp.top/2026/03/30/wrE9fXvd.png
    4. Bifrost 的强大来自灵活的路由规则,可以实现渠道商轮询负载、也可以根据模型来负载,看你的需求和具体情况,我写了一篇文章简单介绍路由规则: https://blog.xiaoz.org/archives/22857 更多使用的话你可以参考下官方文档,另外官方文档有个 AI 机器人,不懂的也可以直接问文档页面上的机器人。
    daimaosix
        12
    daimaosix  
       3 月 30 日   ❤️ 1
    @xiaoz #11 感谢,看到自定义了,看了很多网关,这个够简洁稳定
    xiaoz
        13
    xiaoz  
    OP
       3 月 30 日
    @daimaosix #12 ,不客气,希望对你有帮助。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2556 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 02:59 · PVG 10:59 · LAX 19:59 · JFK 22:59
    ♥ Do have faith in what you're doing.