V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
Jackyxiaoc
V2EX  ›  奇思妙想

整了个音箱接上大模型之后还是感觉缺了点什么

  •  
  •   Jackyxiaoc · 2024-11-23 12:22:57 +08:00 · 3086 次点击
    这是一个创建于 372 天前的主题,其中的信息可能已经有所发展或是发生改变。
    近期将家里的 HomePod 接上了大模型。个人感觉需要唤醒词才能唤醒,用起来还是缺了点什么。不是真正的贾维斯~

    处理的时候有个思路不知道是否实际:

    如果将所有东西都转录成文字,1 分钟给到机器一次,由机器判断这句话是不是跟他说的,再回复出来,这样不知道会不会好一点。不过用时间间隔好像还是有点问题。还没试过把实时语音接口接入~回头试试
    11 条回复    2024-12-12 14:25:44 +08:00
    musi
        1
    musi  
       2024-11-23 12:31:17 +08:00 via iPhone
    有严重的隐私问题
    evan9527
        2
    evan9527  
       2024-11-23 12:33:19 +08:00
    无唤醒词是不是要分析所有听到的声音?
    会不会有半夜「幽灵唤醒」的情况。
    我觉得自定义唤醒词+连续对话就挺好的。
    rechardwong0522
        3
    rechardwong0522  
       2024-11-23 15:55:27 +08:00
    可以在用它的时候在开头加上唤醒词,比如“小爱同学,帮我定个七点半的闹钟”,而不是先说“小爱同学”去唤醒后才能接着说。后面的话是不是跟它说的,就由上下文判断
    Jackyxiaoc
        4
    Jackyxiaoc  
    OP
       2024-11-23 16:14:40 +08:00
    @musi 确实是有这个问题。但是如果是长期独居的话,想找个人聊天,唤醒词就觉得不太顺。
    @evan9527 整个流程大概是,实时检查声音——转成问题——给到大模型——大模型判断是否是噪音,还是正常的人类对话——文字转语音回复。
    @rechardwong0522 感谢,可以稍微优化下。
    qping
        5
    qping  
       2024-11-24 17:34:26 +08:00
    找人聊天别依赖机器人,还是出去社交下。。。或者找个女朋友?
    r6cb
        6
    r6cb  
       2024-11-24 23:07:30 +08:00
    https://platform.openai.com/docs/models#gpt-4o-realtime 这有实时性更好的,先用 asr 过一遍,将所有过滤后的语音直接传到 api
    liaanj
        7
    liaanj  
       2024-11-25 11:24:53 +08:00
    加油!!!
    yiton
        8
    yiton  
       2024-11-25 13:56:17 +08:00
    最近我也在整这个
    fcten
        9
    fcten  
       2024-11-25 15:40:20 +08:00
    本地的端到端语音模型才是体验最好的,不知道什么时候能有成熟的产品
    和文本聊天不一样,语音聊天对延迟是非常敏感的。不要说一分钟了,延迟 2 ~ 3 秒就非常难受了。
    Jackyxiaoc
        10
    Jackyxiaoc  
    OP
       2024-11-29 20:41:12 +08:00
    @qping emmm ,其实一个人有时候也挺舒服的,有个机器人聊聊也就够了。

    @r6cb 好的,感谢,我试试。

    @liaanj 谢谢。

    @yiton 有进展嘛?

    @fcten 小模型性能不足的话,回答出不太好的答案也不太行。不过延迟确实是个问题。
    leothevan244
        11
    leothevan244  
       353 天前
    或许可以试试在本地先部署一个小模型判断一句话是否是跟他说的,是的话再上传云端大模型
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1070 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:38 · PVG 07:38 · LAX 15:38 · JFK 18:38
    ♥ Do have faith in what you're doing.