V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
yedaxia
V2EX  ›  分享创造

只需要录音文件, AI 自动生成视频

  •  
  •   yedaxia ·
    YeDaxia · 200 天前 · 2071 次点击
    这是一个创建于 200 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在开发了33 搜帧之后,我突发奇想,既然可以根据文案匹配到关联的画面,那么理论上是可以在这个基础上实现一个自动生成视频的功能。

    
    33 搜帧是一个使用 AI 技术构建的视频画面搜索引擎,它的核心能力是通过文本来搜索相关视频素材里面的帧画面。
    
    

    于是,经过了七七四十九天的闭关,终于搞了一个初步能用的版本。

    只要你录好音,这个工具就能帮你生成一个视频,具体步骤如下:

    第一步:上传录音文件

    第二步:语音识别生成台词文本,修正识别错误的部分

    第三步:选择匹配的素材,然后一键生成视频。

    目前可能还存在很多局限性,不过还是值得作为视频创作者的你前来一试的~

    体验链接:33 搜帧

    18 条回复    2022-03-22 11:01:03 +08:00
    id4alex
        1
    id4alex  
       200 天前
    上传文本, 借助 api 合成音频和视频.

    起码我看到 YouTube 是有人这样做的.
    moonkiller
        2
    moonkiller  
       200 天前
    🐮啊
    这就去试试
    yedaxia
        3
    yedaxia  
    OP
       200 天前
    @id4alex 啊,没有感情的工作机器~
    shanghai1998
        4
    shanghai1998  
       200 天前
    advancejar
        5
    advancejar  
       200 天前
    非常好的创意,完善了真的是 ai 创造给人看了
    yedaxia
        6
    yedaxia  
    OP
       200 天前
    @advancejar 谢谢支持。
    Chihaya0824
        7
    Chihaya0824  
       199 天前
    草,想起了我们学校以前就有人做过一模一样的东西
    phithon
        8
    phithon  
       199 天前
    这个真的支持!
    haiyan
        9
    haiyan  
       199 天前
    @id4alex 我写过把小说变成视频上传 youtube ,被封了很多号,就算求了
    yws112358
        10
    yws112358  
       199 天前
    积分扣除有点问题啊
    我刚才用 read aloud 生成了一段音频 注册给了 50 积分。生成一次 扣了 23 积分。生成之后发现有个片段有问题。,返回编辑,结果又扣了 23 ,并且可能由于缓存,编辑的片段并未生效,还是原来那个
    hwwang112244
        11
    hwwang112244  
       199 天前
    请教下,这个具体的视频素材是哪儿来的,有侵权的风险吗?
    hbtech
        12
    hbtech  
       198 天前
    我是之前内测的时候就注册了,后面送了我 500 积分。现在似乎有点问题,剪切一直显示失败,一看积分还扣除了

    xueyangkk
        13
    xueyangkk  
       198 天前
    我上上家公司做过类似的产品 ,给你提供点思路吧 他们做的是 识别电影中的物体 台词 等等, 搜所的时候 可以根据物体 和 台词 组合成新的短片 。 举个例子 我爱你 周星驰在大话西游说过 梁朝伟 在某部片子里说过 等等等 。。最后组合成一部 我爱你的合集 。 这个有个困难的是 版权怎么解决 ? 其次训练的精度 尤其是截取片段的准确度要很高 。这些问题一直弄了很久 .... 最后上线了 但是商业化变现又很困难 。 客户是 MCN 机构 试用一段时间 反馈效果是不准,其次是资源不够多等等问题
    yedaxia
        14
    yedaxia  
    OP
       198 天前
    @hbtech 谢谢反馈,这个是昨天升级服务器导致的,现在已经修复了,这边会补偿积分。
    yedaxia
        15
    yedaxia  
    OP
       198 天前
    @yws112358 嗯谢谢反馈,是缓存问题,已经修复了。
    yws112358
        16
    yws112358  
       198 天前
    @yedaxia #15 反复编辑的项目可以不扣积分或者酌情减少积分扣除吗
    yedaxia
        17
    yedaxia  
    OP
       198 天前
    @xueyangkk 谢谢建议。
    yedaxia
        18
    yedaxia  
    OP
       198 天前
    @yws112358 嗯,这个后续会完善一下~
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2172 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 06:36 · PVG 14:36 · LAX 23:36 · JFK 02:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.