应用商店搜索 Whisper Mate 下载试试
以后看没字幕的片子也可以自己本机翻译来看了😅
具体支持以下功能
https://apps.apple.com/us/app/id6450404233
不会直接贴软件截图,只能发地址了 https://i.imgur.com/pZlbn2G.png https://i.imgur.com/Q4fIDRp.png https://i.imgur.com/H3Y2uRG.png
1
Socrazy 2023-07-11 16:50:27 +08:00
支持日语吗
|
2
zhufeilong 2023-07-11 17:02:04 +08:00
不买 Lifetime Plans 有什么限制吗?
|
3
Upperak1 2023-07-11 17:07:25 +08:00
看了下,不付费只能用简单模型
|
5
Marksdo OP @zhufeilong Free 的限止了不能使用大模型,大模型会比较准确,特别是英语 Only 的对英语是很准确的,只需矫正极少部分.如果是 M1 及 M2 的机器,使用 CoreML 的模块能极大的提升转录的速度
|
7
zhufeilong 2023-07-11 17:39:10 +08:00
@Marksdo #5 感谢
|
8
Marksdo OP 另外介绍下翻译那块,因为苹果商店不能明细写使用了破解的 Deepl 来实现免费翻译,其实可以 github 上找 deeplx 项目或者 zu1k/deepl 这两个项目,在 Whisper Mate 那里配制 local 类型的 deepl ,指向那两个逆向工程的 deeplx 项目,然后用但线程,间隔时间搞个 1-2 秒的,基本就免费随便翻译转录出来的文本了
|
9
gpt5 2023-07-11 20:55:45 +08:00
如果未来支持实时 speech to text 了,请艾特我一下。
|
10
ql562482472 2023-07-11 23:06:39 +08:00
有 windows 版本嘛?然后有日语就更好了
|
11
Chandleric 2023-07-11 23:09:18 +08:00
导出的 SRT 字幕文件好像格式不对?时间轴和文本的位置颠倒了,导致播放软件都无法识别。另外在哪里可以导出双语字幕呢?我好像没有找到这个功能。如果能能解决的话以后看剧就不用等字幕组了,感谢作者!
|
13
Marksdo OP @Chandleric 😅..我修复下
|
14
Marksdo OP @ql562482472 window 版本不会弄,都是弄 mac 上的 app ,还有其它几个小 App 有用的可以玩下哈
|
15
gpt5 2023-07-12 09:45:50 +08:00
@Marksdo 比如在线会议,如果对方安全设置比较严格,zoom/teams 都无法打开软件自带的字幕功能(对我个人来说,我需要实时字幕,不需要翻译)。bemyears (作者也在 v 站)有实时字幕功能,但感觉准确度不是很高。
|
16
LAMBO 2023-07-12 09:54:14 +08:00
CoreML 模块开启后,字幕是简体和繁体混排的,请问是正常的吗
|
17
LAMBO 2023-07-12 10:06:41 +08:00
测试了一下,并不是 CoreML 导致的。但很奇怪,我在抖音上下载了一个短视频,转换出来,字幕始终都是简繁字体混排的,但测试 YouTube 上的长视频就正常,字幕文字一直是简体。
|
19
Marksdo OP @LAMBO 正常,开发时也遇到这个问题,应该上 whisper 模型本身问题,看后面如果模型有更新,跟随看下,如果只是 coreml 开启后才出问题的可能上转 coreml 模型时裁枝了,fp32->fp16 了
|
21
Catch6 2023-07-12 10:58:00 +08:00
这玩意我记得有协议限制,不能商用,你可小心点吧
|
22
awfe 2023-07-12 10:58:52 +08:00
|
24
zhufeilong 2023-07-12 11:43:08 +08:00
@Catch6 开源模型吧,而且国外已经非常多的竞品了,像 MacWhisper 、WhisperScript 用高级模型也都是要收费🤡
|
26
Marksdo OP 把国区价格改为了$4.99 ,谢谢大家的建议!
|
28
xswer001 2023-07-12 18:26:33 +08:00
在预览字幕的时候,视频稍微长一点,会特别卡。上面也有人说过的,srt 导出格式是错误的,没法正常导入视频观看。
|
31
minamike 2023-07-16 18:11:03 +08:00
发现了一个骚操作
先下载一个最小的模型和 CoreML 模型 然后用网上下载的编译好的 large 模型和 CoreML 模型替换掉就好了🐶 |
32
zhangwb2008 2023-07-16 20:22:48 +08:00
推荐个免费的竞品 Windows/Mac 通用 https://mxmefbp9p0g.feishu.cn/docx/ZI3ldweTXorTvMxYLbucT00Un5n
|
34
Marksdo OP @z1249502889 SRT 格式错误的新版本已经修复,可以更新试试,字幕多卡的问题,已记录下,会修复的!感谢提供 BUG
|
37
Marksdo OP @minamike 还没在 14.0 上测试过,开发机只有一台也不敢贸然升级上去
@z1249502889 我测试了一部 2 个多小时的影片没感觉到卡(转换后),如果在转换中去看是会卡的,whisper 默认是只保留 2 个核心给用户其它地方使用,其它都用来做计算了 |
38
xswer001 2023-07-22 21:41:37 +08:00
@Marksdo #37 具体表现是,随便拉翻译后的字幕,字幕的顺序会错乱,对应不到播放条上。如果音频时间比较长,字幕拉到一半,然后再拉到最开始的地方,会发现字幕不能回到最开始的时间点。
|
39
zhufeilong 2023-07-26 13:40:21 +08:00
@z1249502889 #38 我也遇到了这个问题 @Marksdo 希望有空能修复字幕顺序错乱的问题
|
40
azurerayus 2023-08-04 19:10:06 +08:00
作者,经过使用发现了一点问题还有需要几个功能改进
已知问题: 1 、在原始字幕进行翻译后,发现错误进行修改原始字幕。再进行单行翻译,在左侧列表下依旧显示过往的错误翻译。没有进行翻译更新,但是在右侧的字幕预览中倒是没有问题。 2 、更改字幕效果中的透明度无效,一旦尝试更改就始终维持在 100%不透明状态。 功能需求: 1 、增加对于 whisper api 的支持,可以放在付费项。这个对于低配机来说的确重要。就是一个分离音轨提交 api 就行。 2 、增加对于 chatgpt 翻译支持,这个有很多成熟案例。AI 翻译还是要效果好一些,如果支持自定义 prompt ,那么对于一些视频先大致指定内容和翻译角色,应该效果会好很多。 这个软件的功能其实我自己也尝试做过,这是个普遍的需求大家都有。一般再集成一个 youtube 下载器,支持部分网址的直接解析下载。本地识别或者 api 识别再翻译就是很流畅的流程了。 价格方面本来看到有 5 刀,结果到昨天晚上就是 20 刀了。这个常态化价格我觉得还是在 10 刀以下更吸引人购入。 |
41
azurerayus 2023-08-04 19:13:25 +08:00
对了,hugging face 上已经有了 whisper.cpp 再进行 coreml 转换的模型了,各个规模都有,增加下载链接就可以了,没必要还本地再转换。
|
42
Marksdo OP |
43
Marksdo OP @azurerayus 1 、在原始字幕进行翻译后,发现错误进行修改原始字幕。再进行单行翻译,在左侧列表下依旧显示过往的错误翻译。没有进行翻译更新,但是在右侧的字幕预览中倒是没有问题。
回复:这个问题试试修改完后按 command+e 切换回非编辑状态,发现编辑的 TextFields 就是有这个问题,暂时没找到比较好的解决,我再找下 2.更改字幕效果中的透明度无效,一旦尝试更改就始终维持在 100%不透明状态。 回复:记录下了,应该是 bug,在下个版本 V3.5.1 修改 功能需求: 1 、增加对于 whisper api 的支持,可以放在付费项。这个对于低配机来说的确重要。就是一个分离音轨提交 api 就行。 回复: 其实现在音轨已经是分离的,低配机好像也没场景用这个啊?不过用 whisper api 来翻译估计能再准确不少,我看下后面怎么整合进来,顺便介绍下新的 V3.5 已经可以对任何一条文案下载其音轨,并且选择多个字幕下载会自动合并为一条音轨 2 、增加对于 chatgpt 翻译支持,这个有很多成熟案例。AI 翻译还是要效果好一些,如果支持自定义 prompt ,那么对于一些视频先大致指定内容和翻译角色,应该效果会好很多。 回复:套 chatGPT 的不好弄,起码国内用不了,苹果发了邮件说我类似 GPT 的在国内已经下架....Motrix App 直接白搞 一般再集成一个 youtube 下载器,支持部分网址的直接解析下载。本地识别或者 api 识别再翻译就是很流畅的流程了。 回复:下载 Youtube 的不知道能不能上架苹果商店,套到不难,下个版本试试 价格问题是这样上次苹果发邮件给我说国内有 ZC 不能上带 GPT 的上架,想着不对国内了就加价割老外了...,不急的老爹等后面打个非苹果商店版本出来,走其它途径便宜出 |
45
Marksdo OP @azurerayus coreml 模型首次都是要花本地再编译,hf 上的只是一个 coreml 格式文件,本地跑 Whipser 感觉起码 M1 Pro 起步, 我用 M1 跑 Medium 的模型都感觉慢的不可接受.实时识别只有 base 下可以接受响应速度
|
46
Marksdo OP @azurerayus 这个常态化价格我觉得还是在 10 刀以下更吸引人购入。
好,我接受你的建议了,已改为$9.99 了 |
47
zhufeilong 2023-08-08 12:37:56 +08:00
@Marksdo 另外国区是下架了是吗,在已购已经下载不回来了
|
48
Marksdo OP 国区不允许带 AI 的上架...需要等下,在看怎么打独立在商店外的版本,到时已购买的信息是可以复用的
查了下带下载 youtube 视频的也是上架不了商店的,也需要将这个功能做在商店外的版本 |
49
Marksdo OP 因为邮件里还有苹果写到不少如 ZC,ZF 这些相关的关键字,就不贴出来了,反正国区 AI 相关的估计都挂了
|
50
azurerayus 2023-08-09 16:49:50 +08:00
现在的限制都是越来越多,这个东西呢我也想了一下有一些的套路。
例如常见的内购绑定邮箱,然后 app store 以外的版本利用邮箱激活订阅。 ai 翻译以及多网站下载还是很重要并且很好用的,这些都有开源实现,加进去很容易。一般软件加一个沟通群链接,带上些 wiki ,墙内墙外自己去找就差不多了。 |
51
Marksdo OP 国区下载或更新不了的可以用这个
https://marksdo.gumroad.com/l/whispermate 支持 Youtube 的视频下载了 用 V2EX-USERS 这个 Coupon 可以返回跟苹果商店一样的价格了. 另外看了 Gumroad 的文档是支持 Affiliates, 有兴趣分成的或知道怎么玩的一起赚$啊 |
52
Marksdo OP 貌似是注册好 GumRoad 的帐号,然后加入 Whisper Mate 的 Affiliates,这边生成你独有的链接,然后从链接进来 30 天内有销售就有提成
|
53
azurerayus 2023-08-17 19:08:26 +08:00
一个是不同渠道销售的按照邮箱绑定激活,否则会有换机授权的问题。
第二个是针对国内对于 AI 的限制,还可以采用插件的方式放在网上来下载。 刚才在编辑字幕的时候遇到问题,有时语音识别一个接近的读音都会识别错,所以按照错误的结果来筛选。但是一旦对字幕进行任何一点修改,那么这一行也就不在筛选之列,瞬间消失了。 应当在筛选后就不动态筛选,而是手动点击后再筛选。方便修改错误结果。 一般做这个产品,至少给个个人站,和一点点 wiki 。 |
54
zhufeilong 2023-08-18 12:32:39 +08:00
@Marksdo 感谢开发商店外的版本
|
55
Marksdo OP @azurerayus 应当在筛选后就不动态筛选,而是手动点击后再筛选。方便修改错误结果。
这个这周的 V4.0.1 加上,我自己也遇到过这个问题,要想下怎么解决 @zhufeilong 之前的商店外版本有大 BUG...套 python 来下载 YT 视频失败...换了解决方案,现在应该比较完美了 |
56
Marksdo OP 顺便调查下,大家觉得这个搞 iPad 版本有没有前景,有需求吗?个人感觉有,又貌似没,怕白搞
|
57
azurerayus 2023-08-29 06:24:48 +08:00
@Marksdo 我估计难,主要是性能限制、用户喜好和版权限制。
要搞 ipad 版,那估计就得上 whisper api 了,不比 mac ,用 ipad 的没几个愿意等转码时间。 但是你这个没办法搞视频下载,然后实时识别需要的性能估计不够。m1 都难 哪个用 ipad 的会去搞这个,受众太小,还不如期待他们用 mac 然后共享给 ipad |
58
Marksdo OP 可能 iPad 有一种使用场景,比如老外教授之类的课程时,如果外语不太好,可以拿着 iPad 来用 whisper Mate 进行大概的实时转录并且将课程语音录下来.找下苹果有没有方便的方式直接转 macOS 到 iPad , Mac Catalyst 貌似只能将 iPad 的转 mac,没有反过来的..q-_-p
|
59
ttgo 2023-09-17 19:08:42 +08:00
商店版与你网站上的版本有区别么?
|
60
ttgo 2023-09-17 20:27:10 +08:00
我想实时转录,试了一段新闻,我感觉"简化模型"是“可用”的下限了,
然而"简化模型"做不到实时,我是 m1 pro 。 |
61
azurerayus 2023-09-21 19:23:56 +08:00
你这个新版的怎么连带翻译导出字幕都不行了
|
62
barryzhai 2023-09-23 23:54:10 +08:00
@Marksdo 您好,最新版本的 deepl 翻译出现错误,申请 deepl api 后填入出现:未能读取数据,因为他的格式不正确
|
63
vegetablebird 2023-12-24 22:44:20 +08:00
可以实时转录在线会议别人的发言吗?
|
65
junelee220 80 天前
这个还能用吗?
|