英伟达在10月28日这一天, 推出了那个开放权重的语音转录模型, 这个名字叫做Nemotron 3.5 Transcribe, 与此同时, 还同步公开了用于训练的数据管线, 其名称是Granary v2, 这些内容全部都免费开放给大家使用, 这个模型能够处理时长达到1小时的录音内容, 支持的语言种类多达40种, 此外, 它还能够做到当有多个人同时说话的时候, 逐人标注出各自的角色。
01.混合专家架构撑起340亿参数
Nemotron 3.5 Transcribe模型, 是采用了混合专家的这种架构。它的总参数数量大约为340亿, 但是被激活的参数量仅有大约43亿。这种做法使得该模型能够在精度指标和推理效率这两个方面取得平衡。正因如此, 它更加适合被部署到本地计算环境以及边缘设备当中。
这个模型它可以处理时长最长能够达到1个小时的录音, 还支持对40种不同的语言进行转录操作, 在这40种语言里面, 有31种语言能够与英语实现互相翻译。另外在说话人识别功能方面最多可以区分出来8名不一样的说话人, 同时还支持使用13种不同语言来进行说话人的标注工作。
02.多人同时说话也能分出角色
它最大的一个亮点, 就在于能够去应对那种多个人同时在一块儿说话的复杂场景。模型在把文字内容一点点生成出来的这个过程中间, 就给每一段所对应的发言给标注清楚了是谁说的。这就完全不需要等到最后再去搞什么声纹分离的复杂操作啦。它能直接就把区分好不同角色的那些字幕结果就这么输出出来。
在官方进行的演示操作里面, 那个模型针对的是1940年间上映的电影作品, 该影片名叫《他的女友礼拜五》, 片段内容具有语速极其快速的特点, 并且存在大量的对白重叠现象, 模型能够成功做到分角色生成字幕, 这一结果有效验证了模型能够在高难度场景条件下具备可用性。
03.公开评测拿下开放模型第一
在Hugging Face Open ASR Leaderboard英语组, 该模型以5.33%平均词错误率的成绩, 位列开放权重模型的第一名。这一成绩刷新了开源语音转录方面的精度纪录。
另外David AI也在说话人分离基准中进行了测试, 它支持的语种数量有21种之多, 最终的统计结果是录得一个最低的水平, 具体数值为18.26%的这种错误率指标。
04.免费开放与本地部署
模型已经在Hugging Face与ModelScope上面免费开放了, 它是采用了OpenMDW-1.1许可证的。开发者可以下载它, 企业也可以部署它, 大家还能进行二次开发, 这里是没有额外授权费用的。
量化版本计划在后续进行发布。在这个发布时间点到达的时候, 该版本可以被部署到多种本地设备上面。这些设备包括RTX Spark、DGX Spark以及Jetson AGX Thor等终端。
这种做法能够满足在那些对隐私非常敏感的领域内产生的离线语音文本转换需求, 使得数据处理可以在不联网的状态下安全完成。
05.Granary v2数据管线同步公开
Granary v2是NVIDIA为多语言语音模型构建的开放训练数据整理管线, 它可以将原始或者已经经过标注的音频, 自动地加工成多种不同的格式, 这些格式包括转录、翻译、字幕、问答和指令对等等。
公开数据清单的范围被扩大了, 这个清单包含了463,062小时时长的音频内容, 还涵盖了48种不同的语言, 并且基于16个不同的源语料库构建起来, 相比于Granary v1版本中仅仅拥有25种语言的状况来说, 这是一个非常大幅度的扩展动作, 这样的扩展结果为社区进行微调操作提供了非常充足的素材支持。
06.多种转录变体适配不同场景
在对同一段录音进行分析的过程中, Granary v2 这个系统会负责生成至少三种转录变体。这些变体是专门对应用户通过提示词所要求的那种不同的书面风格设定的。因为系统具备了这样的能力, 所以用户在完成操作后, 是可以直接切换到所需的输出格式的, 而不需要再做任何额外的手动后处理工作。
主要面向那些会议纪要、课堂录像、访谈整理还有多语言客服之类的场景。开发人员能够根据自己实际的用途来挑选最合适的那种转录风格。只用一套模型就足以覆盖多种类型的业务需求。
很多人都在疑问, 到了明年那一天, 开放权重的语音模型到底有没有可能在规模上头把商业-api-服务给直接替代掉, 这种事儿, 大家确实有必要在评论区里头多聊聊感想, 要是你觉着这个内容还过得去的话, 就麻烦点个赞顺便分享出去。
