英伟达开源语音模型Nemotron 3.5 Transcribe，40种语言转写更准

01.模型架构与参数规模

该模型的总参数量大约是340亿, 在运行时激活的参数大约为43亿。其底层结构采用了Mamba-2来处理长序列, 并且使用了MoE架构来按需调用专家模块。这样做既保持了模型的规模大小, 又在单个推理过程中有效控制并降低了计算的总量。

并行编码器先把语音里的内容和说话人的身份信息分开, 进行分别的提取, 然后再把这两个路数的信息加以融合, 这样最终就可以生成对应的转写的结果了, 并且这个系统能够支持时间长度达到最长1小时的录音处理, 同时还能覆盖40种语言的识别任务, 其整体定位被设定为是针对离线录音场景进行的转写工作, 而不是用来支持那种需要实时互动的流式交互模式的。

02.英文与多语言识别表现

在9个公开的英文测试集上, 平均的词错率达到了4.71%, 这个成绩比Qwen3-ASR-1.7B的4.94%要好一些, 也比Granite-Speech-5.0-2B更好, 所以在Open ASR排行榜里排在第一位。

多语言平均的词错误率这个指标, 它的数值是达到了4.62%, 在排名的时候它位居为第三位。它在这个方面是领先于Qwen3-ASR-1.7B的, 同时它也领先于Voxtral-Small-24B的, 此外它还领先于Whisper-large-v3的。

但是呢, 它仍然还是没有能够及得上ElevenLabs Scribe v2的, 也是没有能够及得上Azure Speech的。

03.指令可调的六类转写输出

用户不用进行微调, 只需要用自然语言去发出指令, 就可以完成转写风格的切换, 一个模型就能支持六种不同的输出形态, 这六种形态包括了纯文本、时间戳标注以及说话人区分等, 能够灵活地适配各种不同业务。

上下文辅助功能允许输入专有名词列表, 模型结合语境改善品牌名、地名、人名识别准确率, 有效减少专有名词误写和多余内容。

04.多人发言与时间戳标注

多人的转写WER达到了15.80%, 这个成绩是要优于DiCoW v3.3与DiariZen级联组合的16.83%的。同时, 这是直接面向会议记录、访谈和多人讨论场景的。

时间戳适配器在文本生成完成之后, 去对齐词语和音频位置, 然后输出词级别的时间戳。把这些词级时间戳结合说话人分离的结果以后, 就可以生成带发言者归属信息的完整转写。

05.四阶段训练与数据配比

整个训练过程分为四个阶段, 也就是初始化、SFT和强化学习等几个部分, 在得到优化之后, 英文的单词词错误率从4.34%降到了4.00%, 多语言的单词词错误率从5.05%降到了4.78, 重点减少了专有名词方面的错误。

Granary-v2的伪标注数据占比是31.2%, 人工改进的数据占比为25.7%, 语音翻译相关的数据占比达到了13.7%, 英伟达内部来源的语音数据占比为25.1%。在这些分类中关于上下文ASR任务的抽取概率, 合起来合计大约是四成的比例。

06.开源部署与推理效率

该情况是采用NVFP4量化, 并且是配合DFlash2解码器来进行的, 其处理的速度最高能够达到每秒两百二十三十八秒的音频数据。在一共有十个类别的任务当中, 对于语音识别、翻译、语言识别、音频理解以及文本推理这些方面都进行了评估覆盖操作。

目前单一开源模型正在替代多种工具链, 这会降低企业部署会议转写以及多人讨论场景时的集成复杂度, 与此同时推理效率与部署灵活性正成为用户选型的核心考量。

这个整合的模型在真实的多语言业务里面的落地效果, 到底怎么样, 还是说仍然有待进一步的验证, 至于开源这件事儿，是不是真的能够降低工具链的成本, 这个问题也存在着一定的讨论空间, 所以非常欢迎大家进行点赞和分享的动作, 并且可以进入到评论区当中, 去聊聊看你目前最关注的语音识别方面的问题到底是哪些方面的内容呢。