NVIDIA Speech NIM(现在包装 Riva ASR 的方式)是跑在你自己 GPU 上的 Docker 容器。你用 WebSocket 推 16 kHz PCM,拿中间结果和定稿,也可以打开说话人分离。公开页面上没有「每分钟多少钱」:正式上生产要用按 GPU 计费的 NVIDIA AI Enterprise 许可,再加上显卡本身的成本。
LecSync 实时语音 API 是托管的 WebSocket:预览字幕和定稿、60 种语言任意两种互译、每句定稿上的说话人和对齐录音的时间戳,还有边开会边生成的纪要。这些全部打开,价格仍是每分钟音频 $0.006,折合每小时 $0.36。
下文 NVIDIA 的数字于 2026 年 10 月 23 日核对,来源包括 ASR 支持矩阵、实时 WebSocket API、部署 ASR 模型说明、AI Enterprise 价目以及 NIM 产品 FAQ。
先说结论
如果你已经有 NVIDIA GPU、必须私有化或断网部署,或者音频不能出内网,Speech NIM 更合适。Nemotron ASR Streaming 在一块大显存 GPU 上可以撑很高的并发,AI Enterprise 也带企业支持和明确的 SLA。
如果要做带翻译的实时字幕,还要说话人和会上纪要,又不想自己运维容器,LecSync 更省事,在课堂和会议体量下通常也更便宜。1000 小时是 $360;单块 GPU 的 AI Enterprise 年费标价就是 $4,500,还没算显卡电费或云实例。
两边怎么接
LecSync。 服务端调 POST https://api.lecsync.com/v1/realtime/connect,告诉它音频格式、语言对和要开的功能,拿到地址后推 16 kHz 单声道 PCM。人没说完先推预览文字,一句话落定后再推定稿;译文按 segment ID 和原句配好对。开 speakers: true,每句定稿带说话人和 startMs/endMs,时间按录音本身计;开 digest: true,纪要按话题一段段推过来。开口到首字上屏约 0.28 秒,翻译再多约 88 毫秒。
NVIDIA Speech NIM(Riva ASR)。 从 NGC 拉 nemotron-asr-streaming 或 Parakeet 一类容器,用 NIM_TAGS_SELECTOR 选语种配置和流式模式。走 HTTP/WebSocket 实时通路时,先向 9000 端口 POST /v1/realtime/transcription_sessions,再连 ws://<主机>:9000/v1/realtime?intent=transcription,音频格式是 PCM16(默认 16 kHz、单声道)。服务端推 conversation.item.input_audio_transcription.delta,定稿时推 completed;打开词级时间和说话人后,定稿里会带 start_time、end_time、speaker_tag。经典 Riva 客户端仍可用 50051 端口的 gRPC。
生产环境有两点要提前想清楚:
- GPU 和许可你自己扛。 NIM FAQ 写明,生产用途需要 NVIDIA AI Enterprise。自管环境标价每 GPU 每年 $4,500;公有云市场大约每 GPU 每小时 $1,再加云厂商实例费。在 build.nvidia.com 或开发者计划里试用是免费的,那不是生产通道。
- 空闲连接会超时。 实时服务默认 60 秒无活动就断开。LecSync 用的是服务端积压封顶 2 秒,短静音一般不会直接拆会话,见积压为什么卡在 2 秒。
语种
Nemotron ASR Streaming 有纯英语配置,也有覆盖 40 个 locale 的多语配置(文档里 19 个标成转录就绪、13 个广覆盖、8 个适合再微调);多语配置可用 language_code=auto 自动识别。Parakeet RNNT Multilingual 流式支持 25 种以上语言;若干 Parakeet CTC 模型覆盖英语、西语、普通话、台湾华语和越南语的语码转换。当前支持矩阵里,Whisper Large v3 和 Canary 只提供离线模式。
LecSync 支持 60 种语言,自动判断当前说的是哪种,并在同一条流里做任意两种之间的互译。
说话人和时间戳
在 NIM 上打开 speaker_diarization.enable_speaker_diarization,并设 max_speaker_count。Nemotron 用最多 8 人的 Sortformer;Parakeet CTC/RNNT 用最多 4 人的版本。这个数字是上限,不是保证一定能分出那么多人。打开词级时间后,定稿事件里可以带每个词的起止时间和 speaker_tag。
LecSync 每句定稿都带说话人和毫秒级时间戳,上游连接中途重连,时间也一直按同一条录音时间轴走。具体做法见用说话人和时间戳搭会议客户端。
翻译和纪要
流式 ASR NIM 只返回转写。NVIDIA 自己的概述把实时翻译写成一条流水线:ASR NIM,再接单独的 NMT NIM,需要的话再加 TTS。Whisper Large v3 可以离线译成英语;Canary 1b 离线支持双向翻译。这两条都不是「一条流式连接里任意语对互译」。
LecSync 在同一条连接里返回译文。如果想自己拼识别加机翻,可以看内置翻译和自拼 STT + 机翻的对比。NIM 没有和 LecSync digest: true 对等的实时纪要;见实时纪要和会后摘要怎么选。
对照表(2026 年 10 月 23 日核对)
| LecSync 实时语音 API | NVIDIA Speech NIM / Riva ASR | |
|---|---|---|
| 计价 | 每分钟 $0.006(每小时 $0.36),功能全包 | 无公开 $/分钟;AI Enterprise 自管 $4,500/GPU/年,或约 $1/GPU/小时 + 云实例 |
| 免费试用 | 开发者页未单列 | build.nvidia.com / 开发者计划可试用;AI Enterprise 有 90 天评估 |
| 部署 | 托管 SaaS,7 个网关区域 | 自管 Docker,需要 GPU(算力 ≥ 8.0,显存 ≥ 16 GB) |
| 流式语种 | 60 种,自动识别 | Nemotron 多语 40 个 locale;Parakeet RNNT 25+;另有纯英语 Nemotron |
| 实时翻译 | 60 语任意互译,同一条连接 | 流式 ASR 没有;需另接 NMT NIM(或离线 Whisper/Canary) |
| 中间结果 | 预览 → 定稿 | delta + completed |
| 说话人 | 每句定稿带 startMs/endMs | 可选;Nemotron 最多 8,Parakeet 最多 4 |
| 实时纪要 | digest: true | 无 |
| 术语定制 | 术语表 / 领域上下文 | word boosting 词表 |
| 并发 | 未公开 | 实时服务默认 max_connections 10,000;Nemotron bs=512 最高约 4,096 条流水线流 |
| 音频格式 | 常见 16 kHz 单声道 PCM | pcm16,默认 16 kHz |
| 可用性承诺 | 尽力而为,无 SLA | AI Enterprise:有明确 SLA 与企业支持 |
1000 小时要花多少
| 每月 1000 小时音频 | LecSync | NVIDIA Speech NIM |
|---|---|---|
| 同语字幕 | $360 | 许可 + GPU(标价底:每 GPU 每年 $4,500,尚未计硬件) |
| 翻译字幕 | $360 | ASR NIM + 另外部署的 NMT NIM(多一个容器 / 更多 GPU) |
| 带时间戳的说话人 | 已包含 | 打开 diarization 后包含 |
| 实时纪要 | 已包含 | 没有 |
1000 小时 = 60,000 分钟 × $0.006。NVIDIA 不公布 ASR 每分钟单价,不知道一块 GPU 上挂多少路流,就没法直接换算成 $/分钟。用量不大时,光年费就超过 LecSync 的 $360;一块大显存 GPU 跑满很高并发时,折合到每分钟可能比托管 API 更低——这一点文章里如实写。其他「一口价 vs 功能加钱」的对比见翻译、说话人、摘要都算上,1000 小时要多少钱。
什么时候选 NVIDIA Speech NIM
- 私有化或专有云。 音频不出你的网络,GPU 和机房自己定。
- 自有 GPU 上的超高并发。 Nemotron 最大配置面向 48 GB 级显卡上的数千路流水线流。
- 要企业合同和 SLA。 AI Enterprise 带支持与明确服务等级;LecSync 目前没有 SLA。
- 要深定制。 热词、低延迟 / 高吞吐配置、按语种换模型。
- 已经在用 NVIDIA 栈。 再加一个 ASR 容器,不必换一家供应商。
什么时候选 LecSync
- 要带翻译的直播字幕。 60 语任意一对,同一条连接,译文和原句对齐。
- 没有 GPU 运维团队。 一次
POST /v1/realtime/connect,七个托管网关区域,不用 Docker 和 NGC。 - 课堂、会议还要纪要。 说话人、时间戳和会上的
digest。 - 账单按分钟可预期。 每小时 $0.36,翻译和说话人都算进去,按不足一秒计费;空连接不计费。
- 混语场景。 语种按句识别,而不是按容器配置写死。
如果还要对照其他托管 API,可以看 LecSync 对比 IBM Watson Speech to Text、LecSync 对比 Google Cloud Speech 流式和 LecSync 对比 Azure Speech 实时翻译。
常见问题
NVIDIA Riva / Speech NIM 怎么收费?
截至 2026 年 10 月 23 日,NVIDIA 没有公布 ASR 的公开每分钟单价。生产环境使用 NIM 需要 NVIDIA AI Enterprise:自管标价每 GPU 每年 $4,500,公有云市场大约每 GPU 每小时 $1 再加实例费。build.nvidia.com 和开发者计划可以免费试用;另有 90 天 AI Enterprise 评估许可。
Speech NIM 能在一条流里做实时翻译吗?
不能。流式 ASR 的 WebSocket 只返回转写。NVIDIA 文档把实时翻译写成多 NIM 流水线(ASR 再接 NMT,可选 TTS)。Whisper 和 Canary 的翻译只在离线模式。LecSync 在同一条连接里做 60 语任意互译。
NIM 最多能分几个说话人?
Nemotron ASR Streaming(Sortformer)最多 8 个,Parakeet CTC/RNNT 最多 4 个;max_speaker_count 是上限。LecSync 每句定稿都带说话人和毫秒时间戳。
没有自有 GPU 能用 Speech NIM 吗?
生产仍要落在带 AI Enterprise 许可的 NVIDIA 加速环境(自建机房或云 GPU)。试用可以走 build.nvidia.com 上的托管端点。LecSync 是全托管,不要求你自己跑 GPU。
总结
要自托管、高并发流式识别,或者必须有企业 SLA,选 NVIDIA Speech NIM。要翻译字幕、说话人和实时纪要,又希望一口价每分钟 $0.006、不用运维容器,选 LecSync。可以在开发者页面用一次 POST /v1/realtime/connect 开一条测试流。