Mistral 的实时转写模型 Voxtral Mini Transcribe Realtime 3 于 2026 年 10 月 20 日上线公开预览版。它走 WebSocket,人还在说话文字就往外出;延迟可以在 80 毫秒到 2.4 秒之间自己调,还能区分说话人或判断一轮话是否说完。但它不做实时翻译,也不出纪要。
LecSync 实时语音 API 补的正是这一块:一条连接里有预览字幕和定稿字幕、60 种语言任意两种之间的互译、每句定稿上的说话人和对齐录音的时间戳,外加会议进行中逐段生成的纪要。这些全部打开,价格仍是每分钟音频 $0.006,折合每小时 $0.36。
下文 Mistral 的数字都取自其官方文档,核对时间为 2026 年 10 月 21 日:API 价格、Realtime 3 模型页、实时转写指南、说话人分离、支持语言和聊天接口中的音频。两家都以美元标价,本文不涉及汇率换算。
先说结论
只做单语字幕,或者做语音助手、需要判断用户什么时候说完,Voxtral 可以用。Realtime 3 每分钟 $0.008,1000 小时 $480。上一代 voxtral-mini-transcribe-realtime-2602 仍按每分钟 $0.006 标价,和 LecSync 一样;它的权重以 Apache 2.0 协议开源,愿意自己部署也行。
一旦字幕要翻译、说话人要带时间、或者想先出快字再换成更准的字,就得在 Voxtral 上面自己搭。LecSync 在同一条连接里都做了,1000 小时 $360,还没算翻译就比 Realtime 3 少 $120。
两边怎么接
LecSync。 服务端调 POST https://api.lecsync.com/v1/realtime/connect,告诉它音频格式、语言对和要开的功能,拿到地址后推 16 kHz 单声道 PCM。人没说完先推预览文字,一句话落定后再推定稿;译文按 segment ID 和原句配好对。开 speakers: true,每句定稿带说话人和 startMs/endMs,时间按录音本身计;开 digest: true,纪要按话题一段段推过来。语种自动识别,翻译方向逐句判断,中英混着说的会议一条流就够。开口到首字上屏约 0.28 秒,翻译再多约 88 毫秒。
Mistral Voxtral Realtime 3。 带 API Key 连 wss://api.mistral.ai/v1/audio/transcriptions/realtime?model=voxtral-mini-transcribe-realtime-3,收到 session.created 后发一次 session.update:采样率(默认 16 kHz)、target_streaming_delay_ms、可选的语种代码、context_bias 词表,以及 diarize 或 turn_detection 二选一。之后用 input_audio.append 发 base64 音频块,文字以 transcription.text.delta 陆续返回,最后 transcription.done 给出全文。
做字幕产品,官方指南里有三处要先想清楚:
- 每个 delta 都是定稿。 文档原话是 delta「不会修改之前的文字」,前端只管往后追加。想先出快字、再换成准字,官方给的办法是同一段音频开两个会话,等于分钟数付两遍。
- 音频一开始,参数就锁死。 第一块音频之后再发
session.update会报错,要换语种或延迟只能重开会话。 - 说话人和轮次检测只能选一个。
diarize和turn_detection不能放在同一个会话里。
实时说话人分离
说话人分离是 Realtime 3 新加的。设 diarize: true 后,会话不再发 delta,改发 transcription.segment:每条几个词,带一个 speaker_id。但官方示例里这些事件的 start、end 都是 null。也就是说,界面上能显示谁在说,却没法从实时事件直接跳回录音里那一句。
还可以传最多 8 段参考音频,每段 3–15 秒,熟人的声音会直接返回名字。说话人总数上限 10 个。文档也写明,这一版不支持多人同时说话。
LecSync 每句定稿都带说话人和毫秒级时间戳。上游连接即使中途重连,时间也一直按同一条录音时间轴走,拿来回放不用再校正。具体做法见用说话人和时间戳搭会议客户端。
翻译要另调接口
Mistral 的语言说明里,翻译归在「聊天接口中的音频」,不属于实时模型。做法是把录好的音频文件 base64 后发给 voxtral-small-latest 这类聊天模型,附一句「把这通电话翻成法语」,返回一段文字。指南还特意提醒:返回结果不带时间戳,译文没法对回音频里的具体时刻。
所以在 Voxtral 上做实时翻译字幕,常见的路子是从实时流里收齐一句,再丢给文本模型去翻。断句、重试、译文和原句对齐,都归你管。这套流水线要多写多少东西,可以看内置翻译和自拼 STT + 机翻的对比。
功能对照(2026 年 10 月 21 日核对)
| LecSync 实时语音 API | Mistral Voxtral Realtime 3 | Mistral Voxtral Realtime 2602 | |
|---|---|---|---|
| 状态 | 已上线 | 公开预览,10 月 20 日发布 | 正式版,Apache 2.0 开源权重 |
| 价格 | 每分钟 $0.006(每小时 $0.36),功能全含 | 每分钟 $0.008(每小时 $0.48) | 每分钟 $0.006(每小时 $0.36) |
| 语种 | 60 种,自动识别 | 45 种语言和方言,可自动识别或指定 | 现行文档未列 |
| 实时翻译 | 60 种任选两种,同一连接 | 无;翻译走聊天接口,且针对录好的音频 | 无 |
| 先预览、后修正 | 有,一条流 | 无,delta 即定稿;快 + 准要开两个会话 | 无 |
| 说话人 | 每句定稿都有 | 每几个词一个 speaker_id,最多 10 人 | 该模型没有 |
| 实时说话人带时间 | 每句定稿有 startMs/endMs | start/end 为 null | — |
| 延迟 | 首字约 0.28 秒 | 每个会话可设 80–1200 毫秒或 2400 毫秒 | — |
| 轮次检测 | 无 | 有(不能和说话人分离同开) | — |
| 实时纪要 | digest: true | 无 | 无 |
| 自定义词汇 | 术语表和领域上下文 | context_bias 词表 | — |
| 用量限制 | 未公布 | 按工作区设每分钟、每月音频秒数 | 同左 |
| 可用性承诺 | 尽力而为,暂无 SLA | 这些页面未写 | 未写 |
2602 一栏只填了 Mistral 文档里写到的内容。它的模型页写的是「专为实时转写优化」,迁移指南则把实时说话人分离和轮次检测列为第 3 版的新功能。
1000 小时要花多少
| 每月 1000 小时 | LecSync | Voxtral Realtime 3 | Voxtral Realtime 2602 |
|---|---|---|---|
| 单语字幕 | $360 | $480 | $360 |
| 先快字后准字(Voxtral 开两个会话) | $360 | $960 | $720 |
| 翻译字幕(Voxtral + Mistral Small 4 翻文本) | $360 | 约 $491(估算) | 约 $371(估算) |
| 带时间的说话人、实时纪要 | 已含 | 实时拿不到 | 无 |
价格按官方每分钟标价算:60,000 分钟乘以 $0.006 或 $0.008。翻译一行假设每小时英语讲话约 12,000 个输入 token、15,000 个输出 token,按 Mistral Small 4 每百万 token 输入 $0.15、输出 $0.60 计,token 数是估算。可以看出模型费在这里不多,真正花钱的是要自己搭、自己维护的那条流水线。更多厂商放在一起算的结果见加上翻译、说话人和纪要后 1000 小时各要多少钱。
这些情况选 Voxtral
- 做语音助手。 自带
turn.start、turn.end和提前结束等轮次事件,助手知道什么时候该接话。LecSync 的 API 里没有轮次检测。 - 想自己权衡速度和准确度。 每个会话的延迟最低 80 毫秒,最高 2.4 秒。
- 要认出固定的人。 有参考音频,老熟人返回的是名字,不是
speaker_1。 - 要自己部署。 2602 实时模型的权重以 Apache 2.0 开源。
- 整套业务都在 Mistral 上。 聊天、OCR、TTS 已经在用,一个账单、一把 Key 省心不少。
这些情况选 LecSync
- 实时翻译字幕。 60 种语言任选两种,同一条连接,每条译文都挂在对应的句子上。
- 双向对话。 中译英、英译中在一条流里,方向逐句判断。
- 字幕边出边改。 预览字先上屏,定稿后自动替换,不用再开一个付费会话。
- 说话人时间能直接回放。 每句定稿都有说话人和录音时间轴上的
startMs/endMs。 - 长时间、网络不稳的场景。 服务端积压最多 2 秒,网络卡完一秒内字幕就追上当前这句,原理见 LecSync 如何把积压限制在 2 秒。
- 会还没散,纪要先有了。
digest: true在会议进行中推送已确认的段落,对比见实时纪要和会后总结。
还在看别家的话,可以参考 LecSync 对比 ElevenLabs Scribe Realtime 和 LecSync 对比 AssemblyAI 与 OpenAI Realtime。
常见问题
Mistral Voxtral 实时转写怎么收费?
截至 2026 年 10 月 21 日,Mistral 给 Voxtral Mini Transcribe Realtime 3 的标价是每分钟音频 $0.008,即每小时 $0.48;上一代 voxtral-mini-transcribe-realtime-2602 为每分钟 $0.006。两者都不含翻译。LecSync 每分钟 $0.006,翻译、说话人和实时纪要都算在里面。
Voxtral Realtime 能实时翻译吗?
不能。按 Mistral 文档,翻译属于聊天接口里的音频任务:把录好的文件发给聊天模型,拿回一段不带时间戳的译文。要做实时翻译字幕,得自己把实时流里每句定稿转给文本模型。LecSync 在同一条连接里直接返回译文。
Voxtral Realtime 支持说话人分离吗?
Realtime 3 开始支持。设 diarize: true,会话返回带 speaker_id 的 transcription.segment,最多 10 个说话人。不过实时事件里 start、end 为空,不支持多人同时说话,也不能和轮次检测同开。LecSync 每句定稿都带说话人和时间戳。
Voxtral Realtime 比 LecSync 便宜吗?
用 2602 做单语字幕,价格一样,都是每分钟 $0.006;Realtime 3 贵三分之一,每分钟 $0.008。自己部署开源的 2602,成本取决于自家 GPU。要是再加翻译、实时纪要,或者为了修正文字多开一个会话,LecSync 的统一价反而更低。
怎么选
做语音助手、需要轮次检测,或者想自己调延迟、本来就在 Mistral 上开发,选 Voxtral Realtime 3;看重开源权重,选 2602。字幕要翻译、要带能回放的说话人时间、要边出边改、会议中就要纪要,选 LecSync,统一每分钟 $0.006。在开发者页面调一次 POST /v1/realtime/connect 就能开一条测试流。