读当下这句口语
输入是 ASR 切出来的一块:口语、被切断,或略有识别错误。模型翻译已经出现的内容,而不是把它改写成一篇作文。
这是我们 4B 参数的翻译模型:读实时课堂和会议转写,带上文、带术语表,只输出译文。它就是 LecSync 实时翻译背后的引擎。更轻的 1.7B 版本仍可使用。
开发者 API 即将推出
用在产品里
LecSync-MT 不是旁路研究演示。它就是 LecSync 跑在实时语音上的翻译模型:一段 ASR 进去,可选的前文和课程术语表放在旁边,出来的只有译文。这个契约对应课堂和会议真正发生的方式——短、口语、有时没说完。
怎么工作
通用翻译模型多半在书面文本上训练。LecSync-MT 在语音转写上训练,所以残句就按残句翻,不会把没说完的话补成完整段落。
输入是 ASR 切出来的一块:口语、被切断,或略有识别错误。模型翻译已经出现的内容,而不是把它改写成一篇作文。
此前的源语言段落是可选上下文。它们用来消解代词和话题词,而不会被再翻译一遍。
把课程或产品用语做成「原文 → 译文」对。模型受过监督,会保住这些形式,而不是换成流畅但差一点的说法。
[system] You are a professional simultaneous interpreter for live lectures and meetings. [user] Context (previous segments): Today we talk about database design. Glossary: ERD -> 实体关系图 English->Chinese: So we use the ERD first.
评测
质量结论以成对 AI 裁判为准(Gemini,正反双判)。官方 BLEU 只作对外可引用的参考数字——它曾在三套冻结试卷上与裁判方向相反。
裁判:Gemini 3.8 Flash,正反双判,冻结的课堂与会议试卷。生产对比取自 LecSync 线上流量的 407 段。除特别注明外,以下结果均为 1.7B。
4B 对比 1.7B
4.21 / 5
严重错误减半
998 段线上转写盲评(1–5 分):4B 平均 4.21,1.7B 为 3.72;严重错误率从 18.2% 降到 9.9%。被评为最好的有 485 段,1.7B 只有 58 段。
此前的云端链路
51.9%
统计上打平
对 407 条课堂/会议段落,相对此前生产栈(云端草稿 + 可选改写)的胜率为 51.9%,p = 0.69。只对裸云端草稿时点估计为 55.7%,仍不显著。
腾讯混元 Hy-MT 1.8B
71.9%
课堂 ASR 上领先
通用课堂段胜率 71.9%。带上文:74.3%。带术语表:69.3%。混元在 WMT24 书面/新闻上更好——LecSync-MT 是口语专家,不是通用文学翻译模型。
Qwen3.5-2B
6 / 6
六套冻结试卷全胜
与混元对比使用同一套六组冻结题目,覆盖课堂、上文、术语、无上文、WMT24 和多语言目标。
| 题组 | LecSync-MT 胜率 |
|---|---|
| 课堂段落 | 71.9% |
| 需要上文 | 74.3% |
| 术语表 | 69.3% |
规格
任务
口语转写翻译
训练
真实课堂和会议转写
训练行数
149,042
解码
贪心(与评测一致)
课堂行大多来自真实 LecSync 转写,由教师模型标注,再经 LLM 裁判过滤。多语言回放混合让原来的 60 个目标语槽位继续有信息,模型不会把所有目标都塌成中文。上文敏感对和术语行在训练集里;回放行两者都没有。
用英文语言名指定目标(English→Chinese、Korean→English)。产品里实际服务的课堂语言覆盖最强,部分低资源文字系统质量更薄。
托管演示可以提交一段课堂或会议转写,看 LecSync-MT 怎么翻译。权重不开放。公开 HTTP API 尚未提供。