讀當下這句口語
輸入是 ASR 切出來的一塊:口語、被切斷,或略有辨識錯誤。模型翻譯已經出現的內容,而不是把它改寫成一篇作文。
這是我們 4B 參數的翻譯模型:讀即時課堂和會議轉寫,帶上文、帶術語表,只輸出譯文。它就是 LecSync 即時翻譯背後的引擎。更輕的 1.7B 版本仍可使用。
開發者 API 即將推出
用在產品裡
LecSync-MT 不是旁路研究展示。它就是 LecSync 跑在即時語音上的翻譯模型:一段 ASR 進去,可選的前文和課程術語表放在旁邊,出來的只有譯文。這個契約對應課堂和會議真正發生的方式——短、口語、有時沒說完。
怎麼運作
通用翻譯模型多半在書面文本上訓練。LecSync-MT 在語音轉寫上訓練,所以殘句就按殘句翻,不會把沒說完的話補成完整段落。
輸入是 ASR 切出來的一塊:口語、被切斷,或略有辨識錯誤。模型翻譯已經出現的內容,而不是把它改寫成一篇作文。
此前的源語言段落是可選上下文。它們用來消解代詞和話題詞,而不會被再翻譯一遍。
把課程或產品用語做成「原文 → 譯文」對。模型受過監督,會保住這些形式,而不是換成流暢但差一點的說法。
[system] You are a professional simultaneous interpreter for live lectures and meetings. [user] Context (previous segments): Today we talk about database design. Glossary: ERD -> 实体关系图 English->Chinese: So we use the ERD first.
評測
品質結論以成對 AI 裁判為準(Gemini,正反雙判)。官方 BLEU 只作對外可引用的參考數字——它曾在三套凍結試卷上與裁判方向相反。
裁判:Gemini 3.8 Flash,正反雙判,凍結的課堂與會議試卷。生產對比取自 LecSync 線上流量的 407 段。除特別註明外,以下結果均為 1.7B。
4B 對比 1.7B
4.21 / 5
嚴重錯誤減半
998 段線上轉寫盲評(1–5 分):4B 平均 4.21,1.7B 為 3.72;嚴重錯誤率從 18.2% 降到 9.9%。被評為最好的有 485 段,1.7B 只有 58 段。
先前的雲端鏈路
51.9%
統計上打平
對 407 條課堂/會議段落,相對先前生產棧(雲端草稿 + 可選改寫)的勝率為 51.9%,p = 0.69。只對裸雲端草稿時點估計為 55.7%,仍不顯著。
騰訊混元 Hy-MT 1.8B
71.9%
課堂 ASR 上領先
通用課堂段勝率 71.9%。帶上文:74.3%。帶術語表:69.3%。混元在 WMT24 書面/新聞上更好——LecSync-MT 是口語專家,不是通用文學翻譯模型。
Qwen3.5-2B
6 / 6
六套凍結試卷全勝
與混元對比使用同一套六組凍結題目,涵蓋課堂、上文、術語、無上文、WMT24 與多語言目標。
| 題組 | LecSync-MT 勝率 |
|---|---|
| 課堂段落 | 71.9% |
| 需要上文 | 74.3% |
| 術語表 | 69.3% |
規格
任務
口語轉寫翻譯
訓練
真實課堂和會議轉寫
訓練列數
149,042
解碼
貪婪(與評測一致)
課堂列大多來自真實 LecSync 轉寫,由教師模型標註,再經 LLM 裁判過濾。多語言回放混合讓原來的 60 個目標語槽位繼續有資訊,模型不會把所有目標都塌成中文。上文敏感對和術語列在訓練集裡;回放列兩者都沒有。
用英文語言名指定目標(English→Chinese、Korean→English)。產品裡實際服務的課堂語言覆蓋最強,部分低資源文字系統品質更薄。
託管演示可以提交一段課堂或會議轉寫,看 LecSync-MT 怎麼翻譯。權重不開放。公開 HTTP API 尚未提供。