LecSync 对比 Whisper.cpp：托管实时转写 vs 自托管流式 ASR

whisper.cpp 是 OpenAI Whisper 的高性能 C/C++ 推理实现：MIT 许可，可在 CPU / GPU / NPU 上本地跑，仓库里有手机与桌面离线示例。公开的 whisper-stream 会大约每半秒采样麦克风并循环转写；whisper-server 则用 HTTP 接收 WAV 做推理。项目本身没有按音频分钟计费的云厂商标价——机器、模型文件和运维都由你自己承担。

LecSync 实时语音 API 是面向会议与课堂字幕的托管 WebSocket：预览稿与终稿、60 语任意互译、终稿说话人与录音对齐时间戳、进行中纪要。公开价 每音频分钟 $0.006（每小时 $0.36），上述能力含在同一分钟价里。

下文数字于 2026-10-29 对照 whisper.cpp README、stream 示例说明、模型列表、server 示例、MIT LICENSE、OpenAI Whisper tokenizer 语言表，以及 LecSync 开发者页。本文写的是「自托管流式 ASR vs 托管字幕 API」，不是 Groq、Cloudflare Workers AI、Together AI 这类托管 Whisper 云 SKU。

Whisper.cpp 自托管流式和实时字幕 API 分别是什么？

Whisper.cpp 是本地推理库：下载 ggml 模型，在自有硬件上跑 whisper-cli、whisper-stream 或 whisper-server，延迟、显存/内存和部署都归你管。实时字幕 API（如 LecSync）则维持一条托管连接，在说话过程中推双语字幕、说话人与纪要——用一口价的分钟账单，换掉整套 ASR 运维。

一句话结论

要做离线 / 内网 / 音频不出域的识别，或坚持 MIT 许可与全栈可控，Whisper.cpp 更合适。官方 stream 示例明确写的是「naive」麦克风循环：步长、窗口、VAD、模型体量与硬件都要你自己调；项目不会给你开一张按分钟的云账单。

要做同一条连接上的直播双语字幕 + 说话人 + 纪要，且一分钟价打满，更接近 LecSync。Whisper.cpp 没有 LecSync 那种任意语对的实时文本互译、托管终稿说话人标签，也没有同连接上的直播纪要。上游 Whisper 的 translate（以及 server 的 --translate）默认是译成英语，不是任意字幕语对。

两边怎么接

LecSync。 服务端 POST https://api.lecsync.com/v1/realtime/connect，带上音频格式、语对与功能开关，再推 16 kHz 单声道 PCM。说话过程中先到预览稿，句子确认后落终稿；译文与同一段 segment ID 绑定。打开 speakers: true 后终稿带说话人与录音时钟上的 startMs/endMs；digest: true 则分段推送纪要。首词约 0.28 秒上屏，翻译约再加 88 ms。七个网关区域（dal、jp3、kc、nj、ru2、ru3、uk）就近处理；积压上限 2 秒。

Whisper.cpp（自托管）。 克隆 ggml-org/whisper.cpp，下载 ggml 模型（tiny 到 large-v3-turbo；名称带 .en 的是英语专用，其余为多语），用 CMake 编译。麦克风式流式示例：

./build/bin/whisper-stream -m ./models/ggml-base.en.bin -t 8 --step 500 --length 5000

约每 500 ms 采样、在约 5 秒窗口上连续重跑转写（naive）。--step 0 进入滑动窗口 VAD：检测到语音活动后再输出带时间戳的块。还可接 Silero-VAD、Metal/CUDA/Vulkan/ROCm 等后端，以及 q5_0 量化权重以省内存。实验性 tinydiarize（-tdrz + *-tdrz 模型）会在本地标 [SPEAKER_TURN]，这和托管字幕 API 上每个终稿的说话人 ID 不是一回事。whisper-server 用 HTTP 收 WAV（/inference），更像文件推理服务，而不是带互译与纪要的预览→终稿字幕 WebSocket。

价格与运维叙事（不伪造 Whisper.cpp 的云 $/分钟）

LecSync 按公开分钟价推算：$0.006 × 60 = 每小时音频 $0.36；1000 小时 = $360。关掉功能不会降价，全开也不会加价。

Whisper.cpp 没有官方云 $/分钟。把某家 GPU 租赁价写成「Whisper.cpp 标价」属于虚构。定性地说：小模型（tiny/base）内存占用较低（README：tiny 约 273 MB mem，base 约 388 MB）；large 权重侧约 3.9 GB mem，并发路数还要另算。选 CPU 还是 GPU、并发多少、模型多大、字幕是否留在内网，全是你的容量规划。延迟取决于机器——社区用 whisper-bench 汇总在 issue #89；项目没有发布可与 LecSync「首词约 0.28 秒」直接对照的统一 SLA。

本地 ASR 后再拼互译，可看 内置翻译 vs 自建流水线；SaaS 一口价与附加项拆账，可看 加翻译、说话人、摘要后 1000 小时要花多少。

对照表（2026-10-29 核对）

按「产品要交付 1000 小时」看两边

当隐私、许可自由度、不要按分钟买云 STT比「明天就上线字幕产品」更重要时，Whisper.cpp 胜出。当产品是带说话人与纪要的直播双语字幕、又不想自己扛 ASR GPU、互译、说话人与积压控制时，LecSync 更贴。

什么时候更该用 Whisper.cpp

• 离线 / 端侧 / 强合规，音频不能出机器（仓库内有 iOS、Android、WASM 示例）。
• 要 MIT 与全栈可控：量化、换后端（Metal、CUDA、Vulkan、ROCm、OpenVINO、各类 NPU）、钉死模型哈希。
• 自有机群上的文件/批量转写：whisper-cli 或 whisper-server HTTP WAV。
• 麦克风演示与研发：whisper-stream 的 500 ms 步长，或 VAD 滑动窗口。
• 已有闲置 CPU/GPU 和运维团队，不想再开一张按分钟的 ASR 账单。

什么时候更贴 LecSync

• 同一条连接上的任意语对直播字幕，译文与段落绑定。
• 直播过程中的说话人与录音对齐时间戳——见 带说话人与时间戳的会议客户端。
• 会话进行中的纪要（digest: true）——见 实时纪要 vs 会后摘要。
• 可预期的分钟账单：每小时音频 $0.36，不必为字幕高峰单独扩 ASR GPU。
• 课堂 / 混语讲授：说话人切换语种时字幕要跟上，又不想自己拼 STT + MT + 纪要。

分项谁更合适

常见问题

Whisper.cpp 有没有公开的云端每分钟价格？

没有。它是 MIT 许可的推理软件。公开页写的是模型体积/内存、如何编译 stream/server，而不是 SaaS 的 $/分钟。别处若出现 GPU 租赁数字，应标为估算运维成本，不是 Whisper.cpp 标价。

whisper-stream 等于托管实时字幕 API 吗？

不等于。stream 说明写明是 naive 实时麦克风示例：约每 500 ms 采样（--step 500）、窗口 --length 5000，或 --step 0 的 VAD 模式。模型、线程、硬件，以及互译/说话人/纪要，都还要你自己补。

Whisper.cpp 能否把语音实时译成任意目标语？

Whisper 的多任务 translate（以及 whisper-server 的 -tr / --translate）面向译成英语。这和 LecSync 在同连接上做任意语对直播字幕不是一回事。自建 STT+MT 的取舍见 内置翻译 vs 自建流水线。

多语 Whisper.cpp 模型大概覆盖多少语言？

名称不含 .en 的是多语权重。OpenAI Whisper 的 tokenizer.py 里 LANGUAGES 约有 100 个语码（2026-10-29 核对）。各语种效果仍不均；whisper.cpp 继承该模型行为。

做直播字幕产品时，什么情况下仍应自托管 Whisper.cpp？

当音频驻留、断网隔离或许可控制压倒一切时——例如只做同语种转写的校内机房。若产品要双语字幕、说话人与纪要，又希望分钟账单可预期，从 LecSync 实时语音 API 起步更直接。

结论

Whisper.cpp 适合要 MIT 自托管 Whisper ASR、并愿意自己扛延迟、容量与字幕产品粘合层的团队。LecSync 适合要托管实时语音 API、每分钟 $0.006 全包、同一条连接上就要互译、说话人与纪要的产品。

用 POST https://api.lecsync.com/v1/realtime/connect 建连后推 PCM，细节见 开发者文档。