Открыть оглавление

Таймкоды

startMs и endMs в transcript.final и translation.final — это смещения в миллисекундах внутри аудио этого потока, считая от первого отправленного байта. При store: true это позиции в записи, которую можно скачать.

json
{  "type": "transcript.final",  "segmentId": "gw_8f3a_2",  "text": "the quantization step near zero is about eight",  "startMs": 118400,     // 1:58.400 внутри аудио этого потока  "endMs":   122900}

Распознаватель отсчитывает время от своего собственного соединения с провайдером, а оно незаметно переустанавливается посреди сессии. В этот момент часы обнуляются, и переход по клику начинает прыгать назад. Короткие тесты переподключение не вызывают, поэтому проблема всплывает уже в продакшене.

// Соединение распознавателя с провайдером переустанавливается на 1:15.// Его собственное время начинается с нуля — по нему нельзя перематывать:0        42000    75000    0        31000
// LecSync мерит те же сегменты по байтовым часам аудио:0        42000    75000    118400   149400   // монотонно, совпадает с записью

Таймкоды берутся из байтовых часов по отправленному вами аудио, а не из часов распознавателя, поэтому они остаются монотонными при переподключениях upstream. Небольшая часть сегментов может прийти без таймкодов, если распознаватель не дал потокенного тайминга.

При store: true одно соединение даёт одну запись. Если связь оборвалась посреди сессии, вы получите несколько файлов — упорядочьте их по времени создания.