Alibaba обновила модель реального времени Fun-ASR-Realtime: задержка первого слова составляет сто миллисекунд, точность распознавания вэньчжоуского диалекта превышает 82%.

По данным мониторинга Dongcha Beating, лаборатория Tongyi Alibaba снизила задержку первого символа потоковой модели распознавания речи Fun-ASR-Realtime до уровня сотен миллисекунд, добившись вывода текста сразу после завершения речи, при этом точность приближается к офлайн-модели.
В недавно завершившейся 100-часовой трансляции с необитаемого острова, проведённой компанией "Киношквал", модель в суровых условиях (ливень на открытом воздухе, частая смена говорящих) обеспечивала субтитры в реальном времени, распознав в общей сложности более 60 000 записей — 1,32 миллиона иероглифов.

Для решения проблемы вырывания из контекста, характерной для распознавания речи в реальном времени, новая модель усилила способность к контекстному пониманию, позволяя динамически исправлять ошибки на основе истории диалога и горячих слов в реальном времени (например, автоматически исправляя «Е Лу» на «Ночная цапля» в зависимости от последующего текста).
Модель в настоящее время поддерживает 30 языков и 16 диалектов, средняя точность символов на диалектных тестах составляет 88,62%, из которых шанхайский диалект достигает 92,41%, а самый сложный, по мнению пользователей, вэньчжоуский диалект — 82,74%.
Офлайн-модель Fun-ASR-Flash заняла первое место в рейтинге ошибок символов на глобальной AI-платформе оценки Artificial Analysis.

В настоящее время обе новые модели доступны только в виде коммерческого API-сервиса на Alibaba Cloud Bailian, а базовая открытая платформа FunASR и экосистемные модели доступны на ModelScope и GitHub.