Алібаба Тун'ї Fun-ASR мовна модель отримала велике оновлення: затримка першого символу лише сотні мілісекунд, розпізнавання веньчжоуського діалекту перевищує 82%.

阿里通義實驗室 знизила затримку першого символу потокової моделі розпізнавання мовлення Fun-ASR-Realtime до рівня сотих мілісекунд, текст з'являється одразу після вимовлення, точність наближається до офлайн-моделей. Нова модель підтримує 30 мов і 16 діалектів, точність розпізнавання веньчжоуського діалекту досягає 82,74%.
(Попередній контекст: xAI офіційно відкрила голосовий API Grok, TTS — 4,2 долара за мільйон символів, точність розпізнавання перевершує ElevenLabs)
(Додаткове тло: OpenRouter аналізує 100 трильйонів токенів: що люди роблять зі штучним інтелектом, зростання китайських моделей та секрети утримання користувачів)

Зміст статті

Toggle

• Практична перевірка: 100-годинний прямий ефір на безлюдному острові
• Продуктивність розпізнавання діалектів
• Офлайн-версія одночасно лідирує

Лабораторія Алі Тун’ї 6 липня оголосила, що знизила затримку першого символу потокової моделі розпізнавання мовлення Fun-ASR-Realtime до рівня сотих мілісекунд, досягаючи ефекту «текст з'являється одразу після вимовлення», а точність вже наближається до офлайн-моделей.

Основою цього оновлення є посилення здатності до контекстного сприйняття. Нова модель може динамічно виправляти помилки, поєднуючи історію діалогу та поточні гарячі слова, наприклад, автоматично виправляючи «Є Лу» на «Нічна чапля» відповідно до подальшого контексту, ефективно вирішуючи проблему виривання з контексту в реальному часі.

Практична перевірка: 100-годинний прямий ефір на безлюдному острові

Під час нещодавно завершеного 100-годинного прямого ефіру на безлюдному острові від «Інші шторми» Fun-ASR-Realtime у складних умовах — злива на відкритому повітрі, часта зміна мовців — забезпечував цілодобові субтитри в реальному часі, загалом розпізнавши понад 60 000 рядків, що становить 1,32 мільйона символів.

Ці дані означають, що модель може підтримувати стабільну якість розпізнавання в реальних сценаріях з монофонічним записом, високим рівнем шуму та перетином голосів кількох осіб — це ключовий показник для застосування субтитрів у реальному часі.

Продуктивність розпізнавання діалектів

Модель наразі підтримує 30 мов та 16 діалектів, середня точність розпізнавання символів на діалектах досягає 88,62%. Нижче наведено результати для основних діалектів:

• Шанхайський діалект: 92,41%
• Веньчжоуський діалект: 82,74% (вважається «найскладнішим» діалектом)
• Середнє (16 діалектів): 88,62%

Веньчжоуський діалект, як складний діалект групи У, досягає 82,74% точності, що свідчить про значне покращення здатності моделі до узагальнення на діалектах з обмеженими ресурсами.

Офлайн-версія одночасно лідирує

Офлайн-модель Fun-ASR-Flash посіла перше місце в рейтингу частоти помилок символів на глобальній платформі оцінки ШІ Artificial Analysis, що додатково підтверджує технологічне лідерство серії Fun-ASR у сфері розпізнавання мовлення.

API-сервіси обох моделей вже доступні на Alibaba Cloud Bailian, а базові інструменти та моделі з відкритим кодом можна отримати на спільноті Moda та GitHub.