O modelo de voz Fun-ASR da Alibaba Tongyi recebeu uma grande atualização: o atraso da primeira palavra é de apenas cem milissegundos, e o reconhecimento do dialeto de Wenzhou ultrapassa 82%.

O laboratório Alibaba Tongyi reduziu a latência da primeira palavra do grande modelo de reconhecimento de fala em streaming Fun-ASR-Realtime para o nível de cem milissegundos, as palavras aparecem assim que a fala termina, e a precisão aproxima-se do modelo offline. O novo modelo suporta 30 idiomas e 16 dialetos, com uma precisão de reconhecimento de 82,74% para o dialeto de Wenzhou.
(Resumo anterior: xAI abriu oficialmente a API de voz Grok, TTS a 4,2 dólares por milhão de caracteres, taxa de reconhecimento superando ElevenLabs)
(Contexto adicional: Relatório de análise de 100 trilhões de tokens do OpenRouter: O que os humanos realmente fazem com a IA, ascensão dos modelos chineses e segredos de retenção de utilizadores)

Índice

Alternar

• Verificação prática: Transmissão ao vivo de 100 horas em ilha deserta
• Desempenho de reconhecimento de dialetos
• Versão offline também domina

O laboratório Alibaba Tongyi anunciou em 6 de julho que reduziu a latência da primeira palavra do grande modelo de reconhecimento de fala em streaming Fun-ASR-Realtime para o nível de cem milissegundos, alcançando o efeito de 'as palavras aparecem assim que a fala termina', e a precisão já se aproxima do nível do modelo offline.

O núcleo desta atualização está no fortalecimento da capacidade de percepção de contexto. O novo modelo pode combinar o histórico da conversa com palavras-chave em tempo real para correção dinâmica, por exemplo, corrigindo automaticamente 'Ye Lu' (um nome) para 'Ye Lu' (garça noturna) com base no contexto posterior, resolvendo eficazmente o ponto problemático do reconhecimento de fala em tempo real que facilmente leva a interpretações fragmentadas.

Verificação prática: Transmissão ao vivo de 100 horas em ilha deserta

Na transmissão ao vivo de 100 horas em ilha deserta recentemente concluída pelo Ying Shi Ju Feng, o Fun-ASR-Realtime forneceu suporte de legendas em tempo real durante todo o processo sob condições adversas de chuva torrencial ao ar livre e alternância frequente de oradores, reconhecendo cumulativamente mais de 60 mil entradas, totalizando 1,32 milhão de caracteres.

Estes dados significam que o modelo ainda consegue manter uma qualidade de reconhecimento estável em cenários reais de mono, alto ruído ambiente e múltiplas pessoas a falar alternadamente — este é o indicador mais crítico para aplicações de legendas em tempo real.

Desempenho de reconhecimento de dialetos

O modelo atualmente suporta 30 idiomas e 16 dialetos, com uma precisão média de caracteres de 88,62% nos testes de dialetos. O desempenho dos principais dialetos é o seguinte:

• Dialeto de Xangai: 92,41%
• Dialeto de Wenzhou: 82,74% (considerado o dialeto 'mais difícil de entender')
• Média (16 dialetos): 88,62%

O dialeto de Wenzhou, como um item de alta dificuldade entre os dialetos Wu, alcançando 82,74% de precisão, mostra que a capacidade de generalização do modelo em dialetos com poucos recursos melhorou significativamente.

Versão offline também domina

O modelo offline Fun-ASR-Flash conquistou o primeiro lugar na classificação de taxa de erro de caracteres da plataforma global de avaliação de IA Artificial Analysis, verificando ainda mais a posição de liderança técnica da série Fun-ASR no campo do reconhecimento de fala.

Os serviços de API de ambos os modelos já foram lançados no Alibaba Cloud Bailian, e o kit de ferramentas de código aberto subjacente e os modelos podem ser obtidos na comunidade ModelScope e no GitHub.