A Alibaba atualizou o modelo de voz em tempo real Fun-ASR-Realtime: latência inicial de 100 milissegundos, precisão de reconhecimento de dialeto de Wenzhou superior a 82%.

Segundo a monitorização do Beating, o laboratório Alibaba Tongyi reduziu a latência da primeira palavra do modelo de reconhecimento de voz em streaming Fun-ASR-Realtime para o nível de milissegundos, conseguindo que a palavra apareça assim que a fala termina, com uma precisão próxima dos modelos offline. Na recente transmissão ao vivo de 100 horas na ilha desértica organizada pela Film Storm, o modelo forneceu suporte de legendas em tempo real durante todo o evento, em condições adversas de chuva torrencial ao ar livre e alternância frequente de falantes entre múltiplas pessoas, tendo reconhecido cumulativamente mais de 60 mil frases, num total de 1,32 milhões de caracteres.

Para resolver o problema comum de interpretação fora de contexto no reconhecimento de voz em tempo real, o novo modelo reforçou a capacidade de perceção contextual, conseguindo corrigir dinamicamente com base no histórico da conversa e em palavras-chave em tempo real (por exemplo, corrigindo automaticamente "Ye Lu" para "Garça-noturna" com base no contexto posterior). O modelo atualmente suporta 30 idiomas e 16 dialetos, com uma taxa média de precisão de caracteres de 88,62% nos testes de dialetos, sendo 92,41% para o dialeto de Xangai e 82,74% para o dialeto de Wenzhou, considerado o mais difícil de compreender. O modelo offline Fun-ASR-Flash alcançou o primeiro lugar no ranking de taxa de erro de caracteres da plataforma global de avaliação de IA Artificial Analysis.

Atualmente, estes dois novos modelos estão disponíveis apenas como API comercial na plataforma Alibaba Cloud Bailian, enquanto a estrutura de código aberto FunASR subjacente e os modelos do ecossistema podem ser obtidos na comunidade ModelScope e no GitHub.