Mirello, capta 59,1 mil milhões de investimento… Usa IA para adicionar sons de bateria a vídeos silenciosos

Fonte: TokenPost Título Original: 미렐로, 591억 투자 유치…AI로 음소거 영상에 드럼 소리 입힌다 Link Original: A startup alemã de IA para geração de áudio Mirelo(Mirelo) está a captar atenção ao assegurar uma ronda de investimento seed de 41 milhões de dólares(cerca de 59,1 mil milhões de won). A rodada foi liderada em conjunto pela Index Ventures e Andreessen Horowitz, com apoio financeiro também da Atlantic Ventures e TriplePoint Capital.

A Mirelo concentra-se na funcionalidade de geração de áudio ajustada a vídeos, e o seu modelo principal, ‘SFX 1.5’, conseguiu reconhecer cenas de bateria em vídeos silenciados e gerar sons de bateria com precisão, semelhantes aos sons reais de bateria. Segundo avaliações de júris externos independentes, este modelo apresenta um desempenho significativamente superior aos modelos comerciais existentes de geração de áudio. Destaca-se especialmente por reduzir ruídos indesejados e por sincronizar com precisão o áudio e as cenas mesmo em vídeos de movimento rápido, conferindo-lhe uma vantagem competitiva diferenciada.

Este modelo é disponibilizado através da aplicação ‘Mirelo Studio’, que pode ser utilizada tanto via API como por utilizadores comuns. Os utilizadores podem gerar várias versões de áudio a partir de prompts de texto e selecionar a melhor para edição adicional. A plataforma foi desenhada para que não seja necessário ser um especialista em tecnologia para aceder facilmente à produção de áudio com IA.

Com este investimento, a Mirelo iniciou o desenvolvimento de um modelo de próxima geração que supera o SFX 1.5. Espera-se que o novo algoritmo fortaleça ainda mais a coerência e a ligação natural entre os áudios, com o objetivo de expandir para áreas de produção de conteúdos de alta qualidade, como filmes e videojogos.

A empresa também está a treinar os modelos usando clusters de alta performance baseados em GPUs Nvidia H100 e H200, operados através de um sistema de processamento distribuído Slurm(. O framework de IA adotado é o PyTorch)PyTorch( da Meta, com uso ativo da funcionalidade FSDP)Fully Sharded Data Parallel(, otimizada para treino distribuído de modelos de grande escala.

Atualmente, a Mirelo está a recrutar investigadores especializados em IA com foco em difusão)diffusion( e estruturas autoregressivas)autoregressive(. Em particular, a estrutura autoregressiva inclui arquiteturas Transformer, que estão a emergir como tecnologias centrais não só para modelos de linguagem, mas também para IA de áudio, como na geração de música.

Com os fundos obtidos, a Mirelo planeia reforçar a sua equipa de investigação, diversificar produtos e acelerar a entrada no mercado global, consolidando a sua posição de liderança no mercado de IA para geração de áudio.