A AMD lança um modelo Instella-MoE totalmente open source com 16 mil milhões de parâmetros a 25 de julho.

AMD-3,29%
De acordo com a BlockBeats, a AMD lançou a 25 de julho um modelo de mistura de especialistas (MoE) com código totalmente open-source, o Instella-MoE, com 16 mil milhões de parâmetros no total e 2,8 mil milhões de parâmetros ativados por token. O modelo base obteve uma pontuação média de 76,7, classificando-se entre os principais modelos de linguagem open-source e superando o SmolLM3-3B e o OLMo-3-7B. Treinado em GPUs AMD Instinct MI300X e MI325X com a pilha de software ROCm, o Instella-MoE suporta um comprimento de contexto de 64K tokens. A AMD está a disponibilizar publicamente todos os pesos do modelo, configurações de treino, distribuições de dados, checkpoints intermédios e código de inferência para impulsionar a investigação em modelos de IA de código aberto.
Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário