GLM-5.2 no topo da tabela de fine-tuning gera dúvidas, autor do benchmark esclarece: não destilou Claude

De acordo com a monitorização da Beating, o modelo de código aberto GLM-5.2 lidera o benchmark de ajuste fino autónomo PostTrainBench, sendo criticado pelo questionador scaling01 por falta de valor prático. Ele aponta que a classificação do modelo saltou do 22.º lugar para o topo em poucos meses, o que é extremamente invulgar, e que, como o teste carece de um conjunto oculto, é fácil induzir o agente a utilizar a manipulação de rankings para otimização direcionada, resultando num modelo difícil de implementar no mundo real.

Mas os apoiantes contestam que, sob a condição de uma única GPU H100 limitada a 10 horas, não é realista exigir que o agente execute um ajuste fino genérico, sendo a otimização direcionada a norma da aprendizagem automática. Os registos públicos mostram que o GLM-5.2 possui uma lógica experimental clara, capaz de recolher automaticamente dados de diferentes hipóteses de amostragem, planear de forma autónoma uma cadeia completa de estabelecimento de base de desempenho, ajuste fino e filtragem de dados usando amostragem por rejeição, e tentar evitar o sobreajuste na cadeia de pensamento.

O maior valor desta controvérsia reside no facto de que a trajetória de execução pública, originalmente usada para avaliar a capacidade de ajuste fino, acidentalmente desmascarou o rumor da indústria de que os grandes modelos nacionais eram 'Claude fortemente destilados'. O autor do benchmark, Maksym Andriushchenko, após examinar os registos do GLM-5.2, apontou que o modelo difere fundamentalmente do Claude na recolha de dados, combinação de estratégias e caminhos de decisão, sem indícios de imitação ou destilação. A transparência pública do benchmark de terceiros tornou-se a janela mais direta para os grandes modelos de código aberto provarem a sua capacidade de investigação original.