Claude Fable 5: após o relançamento, a interceptação do classificador de segurança foi reforçada, dados do BridgeBench em queda acentuada.

O Claude Fable 5, depois de reabrir totalmente a 1 de julho, surgiram discussões no Reddit de utilizadores a relatar "diminuição de inteligência" e que o mecanismo de revisão de segurança era acionado com mais frequência. O teste de referência BridgeBench da BridgeMind AI mostra que a pontuação de Debug caiu de 86,2 para 25,9 e a pontuação de reestruturação caiu de 73,6 para 38,4.

Teste de referência da BridgeMind AI: pontuação de Debug cai de 86,2 para 25,9

(Fonte: BridgeMind AI)

De acordo com os testes realizados pela BridgeMind AI utilizando o BridgeBench, após o relançamento do Fable 5, a pontuação de Debug caiu de 86,2 para 25,9 e a pontuação de reestruturação caiu de 73,6 para 38,4; com base nisto, a BridgeMind AI considera que o desempenho do Fable 5 enfraqueceu.

No entanto, a Decrypt aponta que, dos 12 tasks de Debug do BridgeBench, apenas 3 foram processados com sucesso pelo Fable 5; os restantes 9 foram intercetados pelo classificador de segurança antes de serem iniciados e reencaminhados para o modelo Opus 4.8, de desempenho inferior. Os tasks intercetados foram todos pontuados como zero, o que fez com que os dados globais do BridgeBench caíssem drasticamente, não se tratando de uma degradação do desempenho do próprio modelo Fable 5.

Teste cego humano da Arena.ai: Elo do código frontend cai de 1650 para 1623

De acordo com os resultados dos testes da Arena.ai, que recolheu milhares de preferências de votos cegos humanos e utilizou o sistema de pontuação Elo para classificar:

Código frontend: Elo caiu ligeiramente de 1650 para 1623 (diferença dentro do intervalo de confiança)

Capacidade de processamento de documentos: subiu 34 pontos

Texto de especialista: subiu 25 pontos

Código (geral): desceu ligeiramente 18 pontos

Conclusão da Arena.ai: Ao executar tarefas reais, a qualidade da saída do Fable 5 continua excelente e a capacidade de processamento central não se degradou; o desempenho geral antes e depois do lançamento permanece quase inalterado.

Contexto da atualização do classificador de segurança: Anthropic adota estratégia de interceção conservadora

Segundo relatos, a Anthropic implementou um classificador de segurança mais rigoroso para prevenir o problema técnico de jailbreak do Fable 5 descoberto anteriormente por investigadores da Amazon; essa técnica fez com que o Fable 5 ajudasse a identificar e expor vulnerabilidades de software, sendo classificado como uma ameaça à segurança nacional pelo governo dos EUA, que chegou a restringir a sua exportação.

Para tal, a Anthropic adotou uma estratégia conservadora, expandindo o âmbito da revisão de segurança, fazendo com que o modelo tenda a recusar pedidos ambíguos, garantindo o bloqueio de danos. Após testes, a BleepingComputer apontou que o desempenho do modelo Fable 5 em si não diminuiu, mas a rede de segurança rigorosa afetou a conveniência no uso diário.

Palavras-chave como C, C++, Rust ou termos que envolvam "segurança", "vulnerabilidade" acionam com frequência o reencaminhamento de tarefas para o Opus 4.8

De acordo com o relatório de testes da BleepingComputer, o novo classificador julga frequentemente pedidos de Debug inofensivos como sendo de risco e reencaminha-os para o modelo Opus 4.8; os programadores, se os prompts incluírem palavras-chave como C, C++, Rust, ou mencionarem termos como "segurança", "vulnerabilidade", acionam com frequência o mecanismo de reencaminhamento.

A Anthropic já reconheceu o problema de interceção excessiva e afirmou que continuará a otimizar o sistema, mas até ao momento da reportagem não forneceu um calendário específico para ajustes; isto cria o obstáculo mais direto para os programadores, especialmente aqueles que dependem de funcionalidades de auxílio à depuração.

Perguntas Frequentes

Após o relançamento do Fable 5, houve mesmo uma "diminuição de inteligência"?

De acordo com os resultados dos testes de duas entidades de avaliação, o desempenho central do Fable 5 não se degradou: a pontuação Elo do teste cego humano da Arena.ai mostra que o desempenho geral permanece quase inalterado; a queda acentuada na pontuação BridgeBench da BridgeMind AI deve-se ao facto de o novo classificador de segurança ter intercetado 9 dos 12 tasks de Debug e os ter reencaminhado para o Opus 4.8, sendo que os tasks intercetados foram pontuados com zero, levando à queda dos dados, e não a uma degradação do desempenho do próprio modelo.

Porque é que a Anthropic reforçou o classificador de segurança do Fable 5?

Segundo relatos, a Anthropic implementou um classificador de segurança mais rigoroso para prevenir o problema técnico de jailbreak do Fable 5 descoberto por investigadores da Amazon, que fez com que o Fable 5 ajudasse a identificar e expor vulnerabilidades de software, sendo classificado como uma ameaça à segurança nacional pelo governo dos EUA, que chegou a restringir a sua exportação.

Que tipo de pedidos têm maior probabilidade de ser intercetados erroneamente pelo novo classificador?

De acordo com o relatório de testes da BleepingComputer, os prompts que incluem palavras-chave de linguagens de programação como C, C++, Rust, ou que envolvam termos como "segurança", "vulnerabilidade", são os que mais facilmente acionam o mecanismo de interceção do classificador, reencaminhando as tarefas para o modelo Opus 4.8, de desempenho inferior.