Claude Fable 5 ayant repris un accès complet le 1er juillet, des discussions sur Reddit font état d’un « affaiblissement » et d’un déclenchement plus fréquent des mécanismes de contrôle de sécurité. Le test BridgeBench de BridgeMind AI montre que le score Debug est passé de 86,2 à 25,9 et le score de refactorisation de 73,6 à 38,4.
BridgeMind AI Benchmark : Score Debug de 86,2 à 25,9
(Source : BridgeMind AI)
Selon les tests de BridgeMind AI utilisant BridgeBench, le score Debug de Fable 5 après sa remise en ligne est passé de 86,2 à 25,9 et le score de refactorisation de 73,6 à 38,4 ; BridgeMind AI en conclut que les performances de Fable 5 se sont affaiblies.
Cependant, Decrypt souligne que parmi les 12 tâches Debug de BridgeBench, seules 3 ont été traitées avec succès par Fable 5, les 9 autres ayant été interceptées par le classificateur de sécurité avant leur lancement et redirigées vers le modèle Opus 4.8 moins performant ; les tâches interceptées se voient attribuer un score de zéro, ce qui explique la forte baisse des données globales de BridgeBench, et non une dégradation des performances du modèle Fable 5 lui-même.
Test à l’aveugle humain Arena.ai : Elo du code front-end de 1 650 à 1 623
Selon les résultats des tests d’Arena.ai, qui collecte des milliers de votes de préférence à l’aveugle humains et utilise le système de classement Elo :
Code front-end : Elo légèrement en baisse de 1 650 à 1 623 (écart dans l’intervalle de confiance)
Capacité de traitement de documents : Hausse de 34 points
Texte expert : Augmentation de 25 points
Code (global) : Légère baisse de 18 points
Conclusion d’Arena.ai : Lors de l’exécution réelle des tâches, la qualité de sortie de Fable 5 reste excellente, les capacités de calcul de base ne se sont pas dégradées ; les performances globales avant et après la mise en ligne sont quasiment inchangées.
Contexte de la mise à jour du classificateur de sécurité : Anthropic adopte une stratégie d’interception conservatrice
Selon les rapports, Anthropic a déployé un classificateur de sécurité plus strict pour se prémunir contre les problèmes techniques de jailbreak de Fable 5 précédemment découverts par les chercheurs d’Amazon ; cette technique avait amené Fable 5 à aider à identifier et à afficher des vulnérabilités logicielles, classées comme menace pour la sécurité nationale par le gouvernement américain, ce qui avait temporairement restreint les exportations.
Pour cela, Anthropic a adopté une stratégie conservatrice, élargissant la portée des contrôles de sécurité, de sorte que le modèle a tendance à refuser les demandes ambiguës, garantissant le blocage des contenus nuisibles. Après des tests, BleepingComputer indique que les performances du modèle Fable 5 lui-même n’ont pas diminué, mais que le filet de sécurité strict affecte la commodité quotidienne.
Mots-clés comme C, C++, Rust ou termes liés à « sécurité », « vulnérabilité » déclenchent fréquemment le transfert des tâches vers Opus 4.8
Selon le rapport de test de BleepingComputer, le nouveau classificateur juge fréquemment à tort des demandes Debug inoffensives comme risquées et les redirige vers le modèle Opus 4.8 ; les développeurs dont les prompts contiennent des mots-clés comme C, C++, Rust ou mentionnent « sécurité », « vulnérabilité » déclenchent fréquemment le mécanisme de transfert.
Anthropic a reconnu le problème d’interception excessive et a déclaré qu’il continuerait à optimiser le système, mais n’a pas fourni de calendrier de mise à jour précis au moment du rapport ; cela constitue l’obstacle d’utilisation le plus direct pour les développeurs (en particulier ceux qui dépendent des fonctions d’aide au Debug).
Questions fréquentes
Fable 5 a-t-il réellement « baissé en intelligence » après sa remise en ligne ?
Selon les résultats de tests de deux organismes d’évaluation, les performances de base de Fable 5 ne se sont pas dégradées : le score Elo du test à l’aveugle humain d’Arena.ai montre que les performances globales sont quasi inchangées ; la forte baisse du score BridgeBench de BridgeMind AI est due au fait que le nouveau classificateur de sécurité a intercepté 9 des 12 tâches Debug et les a redirigées vers Opus 4.8, les tâches interceptées étant notées zéro, ce qui a fait chuter les données, et non une dégradation des performances du modèle lui-même.
Pourquoi Anthropic a-t-il renforcé le classificateur de sécurité de Fable 5 ?
Selon les rapports, Anthropic a déployé un classificateur de sécurité plus strict pour se prémunir contre les problèmes techniques de jailbreak de Fable 5 découverts par des chercheurs d’Amazon ; cette technique avait amené Fable 5 à aider à identifier et à afficher des vulnérabilités logicielles, classées comme menace pour la sécurité nationale par le gouvernement américain, ce qui avait temporairement restreint les exportations.
Quel type de demande est le plus susceptible d’être intercepté par erreur par le nouveau classificateur ?
Selon le rapport de test de BleepingComputer, les prompts contenant des mots-clés de langages de programmation comme C, C++, Rust, ou les demandes Debug mentionnant « sécurité », « vulnérabilité » sont les plus susceptibles de déclencher le mécanisme d’interception du classificateur et de faire rediriger la tâche vers le modèle Opus 4.8 moins performant.
