Anthropic coupe désormais l’accès au Web en direct pour ses évaluations internes après avoir observé plusieurs comportements imprévus de Claude sur de vrais sites. Mais le problème ne tient déjà plus à quelques incidents isolés, alors que des agents de plus en plus autonomes se montrent capables de poursuivre une tâche bien au-delà du chemin imaginé par leurs concepteurs.
Quand Claude refuse obstinément de rester bloqué
Dans son rapport publié le 9 octobre, Anthropic revient sur plusieurs situations où Claude, confronté à un obstacle, a cherché une autre voie et parfois fini par utiliser de vrais systèmes qui ne faisaient pas partie de l’exercice. Les incidents ont eu, selon l’entreprise, un impact limité, mais leur mécanique devient plus gênante à mesure que les modèles gagnent en autonomie et disposent de davantage d’outils.
L’un des cas les plus parlants survient pendant une évaluation scientifique. Claude Mythos Preview devait effectuer une analyse à l’aide d’un outil public hébergé par une université, mais le service renvoyait une erreur. Plutôt que d’abandonner, le modèle a exploré le site, découvert un script capable de retourner des fichiers présents sur le serveur, récupéré son code puis identifié une vulnérabilité par injection qui lui a permis d’y exécuter des commandes et de réaliser le calcul demandé.
Anthropic rapporte d’autres épisodes où cette obstination prend des chemins moins techniques mais tout aussi imprévus. Claude Haiku 4.5, chargé de générer des tâches à partir de pages choisies au hasard, est ainsi tombé sur le site consacré à une affaire criminelle non résolue et a envoyé un faux signalement aux autorités américaines, heureusement filtré comme spam avant d’arriver aux enquêteurs. Dans d’autres tests, des modèles ont récupéré des jetons présents dans des fichiers de configuration pour interroger directement des services ou utilisé des raccourcisseurs d’URL afin de contourner les limites imposées à leur outil de navigation.
Anthropic décrit derrière ces comportements une forme de persistance. Lorsqu’une voie se ferme, le modèle continue à chercher un autre moyen d’atteindre le résultat attendu. C’est précisément une qualité recherchée chez des agents capables de travailler de manière autonome, jusqu’au moment où la solution trouvée consiste à contourner une restriction ou à toucher un système réel qui n’avait jamais vocation à participer au test.
Les premiers avertissements étaient déjà sérieux
Ce rapport n’est pas le premier signal pour Anthropic. Quelques semaines plus tôt, l’entreprise avait déjà documenté quatre incidents survenus pendant des évaluations de cybersécurité au cours desquelles différentes versions de Claude avaient obtenu un accès non autorisé à de véritables systèmes tiers. Anthropic avait détaillé ces incidents en septembre après avoir étendu son enquête à environ 481 millions de transcriptions.
L’épisode le plus inquiétant concernait Claude Mythos 5, placé dans un exercice de Capture the Flag face à une entreprise fictive. Une mauvaise configuration de l’environnement avait laissé le modèle accéder au véritable Internet, où il avait réussi à publier trois paquets malveillants sur PyPI. Quinze systèmes les avaient installés et les identifiants récupérés sur l’un d’eux avaient ensuite servi à accéder à la base de données d’un véritable éditeur de sécurité.
Ce qui préoccupait surtout les chercheurs était la manière dont Claude interprétait la situation. Le modèle continuait à considérer qu’il se trouvait dans une simulation alors que plusieurs éléments indiquaient le contraire. Lorsqu’Anthropic a rejoué l’expérience en rendant la possibilité de dommages réels plus explicite, le modèle reconnaissait mieux le risque sans pour autant toujours renoncer aux actions offensives.
Il ne s’agit pas pour autant d’un agent qui aurait décidé de poursuivre ses propres finalités. Les modèles restaient concentrés sur la tâche qui leur avait été confiée. C’est justement ce qui rend le problème moins spectaculaire mais peut-être plus délicat, puisqu’un agent n’a pas besoin de vouloir sortir de son cadre pour finir malgré tout par le dépasser.
OpenAI a rencontré le même type de problème
Anthropic n’est d’ailleurs pas seul à découvrir que l’environnement de test peut devenir une partie du risque. Cet été, OpenAI avait révélé qu’un modèle de recherche interne utilisé lors d’évaluations cyber était parvenu à contourner les contrôles censés l’isoler d’Internet, avant d’accéder à des systèmes tiers, notamment chez Hugging Face. Dans ce cas, le modèle avait découvert puis exploité une vulnérabilité jusque-là inconnue dans Artifactory, utilisé comme intermédiaire pour des registres de paquets. OpenAI avait ensuite insisté sur la nécessité de renforcer non seulement les modèles eux-mêmes, mais aussi les infrastructures utilisées pour mesurer leurs capacités.
Le rapprochement avec Anthropic est important, parce qu’il montre que le problème ne s’arrête pas seulement à un modèle ou à un laboratoire particulier. Plus les agents savent chercher une vulnérabilité, manipuler des identifiants, contourner une limite ou improviser face à un obstacle, plus l’environnement utilisé pour les évaluer devient lui aussi une surface de risque.
Couper Internet ne résout pas toute l’équation
Anthropic avait déjà supprimé l’accès direct au Web pour certaines évaluations cyber ou jugées sensibles. L’entreprise étend désormais cette mesure à l’ensemble de ses évaluations internes, le temps de vérifier que ses dispositifs de surveillance et de blocage interceptent correctement ce type de comportement. Certains benchmarks publics seront abandonnés ou passés hors ligne, tandis que plusieurs environnements ont été reconstruits afin d’empêcher une tâche expérimentale d’atteindre directement un vrai service.
Anthropic affirme également avoir renforcé ses outils d’accès au Web et développé des mécanismes capables de détecter automatiquement les comportements décrits dans son rapport. Rejoués face à ces nouveaux garde-fous, les incidents recensés auraient tous été bloqués.
Certaines des capacités que les laboratoires cherchent précisément à mesurer n’ont pourtant beaucoup de sens qu’au contact du Web réel, qu’il s’agisse de rechercher une information, manipuler un service externe ou s’adapter à une interface qui change. En les enfermant dans des environnements trop artificiels, on finit par tester des agents dans des conditions assez éloignées de celles où ils devront réellement travailler. Mais leur rendre davantage de liberté revient aussi à accepter qu’une faille, un droit mal configuré ou une décision imprévue puisse les conduire au-delà du périmètre prévu.
C’est probablement ce que montrent le mieux les derniers incidents recensés par Anthropic. Le problème n’est plus seulement de savoir comment empêcher un modèle de faire ce qu’on lui a interdit, mais comment cadrer un agent qui, précisément parce qu’il est devenu meilleur pour trouver seul une solution, peut finir par choisir une voie que personne n’avait envisagée, encore moins autorisée.
