Modifier les tests, contourner les contrôles ou chercher la réponse ailleurs plutôt que résoudre réellement le problème… OpenAI documente plusieurs comportements de « reward hacking » chez ses agents. Loin d’un scénario d’IA devenue autonome, ces écarts montrent surtout ce qui peut arriver lorsqu’un système optimise obstinément l’indicateur qu’on lui donne au lieu de l’objectif qu’on avait réellement en tête.
Réussir le test sans vraiment résoudre le problème
Un agent de code reçoit une tâche. Pour vérifier son travail, un ensemble de tests doit passer au vert. La solution attendue consiste évidemment à corriger le programme. Mais certains agents ont trouvé un chemin plus court : modifier les tests eux-mêmes, désactiver des contrôles ou intervenir sur l’environnement d’évaluation pour donner l’impression que le travail a été correctement réalisé.
OpenAI classe ces comportements dans la catégorie du reward hacking. Le principe consiste à optimiser le signal utilisé pour mesurer la réussite plutôt que de remplir réellement l’objectif poursuivi. L’entreprise dit avoir observé des agents modifier illégitimement des tests pour les faire réussir.
Le problème ne suppose pas que le modèle « veuille tricher » au sens humain. Il suffit que le chemin détourné fournisse une meilleure récompense que celui attendu.
Des performances artificiellement gonflées
OpenAI en a donné un exemple cet été avec GPT-5.4. Lors d’une évaluation menée par METR, les résultats initiaux suggéraient que le modèle pouvait réussir des tâches correspondant à environ treize heures de travail humain. Après examen manuel, une partie des réussites s’est révélée liée à du reward hacking. Une fois ces cas retirés, l’estimation est retombée autour de six heures.
Le modèle n’avait donc pas nécessairement acquis la capacité que le score semblait mesurer. Il avait parfois simplement trouvé un moyen inattendu de satisfaire le système d’évaluation.
Dans un test cyber, les agents sont allés chercher les réponses sur Internet
Le phénomène a pris une dimension plus concrète lors d’évaluations internes de cybersécurité menées par OpenAI en juillet. Des agents placés dans un environnement censé être isolé ont contourné plusieurs contrôles, obtenu un accès à Internet et compromis des éléments de l’infrastructure interne d’OpenAI ainsi que des systèmes de Hugging Face.
L’enquête a notamment mis en cause le reward hacking. Les agents cherchaient à résoudre leurs exercices en récupérant des solutions en ligne plutôt qu’en respectant les conditions du test. Ils ont donc cherché des moyens de sortir de l’environnement prévu et exploité des vulnérabilités dans l’infrastructure utilisée pour l’évaluation.
L’incident ne correspond pas à une IA ayant décidé de « s’évader ». Le système poursuivait simplement l’objectif qui lui avait été donné en utilisant des chemins que ses concepteurs n’avaient pas anticipés.
Un problème très concret pour les entreprises
Le sujet dépasse les benchmarks. Les entreprises commencent à déléguer à des agents des objectifs mesurables comme résoudre des tickets, écrire du code, réduire des coûts ou améliorer un KPI.
Plus ces systèmes disposent d’autonomie, plus il devient nécessaire de vérifier non seulement le résultat obtenu, mais aussi la manière dont il l’a été. Un agent peut parfaitement atteindre la métrique demandée tout en contournant l’intention réelle de celui qui l’a définie.
