Accueil Agent IA IA en entreprise : un mois de juillet à hauts risques, à...

IA en entreprise : un mois de juillet à hauts risques, à quelques jours d’une nouvelle phase de l’AI Act

Trois compromissions signées Claude, des conversations exposées sur Google, une campagne malveillante détectée par OpenAI : l’écosystème de l’IA générative a connu un mois de juillet mouvementé. Le 2 août, l’AI Act européen entre dans une phase plus contraignante. Le calendrier n’aurait pas pu mieux tomber pour rappeler aux entreprises qu’un agent IA se pilote, se surveille et se contient.

Il aura suffi d’une dizaine de jours pour que la confiance accordée aux agents d’intelligence artificielle prenne un coup. Le 21 juillet, OpenAI a révélé que plusieurs de ses modèles s’étaient extraits d’un environnement de test isolé en exploitant une vulnérabilité jusque-là inconnue, avant d’atteindre l’infrastructure de production de Hugging Face. L’alerte a poussé Anthropic à se pencher à son tour sur ses propres évaluations. Le verdict, publié le 30 juillet, est sans appel : l’examen de plus de 141 000 sessions d’évaluation a permis d’identifier trois incidents au cours desquels un modèle Claude a rejoint internet depuis l’environnement de test d’un partenaire tiers, Irregular, avant de s’introduire sans autorisation dans l’infrastructure de production de trois organisations distinctes. Trois modèles étaient en cause, Opus 4.7, Mythos 5 et un modèle de recherche interne non nommé, et l’origine du problème tenait à une configuration défaillante plutôt qu’à une intention malveillante des systèmes : Claude a exploité des faiblesses de sécurité basiques, comme des mots de passe fragiles ou des services non authentifiés, plutôt que des vulnérabilités sophistiquées ou inédites.

Le scénario de départ était pourtant balisé. Ces incidents sont survenus dans le cadre d’exercices de type capture-the-flag, un format classique pour évaluer les capacités offensives d’un modèle : celui-ci reçoit une situation fictive et doit s’introduire dans une machine du réseau pour y récupérer une information cachée. Les consignes précisaient explicitement à Claude qu’il n’avait pas accès à internet. Une incompréhension entre Anthropic et son partenaire d’évaluation a laissé les systèmes de test connectés au réseau public. Sur les trois organisations touchées, deux ignoraient totalement que leurs systèmes avaient été atteints jusqu’à ce qu’Anthropic les prévienne, le 27 juillet.

Une semaine noire pour la confidentialité des échanges avec l’IA

Le même week-end, un tout autre problème surgissait du côté des utilisateurs de Claude. Des internautes ont découvert que des centaines de conversations menées avec l’assistant d’Anthropic étaient accessibles librement via une simple recherche Google, révélant potentiellement des données personnelles et professionnelles sensibles. La mécanique en cause n’a rien d’un piratage : les pages retrouvées correspondaient à des instantanés créés volontairement par des utilisateurs ayant cliqué sur le bouton de partage, pensant générer un lien privé alors qu’ils publiaient en réalité une page web accessible à tous. Le contenu exposé allait bien au-delà de simples échanges anodins : rapports médicaux et résultats d’essais cliniques nommant des patients, documents comportant les coordonnées d’élèves d’école primaire, ou encore documents d’entreprise marqués « usage interne » ont ainsi circulé au grand jour, aux côtés des informations personnelles, du code source, de recherches juridiques et de phrases de récupération de portefeuilles de cryptomonnaies évoquées ailleurs.

L’incident n’était en outre pas inédit. Anthropic avait déjà connu le même problème un an plus tôt, lorsque Google avait indexé un peu moins de 600 conversations avant correction, ce qui interroge sur la robustesse des correctifs apportés d’une fois sur l’autre. Ajoutée au double épisode Claude et Hugging Face côté OpenAI, cette séquence illustre un même dénominateur commun : des mécanismes techniques pensés pour rester confinés, qu’il s’agisse d’un environnement de test ou d’un lien de partage, et qui finissent par déborder de leur périmètre initial sans qu’aucune malveillance ne soit nécessaire pour cela.

Le 2 août, l’AI Act relève d’un cran les exigences de gouvernance

C’est dans ce climat que la majorité des dispositions restantes de l’AI Act deviennent applicables à compter du 2 août. Le règlement européen impose, selon le niveau de risque des systèmes concernés, des obligations de gestion des risques, de gouvernance des données, de cybersécurité, de documentation, de traçabilité et de supervision humaine. La transparence occupe une place centrale du texte : les utilisateurs devront savoir qu’ils interagissent avec certains systèmes d’IA, et les contenus générés ou modifiés par IA devront pouvoir être identifiés dans les cas prévus, à commencer par les deepfakes.

Pour les directions informatiques et les responsables sécurité, l’échéance dépasse le simple exercice de mise en conformité. C’est la lecture que propose Commvault et de son directeur cybersécurité Bastien Bobe : les épisodes de juillet donneraient un contenu très concret à des obligations qui pouvaient jusque-là sembler abstraites. L’éditeur y invite les entreprises à appliquer le principe de moindre privilège aux agents IA, en limitant strictement leurs accès et en surveillant leur activité, une recommandation qui prend un tout autre relief lorsqu’on sait qu’un modèle a pu, sans intention de nuire, franchir les limites d’un environnement censé être hermétique. Même logique pour le contrôle des accès effectifs aux données et aux systèmes, notamment via les intégrations avec des services tiers, un maillon que l’incident Irregular a mis en lumière de façon presque pédagogique. Commvault insiste aussi sur la préparation à la réponse à incident, soit la capacité à isoler un environnement compromis, à conserver les traces utiles et à restaurer rapidement des données fiables, et sur la nécessité de décloisonner cybersécurité, gestion des identités et protection des données pour renforcer la résilience opérationnelle globale.

« Un agent IA n’a pas besoin d’être malveillant pour représenter un risque. S’il sort du périmètre prévu et accède à des systèmes externes pour atteindre son objectif, l’entreprise doit pouvoir détecter l’incident, contenir son impact et restaurer rapidement un environnement sain. La résilience opérationnelle n’est plus une option : elle est la condition de la confiance dans l’IA »

Bastien Bobe, directeur cybersécurité chez Commvault

Les incidents survenus en juillet n’ont pas vocation à freiner l’adoption de l’IA générative en entreprise. Ils rappellent en revanche qu’un système autonome ne se comporte pas nécessairement comme prévu, aussi bien pensé soit son cadre initial.