Un agent IA peut exécuter une opération parfaitement autorisée sans que son utilisateur en ait réellement voulu les conséquences. Entre instructions détournées, décisions prises sans intervention humaine et délégations successives, comment déterminer qui répond de ses actes ? Dans ce cinquième épisode de notre série « Agents IA, les salariés sans badge », Michael Adams, directeur de la sécurité des systèmes d’information (CISO) de DocuSign, revient sur les difficultés que rencontrent les entreprises pour retracer les actions de ces nouveaux acteurs numériques et définir les limites de leur autonomie.
Quand une action autorisée échappe à son utilisateur
Un agent IA chargé de préparer un contrat peut consulter des documents, récupérer des informations dans plusieurs applications et solliciter différents outils pour accomplir sa mission. Toutes ces opérations peuvent être exécutées avec des droits parfaitement légitimes. Mais que se passe-t-il si, au cours de son travail, l’agent interprète une instruction malveillante dissimulée dans un document et réalise une action que son utilisateur n’avait jamais demandée ?
Ce scénario, caractéristique des attaques par injection de prompt, met en évidence une difficulté nouvelle pour les entreprises : les mécanismes de sécurité traditionnels vérifient qu’une identité dispose des autorisations nécessaires, sans pouvoir garantir que chaque action correspond à l’intention de la personne qui lui a confié une tâche.
« L’un des principaux défis de l’IA agentique tient au fait qu’une action peut être techniquement autorisée tout en allant à l’encontre de l’intention de l’utilisateur ou des politiques de sécurité de l’organisation. L’injection de prompt illustre ce risque : des instructions malveillantes intégrées à des contenus externes peuvent amener un agent à effectuer des actions involontaires en utilisant des autorisations légitimes », explique Michael Adams, CISO de DocuSign.
La question devient d’autant plus délicate que les agents peuvent adapter leur comportement selon les instructions reçues, les outils disponibles et les informations rencontrées au cours de leur mission. Contrairement à un compte de service classique, dont les opérations sont généralement prévisibles, leurs besoins d’accès peuvent évoluer pendant l’exécution d’une même tâche.
L’entreprise doit donc surveiller non seulement les permissions accordées, mais aussi leur utilisation effective. Michael Adams recommande notamment de contrôler les opérations sensibles au moment de leur exécution et de maintenir une séparation stricte entre les instructions auxquelles l’agent doit obéir et les contenus extérieurs qu’il analyse.
Les dispositifs de gestion des identités, de segmentation et de supervision fournissent une première protection, sans suffire à prévenir tous les détournements. Le CISO souligne qu’aucune technologie ne peut éliminer ces risques à elle seule, ce qui impose de combiner plusieurs niveaux de contrôle.
Retrouver la chaîne des décisions
Dans les systèmes d’information traditionnels, les journaux d’activité permettent de retrouver le compte à l’origine d’une connexion ou d’une modification. Avec les agents IA, cette information ne raconte qu’une partie de l’histoire. Une instruction initiale peut provoquer plusieurs appels d’outils, entraîner une succession d’opérations et être transmise à d’autres agents chargés d’en exécuter certaines étapes.
« Les journaux d’authentification traditionnels permettent d’identifier le compte qui a effectué une action, mais ils n’expliquent pas nécessairement pourquoi l’agent a agi, au nom de qui ni dans le cadre de quelle autorisation »
Pour reconstituer un incident, les entreprises doivent pouvoir retrouver l’instruction de départ, les décisions d’autorisation, les outils sollicités, les actions réalisées et les éventuelles délégations entre agents. Cela suppose de rapprocher les journaux d’activité et les événements liés aux identités, tout en respectant les exigences de protection des données.
Cette traçabilité se complique lorsque les agents commencent à travailler entre eux. Les autorisations peuvent alors être transmises ou étendues au cours des délégations, sans avoir fait l’objet d’une approbation individuelle. Un agent initialement chargé d’une mission limitée peut ainsi participer à une chaîne d’opérations dont le périmètre dépasse celui envisagé au départ.
« La situation se complique encore lorsque les agents commencent à déléguer des tâches à d’autres agents, car les autorisations peuvent être héritées et étendues de manière que personne n’a approuvée individuellement. Les équipes de sécurité doivent passer d’un contrôle périodique des accès à une surveillance continue, afin de s’assurer que les interactions entre agents n’évoluent pas au-delà du périmètre prévu. », observe Michael Adams.
Même lorsqu’une entreprise parvient à reconstituer cette succession d’événements, elle n’a pas nécessairement identifié les personnes qui doivent répondre de l’incident.
« Toutefois, la traçabilité technique ne suffit pas à établir la responsabilité. Chaque agent devrait avoir des responsables métier et techniques clairement identifiés, ainsi que des politiques de délégation et des procédures de réponse aux incidents définies. »
Cette répartition suppose une organisation capable de suivre les agents tout au long de leur utilisation, depuis leur déploiement jusqu’à la révocation de leurs accès. Or, selon Michael Adams, les outils de sécurité existants ne sont encore que partiellement adaptés aux architectures multi-agents dynamiques. Les entreprises doivent donc définir des responsabilités humaines précises sans disposer nécessairement de tous les moyens techniques pour contrôler et documenter les interactions correspondantes.
Jusqu’où peut-on engager l’entreprise au nom d’un agent ?
La question prend une dimension particulière lorsqu’un agent intervient dans des processus contractuels ou financiers. Analyser les clauses d’un contrat, préparer une transaction ou organiser un circuit de validation sont autant d’opérations susceptibles d’être automatisées. Mais la capacité technique à les accomplir ne donne pas nécessairement à l’agent l’autorité de prendre une décision qui engage l’entreprise.
« Nous devons distinguer la capacité technique à effectuer une action de l’autorité légitime pour prendre une décision finale. Un agent peut être autorisé à analyser un contrat ou à préparer une transaction sans avoir le pouvoir d’approuver un engagement juridiquement ou financièrement contraignant », explique Michael Adams. Chez DocuSign, cette distinction conduit à réserver une intervention humaine aux décisions présentant des conséquences juridiques ou financières, tout en laissant davantage de place à l’automatisation des opérations préparatoires.
« Notre approche repose sur un principe fondamental : l’IA doit renforcer l’expertise humaine, et non remplacer le jugement humain. Des tâches telles que l’extraction de données contractuelles ou la préparation de workflows peuvent être largement automatisées. En revanche, les décisions ayant des conséquences juridiques ou financières nécessitent des contrôles proportionnés aux risques, notamment une validation humaine explicite. », explique Michael Adams.
Encore faut-il déterminer où placer ces points de validation. Une opération apparemment anodine peut participer à un processus dont les conséquences dépassent largement sa portée initiale, notamment lorsqu’un agent combine des informations provenant de plusieurs applications ou prépare une action qu’un autre système exécutera ensuite.
La supervision humaine ne garantit pas non plus, par sa seule présence, que la personne chargée d’approuver une opération dispose de toutes les informations nécessaires pour en apprécier les conséquences. Elle suppose des procédures suffisamment précises pour identifier les décisions sensibles et comprendre le cheminement qui y a conduit.
Michael Adams préconise des identités distinctes pour les agents, des autorisations limitées dans le temps, des mécanismes de révocation et des pistes d’audit complètes. Ces garde-fous visent à empêcher qu’une capacité technique se transforme, au fil des opérations, en pouvoir de décision non maîtrisé.
Ils ne constituent toutefois pas une réponse juridique à la question de la responsabilité en cas de dommage. L’entretien décrit les conditions techniques et organisationnelles nécessaires pour encadrer les agents, sans déterminer comment les responsabilités seraient réparties dans chaque situation.
Agents IA, les salariés sans badge : toute la série
1/7 Le recensement : Qui contrôle les nouvelles recrues de l’entreprise ?
2/7 Les habilitations : L’agent hérite de vos droits, pas de votre jugement
3/7 Le travail au noir : interdire l’IA, c’est pousser les collaborateurs à contourner
4/7 La hiérarchie : Le RSSI ne peut pas en répondre seul
5/7 La responsabilité : Qui répond des actes d’un agent autonome ? (vous lisez cet épisode)
6/7 Le recrutement : Quand l’IA participe au choix de ses futurs collègues (lien à venir)
7/7 L’environnement de travail : Des agents autonomes dans des SI qui ne sont pas prêts (lien à venir)
