Par Arvind Nithrakashyap, CTO et cofondateur de Rubrik
Les agents d’intelligence artificielle quittent peu à peu les laboratoires pour s’intégrer au cœur des systèmes d’information. Mais derrière ces promesses d’efficacité se profile une nouvelle génération de risques. Plusieurs incidents récents ont déjà révélé leurs failles : bases de données supprimées, politiques internes inventées, décisions erronées prises sans validation humaine. Ces agents ne se contentent pas de tomber en panne, ils agissent, et leurs erreurs peuvent avoir des conséquences considérables.
À mesure qu’ils passent des projets pilotes aux environnements de production, les entreprises s’aventurent dans une zone inexplorée où les cadres de sécurité traditionnels montrent leurs limites. Gartner prévoit d’ailleurs que plus de 40 % des projets d’IA agentique seront annulés d’ici 2027, en raison de préoccupations liées à la gestion des risques. Le cœur du problème réside dans la manière dont ces agents échouent, très différente de tout ce que les équipes de sécurité ont eu à gérer jusqu’ici.
Là où les systèmes classiques échouent de manière prévisible, les agents d’IA introduisent un risque d’un autre ordre. Les systèmes traditionnels disposent de mécanismes de restauration qui en limitent les effets, mais lorsqu’un agent se trompe, il agit au lieu de s’arrêter, et les conséquences peuvent être graves. Un agent supprimant par erreur des données redondantes peut effacer une base de production entière, ou encore fausser des rapports financiers en modifiant des données CRM. Conçus pour observer et réagir, ces systèmes fonctionnent sur des modèles probabilistes plutôt que déterministes, et peuvent produire des inexactitudes ou inventer des informations, créant ainsi une nouvelle catégorie de risques pour les environnements de production.
Défaillances multiples
La situation devient plus critique lorsque plusieurs agents interagissent. Si chacun est exact à 90 % du temps, le taux d’erreur global augmente rapidement lorsqu’ils collaborent. Nous ne faisons plus face à des défaillances isolées, mais à des pannes en cascade dans des systèmes interconnectés.
Ce phénomène est déjà visible dans le domaine de l’IA générative. Un éditeur d’outil de développement a vu son chatbot inventer une règle de connexion impopulaire auprès des utilisateurs, déclenchant un tollé en ligne et des résiliations d’abonnements. Une compagnie aérienne internationale a dû rembourser des clients après que son chatbot a inventé une politique de remboursement inexistante.
Secteurs à risque
Certains secteurs sont particulièrement exposés : la santé, les services financiers et les administrations publiques sont à haut risque, et les erreurs d’agents peuvent avoir des conséquences majeures. Les fonctions d’entreprise les plus vulnérables sont celles qui adoptent le plus rapidement ces technologies : les ventes, le support, le DevOps et l’automatisation. Ces domaines reposent sur des tâches répétitives propices à l’automatisation, mais concernent aussi des applications et des données clients critiques, où la moindre erreur peut avoir un impact direct sur l’activité.
Repenser l’architecture de sécurité
Alors que les agents d’IA s’intègrent de plus en plus aux environnements critiques, ils introduisent une catégorie de risques que les approches de sécurité traditionnelles ne suffisent plus à couvrir. Pour y répondre, il est essentiel d’adopter une approche Secure by Design, en intégrant la transparence et la réversibilité dès la conception des systèmes. À l’image de ce que le cadre de la CISA a apporté au développement logiciel, la résilience doit devenir une composante native de toute architecture d’IA, et non une réflexion tardive.
Il faut également renforcer la capacité de reprise après incident. Comme en cybersécurité où l’on part du principe qu’une compromission finira par se produire, il faut désormais envisager l’erreur d’un agent comme inévitable. Comprendre ce qui s’est passé et revenir rapidement en arrière est indispensable, car les logs traditionnels ne permettent pas toujours d’annuler les actions d’un agent ayant affecté plusieurs systèmes. Cette anticipation est d’autant plus cruciale lorsque plusieurs agents interagissent : si chacun est exact neuf fois sur dix, le taux d’erreur combiné peut rapidement atteindre 30 à 40 %. L’architecture doit donc isoler leurs actions pour éviter la propagation d’incidents entre systèmes.
Face à la montée en puissance des agents d’IA, la priorité n’est plus seulement d’en tirer parti, mais de les comprendre. Construire une IA responsable et transparente devient un impératif stratégique. Pourtant, moins de 10 % des entreprises disposent aujourd’hui de capacités de forensic dédiées à l’intelligence artificielle. La plupart ignorent encore ce que leurs agents ont fait, ou pourquoi ils ont agi ainsi.
Assurer une visibilité complète sur le cycle de vie de ces systèmes, du prompt initial à l’impact final, est désormais essentiel. Cela suppose d’aller bien au-delà des simples journaux d’événements pour mettre en place de véritables capacités d’audit et de réversibilité. Les entreprises prêtes à affronter cette nouvelle génération de risques seront celles qui sauront anticiper les incidents tout en poursuivant l’innovation. Mieux vaut s’y préparer avant qu’un simple dysfonctionnement ne prenne des proportions critiques.
