Une instruction refusée par une intelligence artificielle peut être acceptée dès lors qu’elle est accompagnée d’un simple bruit de fond. Les recherches sur les modèles vocaux révèlent une faiblesse singulière : les systèmes chargés de surveiller les échanges ne perçoivent pas toujours ce que l’IA comprend réellement. Adrien Merveille, directeur technique France de Check Point, revient sur ces possibilités de manipulation et les risques qu’elles font peser sur les agents vocaux capables d’accéder aux données et aux outils des entreprises.
Quand le bruit déjoue les protections
Les nouveaux modèles vocaux n’ont plus systématiquement besoin de transformer la parole en texte pour l’interpréter. Ils analysent directement le signal sonore, ses intonations, son rythme et les perturbations qui l’accompagnent. Cette évolution rend les conversations plus naturelles, mais introduit aussi des possibilités de manipulation auxquelles les protections des modèles de langage, principalement éprouvées sur des instructions écrites, ne sont pas toujours préparées.
« Nous avons observé des cas où un modèle résiste à une injection de commande vocale simple, formulée d’une voix claire et sans bruit de fond. En revanche, cette même injection, si elle est accompagnée d’un bruit de fond, peut réussir à contourner les mécanismes de protection internes du modèle », explique Adrien Merveille, directeur technique France de Check Point.
Le contenu de la demande n’a pourtant pas changé. Seules ses caractéristiques acoustiques ont été modifiées, suffisamment pour provoquer une réaction différente du modèle. Le débit, la hauteur de voix ou les bruits environnants peuvent ainsi devenir des instruments de contournement, sans qu’il soit nécessaire de reformuler l’instruction malveillante.
Une transcription qui ne raconte pas toute l’histoire
Dans certaines architectures, le dispositif de sécurité examine une transcription de la conversation tandis que l’IA traite directement l’enregistrement original. Or, les deux systèmes ne produisent pas nécessairement la même interprétation. Une instruction altérée peut devenir incompréhensible pour le logiciel de transcription tout en restant exploitable par le modèle vocal.
« À l’inverse, un système de sécurité qui repose uniquement sur la transcription de la parole et l’analyse du texte obtenu peut échouer si l’étape de transcription ne parvient pas à restituer fidèlement le message original », précise Adrien Merveille.
Des chercheurs ont notamment réussi, grâce à un fragment audio de 0,64 seconde, à faire ignorer certaines paroles par un système de transcription dans plus de 97 % des essais réalisés sur le modèle testé. Cette expérience ne démontre pas qu’une injection franchirait toutes les protections d’un agent vocal, mais révèle les limites d’une surveillance qui repose exclusivement sur le texte.
Les conséquences potentielles dépendent des permissions accordées à l’agent. Dans un centre de relation client, celui-ci peut consulter des dossiers, accéder à des informations personnelles ou interagir avec des applications métier. Une instruction malveillante pourrait alors chercher à lui faire divulguer des données sensibles ou déclencher une opération non autorisée. Adrien Merveille précise toutefois que ces scénarios relèvent encore principalement de démonstrations contrôlées et de risques émergents. Check Point ne rapporte pas, dans cet entretien, de compromission avérée d’un agent bancaire ou d’assurance par ce procédé.
Contrôler le son ne suffit pas à contrôler l’agent
Pour limiter ces risques, Check Point développe une protection qui associe l’analyse du contenu transcrit à celle du signal audio, afin de repérer les perturbations susceptibles de masquer une instruction malveillante. Il demeure cependant une difficulté, celle de distinguer une manipulation volontaire d’un appel passé depuis une rue bruyante ou perturbé par une mauvaise connexion, sans ralentir les échanges ni multiplier les fausses alertes.
L’éditeur indique avoir entraîné son système sur des enregistrements légitimes et différentes formes de perturbations, mais ne fournit pas de résultats chiffrés permettant d’évaluer ses performances de détection ou son taux de faux positifs. « Comme pour tout mécanisme de sécurité, il ne s’agit toutefois pas d’une garantie absolue : l’émergence de nouvelles techniques d’attaque et de conditions audio inédites impose des tests et des adaptations en continu », reconnaît Adrien Merveille.
La surveillance du signal ne règle d’ailleurs qu’une partie du problème. Même lorsqu’une instruction malveillante échappe à la détection, elle ne devrait pas permettre à l’agent d’effectuer librement une opération sensible. Le directeur technique insiste sur l’application du principe du moindre privilège, qui limite les outils et les données accessibles au modèle, et sur la nécessité d’une autorisation spécifique pour les actions les plus risquées. Comprendre une demande ne suffit pas à établir qu’elle est légitime, particulièrement lorsqu’elle engage une transaction ou la modification d’informations confidentielles.
Reste à comprendre ce qui s’est produit lorsqu’une protection échoue. Les enregistrements originaux, les échanges avec le modèle et les journaux des opérations peuvent aider à reconstituer une attaque, à condition que les entreprises aient prévu de conserver ces éléments. Ils ne donnent cependant pas nécessairement accès aux mécanismes internes qui ont conduit l’IA à suivre une instruction plutôt qu’une autre.
