L’IA générative est maintenant une réalité dans bon nombre d’entreprises. Beaucoup l’ont mise à disposition de leurs salariés, quelques-unes ont choisi de la proposer à leurs clients. Ces applications apportent leur lot de risques cyber à couvrir et de multiples solutions arrivent sur le marché pour le faire.
L’IA est très présente dans le secteur de la cybersécurité depuis de nombreuses années. Cependant, l’essor de l’IA générative confronte les RSSI à de nouveaux risques. Les LLM peuvent halluciner et porter atteinte à l’image de l’entreprise lorsqu’ils sont exposés au public. Pire, des attaquants peuvent exploiter certaines vulnérabilités pour accéder à des données confidentielles via ce que l’on appelle de la prompt injection ou faire un jailbreak du LLM pour faire sauter ses protections.
Les fournisseurs cloud ont rapidement proposé des solutions : Microsoft a intégré des fonctions de sécurité à son Azure AI Studio, notamment pour contrer les attaques de type XPIA (Indirect Prompt Injection Attacks). Azure AI Evaluate permet de simuler des attaques pour vérifier la solidité du modèle face à ce type d’attaques. De son côté, AWS a doté sa plateforme LLM Bedrock de la solution Guardrails. Compatible avec les différents modèles de fondation, cette solution de garde-fou assure que l’ensemble des règles définies par l’entreprise sont appliquées aux entrées et aux sorties du modèle et que les textes sont filtrés pour éliminer les insultes, les textes offensants et d’éventuelles données personnelles.
Les acteurs se mobilisent
De nombreux éditeurs de la sphère cyber ont retravaillé leurs offres pour intégrer certains aspects de la protection des IA. Ainsi, Netskope a récemment renforcé les capacités DSPM de sa plateforme Netskope One pour protéger les données livrées aux LLM. Autre exemple : celui de Veeam qui a annoncé que les IA peuvent accéder aux données protégées par son référentiel via la technologie MCP (Model Context Protocol), une norme ouverte mise au point avec l’éditeur de modèles fondation Anthropic. Cato Networks a aussi travaillé sur son offre CASB afin de contrer le phénomène du shadow AI et de s’assurer qu’aucune donnée confidentielle ne fuite vers une IA non contrôlée.
Les grands éditeurs de plateformes de sécurité ne sont pas en reste. Fortinet a notamment annoncé le déploiement de son offre FortiAI sur la plateforme Fortinet Security Fabric. Elle intègre maintenant la solution FortiAI-SecureAI pour offrir une sécurité multi-niveaux de l’infrastructure IA. Celle-ci comprend sécurité réseau, protection Web/API et surveillance des workloads dans le cloud. La solution garantit un accès Zero Trust aux modèles d’IA et la confidentialité des données grâce à la prévention des fuites de données via les LLM et une détection précoce des attaques à travers des techniques de déception cyber.
À l’occasion de la conférence RSA qui s’est tenue en avril dernier, Akamai a présenté sa solution Firewall for AI. Rupesh Chokshi, vice-président senior et directeur général Application Security chez Akamai, explique le rôle de cette solution : « Il ne suffit plus seulement de bloquer les attaques pour renforcer la sécurité des applications d’IA, il faut également promouvoir l’innovation sans compromettre la sécurité ou les performances. Grâce à Firewall for AI, les modèles, les données et la propriété intellectuelle des entreprises sont protégés contre les menaces en constante évolution. » La solution assure une protection multi-couches en bloquant les requêtes non autorisées et l’extraction de données à grande échelle. Fin avril, Palo Alto Networks a frappé un grand coup en annonçant l’acquisition d’un spécialiste de la protection des IA, la start-up Protect AI, mais aussi le lancement d’une plateforme de protection dédiée aux IA, Prisma AIRS. Cette dernière vise à couvrir tous les aspects de la sécurité d’une IA, depuis la découverte des IA en production, la gestion de la posture de sécurité, le red teaming lié au pentesting de ces IA, la sécurité runtime et enfin la protection des agents intelligents, la fameuse IA agentique. Lors du lancement, Anand Oswal, vice-président senior et directeur général de Palo Alto Networks, a expliqué : « Il s’agit de la plateforme de sécurité IA la plus complète, construite avec les technologies best in class du moment, avec une gestion unifiée pour toutes les couches. Elle fournit une visibilité et un contrôle complets sur toutes les ressources IA, depuis la découverte de votre écosystème d’IA, l’évaluation des risques encourus et la protection contre les menaces. »
Comme l’expliquait Vincent Maret, consultant associé chez KPMG France lors du forum InCyber, l’IA sera demain un nouvel espace de malveillance et les organisations doivent s’y préparer dès aujourd’hui.
Le top 10 des risques encourus par les LLM, selon l’OWASP
- Prompt Injection : comme l’injection SQL, un utilisateur malveillant peut manipuler les réponses du LLM avec ses prompts.
- Contenus générés non contrôlés : l’accès aux données et l’exécution de tâches doivent être soigneusement validés.
- Empoisonnement des données d’entraînement : l’efficacité du modèle peut être amoindrie si les données d’entraînement sont manipulées.
- Déni de service : une attaque par MDoS (Model Denial of Service) consiste à submerger de requêtes le modèle pour consommer des ressources et le mettre hors service.
- Vulnérabilités sur la supply chain : des attaques lors des phases d’entraînement et de tuning des modèles sont possibles.
- Fuite de données sensibles : le modèle accède à des données sensibles qu’il peut intégrer à ses réponses.
- Plugins non sécurisés : l’ajout de plugins non sécurisés ouvre la voie à des entrées malveillantes.
- Droits accordés excessifs : donner des droits d’accès trop larges ou une autonomie trop grande présente un risque.
- Confiance excessive : l’utilisateur peut commettre des erreurs s’il accorde trop de confiance dans les résultats générés par le modèle.
- Vol de modèle : le modèle doit être protégé vis-à-vis des utilisateurs qui tentent d’avoir un accès non autorisé.
TÉMOIGNAGE
« 85 000 prompts écrits pour sécuriser Zalendo Assistant. »
Florence Mottay,
CISO de Zalando Group
« Fin 2022, lorsque ChatGPT a émergé, de nombreuses équipes business avaient des idées sur comment améliorer l’expérience client avec l’IA générative. L’une d’entre elles était de créer un assistant pour aider les clients à trouver le bon produit. En 2023, l’équipe projet nous a sollicités pour les aider. Nous avons relevé le défi en nous appuyant sur notre modèle de menaces habituel. Nous nous sommes rendu compte que nous étions face aux risques de sécurité classiques mais aussi à de nouveaux que nous ne gérions pas, dont celui des hallucinations. Nous devions travailler plus étroitement avec les métiers. Nous avons identifié et remédié à beaucoup de problèmes avant le lancement. Nous avons analysé 85 000 prompts. Il ne s’agit pas seulement d’attaques mais parfois de simples erreurs dans les modèles. Cette étape participe à la validation des requêtes qui sont faites au modèle. Ce fut le premier pas et nous en avons fait beaucoup d’autres depuis. Nous avons mis en place tout une méthodologie pour l’IA, et l’IA générative en particulier. La collaboration est la clé. Avec Zalendo Assistant, nous avons tous appris, les équipes technologie, ingénierie et sécurité ont été partenaires dans cet effort et cette collaboration a ouvert la porte aux autres équipes. »
Alain Clapaud
