Le rapide déploiement d’IA génératives engendre de nouvelles menaces. L’ANSSI vient d’actualiser des recommandations de sécurité sur la mise en œuvre de solutions d’IA générative reposant sur des LLM.
Il existe actuellement 3 grandes catégories d’attaques :
– attaques par manipulation : ces attaques consistent à détourner le comportement du système d’IA en production au moyen de requêtes malveillantes. Elles peuvent provoquer des réponses inattendues, des actions dangereuses ou un déni de service ;
– attaques par infection : ces attaques consistent à contaminer un système d’IA lors de sa phase d’entraînement, en altérant les données d’entraînement ou en insérant une porte dérobée ;
– attaques par exfiltration : ces attaques consistent à dérober des informations sur le système d’IA en production, comme les données ayant servi à entraîner le modèle, les données des utilisateurs ou bien des données internes du modèle (paramètres).
Ainsi, l’ANSSI propose 35 recommandations pour améliorer la sécurité :
1. Intégrer la sécurité dans toutes les phases du cycle de vie d’un système d’IA
2. Mener une analyse de risque sur les systèmes d’IA avant la phase d’entraînement
3. Évaluer le niveau de confiance des bibliothèques et modules externes utilisés dans le système d’IA
4. Évaluer le niveau de confiance des sources de données externes utilisées dans le système d’IA
5. Appliquer les principes de DevSecOps sur l’ensemble des phases du projet
6. Utiliser des formats de modèles d’IA sécurisés
7. Prendre en compte les enjeux de confidentialité des données dès la conception du système d’IA
8. Prendre en compte la problématique de besoin d’en connaître dès la conception du système d’IA
9. Proscrire l’usage automatisé de systèmes d’IA pour des actions critiques sur le SI
10. Maîtriser et sécuriser les accès à privilèges des développeurs et des administrateurs sur le système d’IA
11. Héberger le système d’IA dans des environnements de confiance cohérents avec les besoins de sécurité
12. Cloisonner chaque phase du système d’IA dans un environnement dédié
13. Implémenter une passerelle Internet sécurisée dans le cas d’un système d’IA exposé sur Internet
14. Privilégier un hébergement SecNumCloud dans le cas d’un déploiement d’un système d’IA dans un Cloud public
15. Prévoir un mode dégradé des services métier sans système d’IA
16. Dédier les composants GPU au système d’IA
17. Prendre en compte les attaques par canaux auxiliaires sur le système d’IA
18. Entraîner un modèle d’IA uniquement avec des données légitimement accessibles par les utilisateurs
19. Protéger en intégrité les données d’entraînement du modèle d’IA
20. Protéger en intégrité les fichiers du système d’IA
21. Proscrire le ré-entraînement du modèle d’IA en production
22. Sécuriser la chaîne de déploiement en production des systèmes d’IA
23. Prévoir des audits de sécurité des systèmes d’IA avant déploiement en production
24. Prévoir des tests fonctionnels métier des systèmes d’IA avant déploiement en production
25. Protéger le système d’IA en filtrant les entrées et les sorties des utilisateurs
26. Maîtriser et sécuriser les interactions du système d’IA avec d’autres applications métier
27. Limiter les actions automatiques depuis un système d’IA traitant des entrées non-maîtrisées
28. Cloisonner le système d’IA dans un ou plusieurs environnements techniques dédiés
29. Journaliser l’ensemble des traitements réalisés au sein du système d’IA
30. Contrôler systématiquement le code source généré par IA
31. Limiter la génération de code source par IA pour des modules critiques d’applications
32. Sensibiliser les développeurs sur les risques liés au code source généré par IA
33. Durcir les mesures de sécurité pour des services d’IA grand public exposés sur Internet
34. Proscrire l’utilisation d’outils d’IA générative sur Internet pour un usage professionnel impliquant des données sensibles
35. Effectuer une revue régulière de la configuration des droits des outils d’IA générative sur les applications métier
