L’OWASP (Open Worldwide Application Security Project), une communauté en ligne travaillant sur la sécurité des applications Web, est incontournable quand on parle des meilleures attaques et vulnérabilités. L’IA, les LLM, la GenIA, les agents IA se diffusent partout. La cybersécurité est pleinement concernée et les vulnérabilités potentielles sont nombreuses.
L’OWASP propose le top 10 des risques et réductions des risques pour les LLM et les applications GenIA.
Résumons…
1 – Injection de prompt : le prompt est utilisé pour un usage non prévu et l’injection modifie le comportement et les réponses. Un des principes est le hijacking AI ou du skeleton keys.
2 – Des données sensibles en libre accès ou injectées dans les LLM, les IA : vive les confidentialités des données non appliquées !
3 & 4 – La supply chain IA est vulnérable, par exemple dans les données utilisées ou même la définition du LLM. Cela inclut la notion de données empoisonnées qui vont corrompre le LLM et donc son système IA.
5 – Des résultats impropres ou incorrectes en sortie. Ces réponses peuvent générer des attaques ou exploitées des failles.
6 – Hallucinations, déviances du modèle.
7 – Le système de prompt est pris en défaut : si le système de prompt n’est pas cadré ni strictement limité, cela peut dégénérer et provoquer des réponses non souhaitées. Tout est lié.
8 – Les vulnérabilités liées aux vecteurs et à l’intégration des IA et LLM peuvent rendre vulnérables les systèmes basés sur du RAG. Une mauvaise intégration, le manque de secure by design sont néfastes. Bref, moins l’intégration est de qualité, plus vous créez des vecteurs d’attaques et de vulnérabilités dans la chaîne.
9 – La désinformation : un classique toujours efficace ! Si les données utilisées dans les LLM sont fausses ou biaisées, les résultats ne peuvent pas être garanties et, pire, ils introduisent de fausses informations ou incomplètes.
10 – Consommation illimitée : un hacker cherche à perturber le bon fonctionnement d’une GenIA, d’une IA et des LLM. Si le système IA ne limite pas les requêtes ni la consommation des ressources, une attaque peut saturer l’IA et en conséquence les infrastructures. Cela peut provoquer une surfacturation des services IA, un déni de service, une surcharge des services, etc.
