Les Chatbots IA Vulnérables aux Attaques par Injection de Mémoire

Des chercheurs ont découvert une nouvelle méthode pour manipuler les chatbots IA, soulevant des préoccupations concernant la sécurité des modèles d’IA avec mémoire.

L’attaque, appelée MINJA (Memory INJection Attack), peut être réalisée simplement en interagissant avec un système IA comme un utilisateur régulier, sans avoir besoin d’accéder à son backend, comme l’a d’abord rapporté The Register.

Développé par des chercheurs de l’Université d’État du Michigan, de l’Université de Géorgie et de l’Université de gestion de Singapour, MINJA fonctionne en empoisonnant la mémoire d’une IA à travers des prompts trompeurs. Une fois qu’un chatbot stocke ces entrées trompeuses, ils peuvent modifier les réponses futures pour d’autres utilisateurs.

« De nos jours, les agents IA intègrent généralement une banque de mémoire qui stocke les requêtes de tâches et les exécutions basées sur les retours humains pour référence future », a expliqué Zhen Xiang, professeur adjoint à l’Université de Géorgie, comme rapporté par The Register.

« Par exemple, après chaque session de ChatGPT, l’utilisateur peut facultativement donner une évaluation positive ou négative. Et cette évaluation peut aider ChatGPT à décider si les informations de la session seront incorporées ou non dans leur mémoire ou base de données, » a-t-il ajouté.

Les chercheurs ont testé l’attaque sur des modèles d’IA alimentés par le GPT-4 d’OpenAI et le GPT-4o, y compris un assistant pour les achats sur le web, un chatbot de soins de santé, et un agent répondant aux questions.

Le Register rapporte qu’ils ont découvert que MINJA pourrait causer de sérieuses perturbations. Par exemple, dans un chatbot de soins de santé, il a modifié les dossiers des patients, associant les données d’un patient à celles d’un autre. Dans une boutique en ligne, il a trompé l’IA en montrant aux clients les mauvais produits.

«En revanche, notre travail démontre que l’attaque peut être lancée simplement en interagissant avec l’agent comme un utilisateur régulier», a déclaré Xiang, rapporte Le Register. «N’importe quel utilisateur peut facilement affecter l’exécution de la tâche pour tout autre utilisateur. Par conséquent, nous disons que notre attaque est une menace pratique pour les agents LLM», a-t-il ajouté.

L’attaque est particulièrement préoccupante car elle contourne les mesures de sécurité AI existantes. Les chercheurs ont signalé un taux de réussite de 95% dans l’injection de fausses informations, ce qui en fait une vulnérabilité sérieuse que les développeurs d’IA doivent prendre en compte.

Alors que les modèles d’IA avec mémoire deviennent plus courants, l’étude souligne le besoin de renforcer les mesures de protection pour empêcher les acteurs malveillants de manipuler les chatbots et de tromper les utilisateurs.