Microsoft ouvre RAMPART et Clarity : ses outils de sécurité IA en open source

Tu veux sécuriser tes agents IA avant qu’un incident ne te tombe dessus ? Microsoft vient d’ouvrir deux outils qui pourraient bien te simplifier la vie. RAMPART et Clarity sont désormais disponibles sur GitHub.

RAMPART : tester tes agents comme un pro

RAMPART est un framework de test de sécurité. Il cible spécifiquement les agents IA. Le socle technique repose sur PyRIT, l’outil open source de Microsoft.

La force de RAMPART, c’est l’intégration continue. Tu peux encoder tes findings red team en tests réutilisables. Le framework s’intègre dans pytest. Tes tests de sécurité tournent à chaque commit.

Concrètement, Les attaques par injection de prompt sont la spécialité de l’outil. RAMPART génère des variantes automatiquement. L’équipe réponse incidents de Microsoft l’utilise déjà. Cent variantes d’une vulnérabilité générées en heures plutôt qu’en semaines.

• Spécialisé dans les injections de prompt.
• Basé sur PyRIT, plus de cent contributeurs externes.
• Encode les findings red team en tests automatisés.
• S’intègre dans ton pipeline CI existant.

Clarity : structurer ta réflexion sécurité

Clarity est différent. C’est un outil de review de design. Il pose les questions qu’un architecte senior te poserait.

L’outil guide tes conversations de design. Il couvre quatre domaines clés. La clarification du problème d’abord. L’exploration des solutions ensuite. L’analyse des modes d’échec ensuite. Le tracking des décisions enfin.

Le résultat atterrit en markdown dans le répertoire .clarity-protocol/. Tu gardes une trace écrite de chaque décision. C’est précieux quand tu dois justifier tes choix plus tard.

Les types d’attaques couverts par RAMPART

RAMPART ne se limite pas aux injections de prompt basiques. Le framework couvre un spectre large de vecteurs d’attaque.

• Injections directes : l’attaquant insère des instructions dans les données que l’agent lit. Un fichier PDF, un email, un ticket support. Tout peut devenir un vecteur.
• Injections indirectes : l’attaquant modifie un fichier sur un serveur distant que l’agent consulte. Le contenu piégé est chargé à l’insu de l’utilisateur.
• Manipulation de contexte : l’attaquant modifie le contexte de conversation pour orienter les décisions de l’agent vers des actions malveillantes.
• Exfiltration de données : l’agent est manipulé pour envoyer des informations sensibles vers un serveur contrôlé par l’attaquant.

Chaque type d’attaque correspond à des tests spécifiques dans RAMPART. Tu peux activer les catégories qui concernent ton agent et ignorer les autres.

Pourquoi c’est le bon moment

Microsoft AI Red Team publie sous la houlette de Ram Shankar Siva Kumar. L’équipe a une longue histoire. PyRIT est sorti en 2024 avec plus de cent contributeurs externes. C’est l’un des projets open source de sécurité IA les plus actifs du marché.

Le contexte réglementaire pousse aussi. L’AI Act européen exige des assessments de risque continus. Le NIST AI RMF attend la même chose. RAMPART t’aide à répondre à ces exigences. En pratique, ça signifie que les équipes compliance vont bientôt demander des preuves de tests. Avoir RAMPART intégré dans ton CI, c’est un dossier prêt à être présenté.

Comment commencer

Les deux outils sont sur GitHub. Commence par RAMPART si tu as déjà un agent en production. Installe le package. Configure tes premiers tests. Intègre-les dans ton CI.

Utilise Clarity si tu es en phase de design. Lance une session guidée. Réponds aux questions. Archive le résultat markdown. Tu auras une documentation solide pour tes revues de sécurité.

Questions fréquentes

Clone le repo RAMPART ce soir. Configure un test basique sur ton agent. Tu seras surpris de ce que le framework trouve en quelques minutes. Partage tes findings avec ton équipe demain matin.