SAFE : plus de 120 organisations veulent mieux partager les incidents de sécurité liés à l’IA

La Linux Foundation a publié une demande de commentaires autour de SAFE, pour Shared AI Findings Exchange. Élaborées au sein de l’Open Secure AI Alliance, ces lignes directrices doivent faciliter le partage des incidents et quasi-incidents de cybersécurité impliquant des agents IA.

Un cadre commun pour les incidents liés à l’IA

SAFE propose de collecter et d’analyser de manière confidentielle les incidents touchant les systèmes d’IA agentique. L’objectif est d’informer les organisations concernées, de repérer les défaillances récurrentes des mécanismes de contrôle et de publier des recommandations fondées sur les informations recueillies.

Le projet est encore au stade de la demande de commentaires. Il ne s’agit donc pas d’une norme finalisée, mais d’une base de travail ouverte aux contributions. Le groupe chargé de sa rédaction rassemble notamment NVIDIA, Cisco, CrowdStrike, Hugging Face et Red Hat, en collaboration avec la Linux Foundation.

L’Open Secure AI Alliance compte désormais plus de 120 organisations. Son approche part du principe qu’un agent IA ne se résume pas à son modèle : sa sécurité dépend également de la gestion des identités, des autorisations, des outils, des garde-fous, des journaux d’activité et des procédures d’évaluation.

Des outils ouverts sur toute la chaîne de sécurité

En parallèle de SAFE, les membres de l’alliance développent des outils couvrant plusieurs couches de la cybersécurité des agents. NVIDIA cite notamment OpenShell, un environnement destiné à limiter ce qu’un agent peut voir et exécuter, ainsi que Garak, son scanner open source de vulnérabilités pour grands modèles de langage.

D’autres membres travaillent sur l’identité, les autorisations et les tests. Amazon apporte les projets open source Strands Agents et Cedar. Microsoft propose notamment PyRIT pour automatiser des opérations de red teaming, tandis que Visa contribue avec un environnement agentique consacré à la détection et à la validation de vulnérabilités.

L’alliance aborde aussi l’observation des actions réalisées par les agents. Uber indique que son système ADR reconstitue la chaîne allant du prompt aux appels d’outils et aux résultats. Selon l’entreprise, il prend en charge plus de 200 000 sessions d’agents par jour sur 30 000 terminaux.

Transformer les incidents en protection collective

Avec SAFE, l’alliance cherche surtout à éviter que les mêmes failles soient découvertes et traitées séparément par chaque organisation. Un mécanisme partagé pourrait permettre aux défenseurs d’adapter plus rapidement leurs contrôles, tout en protégeant les informations sensibles associées aux incidents.

La portée réelle du dispositif dépendra toutefois de sa version définitive, de son adoption et des modalités de partage retenues. La demande de commentaires constitue une première étape vers un langage commun pour documenter les risques propres aux agents IA.

En conclusion, SAFE veut faire du retour d’expérience collectif un outil de défense face à des systèmes d’IA capables d’agir dans des environnements complexes. Le projet reste à préciser, mais il illustre la volonté du secteur de structurer la cybersécurité agentique avant sa généralisation.

Source : NVIDIA Blog.