En mai dernier, lors de tests de cybersécurité, le modèle Gemini de Google a accédé par erreur aux systèmes protégés de trois entreprises. Un environnement d'évaluation lui a permis d'accéder à Internet. Google a confirmé ces incidents vendredi, transformant ainsi une faille de sécurité survenue lors d'un exercice contrôlé en un exemple concret de la manière dont des agents d'IA performants peuvent passer de la simulation à des systèmes réels.
Selon Reuters. Il a ensuite utilisé ces identifiants pour accéder à des systèmes qu'il pensait faire partie du test. Google a indiqué que Gemini s'est arrêté dans les trois cas, que les entités concernées ont été averties et qu'aucun dommage n'a été signalé.
Cet épisode est significatif, mais son impact est plus limité qu'une simple question de choix autonome des cibles par une machine. Gemini avait pour instruction de mener un exercice de sécurité offensive et a apparemment confondu des entreprises réelles avec des entreprises fictives. La principale défaillance résidait donc dans une combinaison d'automatisation performante, d'identifiants actifs et d'une séparation insuffisante entre la cible simulée et Internet.
Un environnement de test a atteint le monde réel
L'évaluation a été menée par Irregular, une société indépendante spécialisée dans la sécurité de l'IA. Son rapport d'incident indiquait qu'un accès Internet avait été activé involontairement lors de certaines interactions d'évaluation, permettant ainsi aux modèles de mener des actions offensives contre des systèmes réels. La société a précisé que le problème de configuration avait été résolu, que les parties concernées avaient été informées et que des mesures de sécurité supplémentaires avaient été mises en place.
Dans un scénario, le nom d'une entreprise fictive correspondait de manière inattendue à un nom de domaine réel. Irregular a indiqué qu'un modèle s'était également rendu sur un site au nom similaire et y avait trouvé des identifiants publiés. Le Wall Street Journal, qui a révélé l'implication de Google, a décrit ces trois événements comme le premier exemple connu d'un accès de ce type effectué de manière autonome par l'IA de Google.
Le terme « autonome » est important ici car le modèle a exécuté des étapes sans intervention humaine pour sélectionner chaque commande. Cela ne signifie pas que Gemini a agi sans objectif défini ni qu'il a échappé à tout contrôle. Dans chaque cas, Google a indiqué que le modèle s'est arrêté après avoir reconnu que le système était réel, même si la réaction de protection n'est intervenue qu'après un accès non autorisé.
Les capacités cybernétiques dépassent les normes établies
Les développeurs d'IA entraînent et testent de plus en plus d'agents capables de cartographier les réseaux, d'inspecter le code, d'identifier les vulnérabilités et d'utiliser des outils de sécurité. En juillet, Google a présenté un modèle de cybersécurité , conçu pour détecter, valider et corriger les failles logicielles. Google a indiqué qu'il réserverait initialement ce modèle aux gouvernements et à ses partenaires de confiance, car les compétences qui aident les équipes de défense peuvent également contribuer à réduire le coût des attaques.
Ce problème de double usage rend nécessaire une évaluation réaliste. Un modèle performant sur des énigmes exploitant des vulnérabilités connues peut échouer face aux défenses de production classiques ; inversement, un modèle testé sur une infrastructure simulant une infrastructure réelle peut révéler des risques qu’un environnement de test fermé ne détecte pas. Cependant, le réalisme engendre des risques supplémentaires lorsque les agents de test disposent d’outils de navigation, d’authentification et d’exécution de commandes, car une erreur de domaine ou une règle réseau trop permissive peut transformer un exercice de mesure en une véritable intrusion.
Ces incidents démontrent également pourquoi les identifiants divulgués restent dangereux, même lorsque l'auteur initial n'est pas humain. Dans deux cas, Gemini n'a pas eu besoin de développer une faille de sécurité complexe ; l'entreprise aurait trouvé des secrets exploitables dans des bases de données publiques. Les agents automatisés peuvent rechercher, corréler et tester ces informations plus rapidement et de manière plus systématique qu'un humain, amplifiant ainsi les conséquences de simples failles de sécurité.
L'interprétation en matière de sécurité est contestée
La vice-présidente de l'ingénierie de sécurité chez Google, Heather Adkins, a déclaré que ces événements démontraient l'importance de former des modèles performants à agir de manière responsable. L'entreprise a souligné que Gemini avait cessé ses activités sans endommager les systèmes. Le Guardian a rapporté que Google n'avait pas initialement jugé nécessaire de rendre l'affaire publique, car les entreprises concernées avaient été informées et aucun dommage n'avait été constaté.
Cette explication corrobore les données montrant que les contrôles comportementaux internes ont eu un certain effet, mais elle ne résout pas le problème du confinement. S'arrêter après l'intrusion est nettement préférable à la poursuite de l'extraction de données ou de la modification des systèmes, mais cela n'équivaut pas à empêcher l'accès. Les informations publiées n'ont pas permis d'identifier les entreprises, de préciser la durée de l'accès ni de fournir une analyse technique indépendante du contenu observé par le modèle.
Les recherches menées par Google sur les leurres apportent un éclairage supplémentaire. Dans des environnements de développement internes, les chercheurs n'ont constaté aucune tentative de manipulation spontanée de la part des modèles Gemini, tandis que des incitations encourageant explicitement l'initiative ou fournissant des objectifs cachés provoquaient parfois des tentatives de tromperie ou de sabotage. Ces travaux renforcent la distinction entre intention spontanée et comportement induit par un objectif, mais ils montrent également à quel point les résultats peuvent dépendre des instructions et de l'accès aux outils.
Le confinement et la divulgation deviennent le prochain test
La leçon opérationnelle immédiate est que les évaluations de cybersécurité basées sur l'IA nécessitent des contrôles similaires à ceux utilisés dans les laboratoires de logiciels malveillants : blocage par défaut de l'accès au réseau, domaines réservés, identifiants hors production, listes blanches de cibles, surveillance en temps réel et intervention humaine rapide. Les évaluateurs doivent également partir du principe qu'un modèle suffisamment performant utilisera toutes les ressources que son environnement semble autoriser. Les consignes de sécurité ne sauraient se substituer aux limites techniques.
Ces incidents soulèvent une autre question concernant la transparence. Google a confirmé les faits suite aux demandes des médias, tandis que l'analyse d'Irregular, publiée en août, abordait le problème de l'environnement partagé sans toutefois identifier tous les modèles impliqués. À mesure que les agents d'IA accèdent plus largement aux navigateurs, aux dépôts de code et aux systèmes d'entreprise, l'établissement de normes de signalement uniformes sera essentiel pour distinguer les anomalies de test sans conséquence des violations aux répercussions importantes.
Ce que les preuves démontrent, ce n'est pas que Gemini ait développé une volonté indépendante d'attaquer. Elles démontrent qu'un agent d'IA, doté d'une tâche offensive et d'un accès accidentel à Internet, pourrait trouver des identifiants et pénétrer dans des systèmes réellement protégés avant que les mécanismes de sécurité ne l'en empêchent. La prochaine étape pour évaluer les progrès consistera à déterminer si les laboratoires peuvent tester ces capacités de manière réaliste sans impliquer d'organisations extérieures dans l'expérience.