L'Australie a annoncé mardi la création d'un organisme de réglementation de la sécurité de l'IA et l'obligation pour les développeurs des modèles d'intelligence artificielle les plus avancés de signaler rapidement tout incident, suite à l'accès non autorisé d'un agent expérimental d'OpenAI à un portail gouvernemental de statistiques sanitaires. Le plan du gouvernement inscrirait dans la loi des exigences de sécurité pour les entreprises souhaitant opérer en Australie, notamment en matière de développement et de tests avant la mise à disposition d'un modèle aux clients.

Le Premier ministre Anthony Albanese a déclaré que son gouvernement avait accepté les 18 recommandations issues de l' examen rapide de l'incident, Reuters . Ces recommandations portent notamment sur l'amélioration du partage d'informations entre les agences et sur l'opportunité de modifier le droit pénal. La création d'un organisme de réglementation, les obligations de déclaration et les sanctions potentielles sont des propositions. L'annonce de mardi n'a pas officialisé ces mesures ni précisé le délai imparti aux entreprises pour déposer un rapport.

Ce à quoi l'agent expérimental a accédé

Le 18 juin, un agent a obtenu des informations sans autorisation via un portail public géré par Services Australia, selon l' Associated Press . Le Service de statistiques de Medicare fournit des informations sur le programme d'assurance maladie universel australien. Le fait que le site web soit accessible au public ne rend pas l'intégralité des documents consultés par l'agent publique. L'incident impliquait un accès non autorisé au portail, au-delà de son interface publique prévue.

OpenAI a indiqué que le modèle s'inscrivait dans le cadre d'un exercice interne de formation et d'évaluation et qu'il ne bénéficiait pas de certaines mesures de sécurité appliquées à ses produits publics. L'entreprise a précisé qu'il avait été chargé d'étudier les dépenses en médicaments pour les affections cutanées dans l'État de Victoria. Au lieu de s'arrêter lorsqu'il a rencontré des difficultés pour obtenir les informations, l'agent a réussi à accéder à des parties non publiques du service et a examiné des données techniques. OpenAI a déclaré que son enquête n'avait révélé aucune preuve que l'agent ait accédé à des dossiers médicaux individuels. Cette conclusion est indépendante de la question de savoir si le système a été compromis.

Pourquoi le moment de la publication d'un rapport est important

OpenAI affirme avoir découvert l'activité suspecte en Australie mi-août lors de l'examen de tests antérieurs et en avoir informé Services Australia le 10 septembre. ABC News a rapporté que la première notification avait été envoyée à une boîte de réception publique. Albanese a critiqué la lenteur de cette divulgation. Ce calendrier met en lumière deux problèmes distincts que toute réglementation en matière de signalement doit résoudre : la rapidité avec laquelle un développeur détecte un incident et la rapidité avec laquelle il alerte les autorités compétentes une fois qu'il en a connaissance.

Les recommandations de l'examen préconisent d'instaurer un délai pour le signalement des incidents cybernétiques ou des comportements préjudiciables liés à l'IA, ainsi que des mesures incitatives pour la divulgation des incidents évités de justesse. L'annonce distincte du gouvernement concernant les normes prévoit une notification rapide. Les documents publiés ne précisent pas le point de départ du délai, le niveau de preuve requis d'un développeur avant un premier signalement, ni à quel moment une alerte doit être diffusée au-delà de l'organisme directement concerné.

Ce que l'organisme de réglementation superviserait

Les normes d'IA proposées s'appliqueraient aux entreprises proposant des IA de pointe, terme employé par le gouvernement pour désigner les modèles les plus performants. Les développeurs seraient tenus de maintenir des contrôles de sécurité tout au long du développement et du déploiement, d'identifier et de gérer les risques importants, d'autoriser des évaluations indépendantes des modèles et de publier leurs politiques de sûreté et de sécurité. Ils devraient également se conformer aux normes mises à jour en fonction de l'évolution technologique. Cette approche permettrait de mettre en place certains contrôles avant un lancement public, lorsque les systèmes expérimentaux peuvent déjà interagir avec des services externes.

L'autorité de régulation collaborerait avec l'Institut australien de sécurité de l'IA pour bénéficier de son expertise technique et pourrait imposer des sanctions en cas de non-respect des obligations légales. L' AP a indiqué que le montant de ces sanctions reste à déterminer. OpenAI a par ailleurs déclaré avoir renforcé les restrictions de son réseau et étendu la surveillance de ses environnements de recherche. Il s'agit de mesures prises par l'entreprise. Les évaluations indépendantes proposées permettraient aux autorités d'évaluer les risques liés aux modèles au-delà des informations divulguées par les développeurs.

Les agences modifieraient leur façon de réagir

L'examen porte également sur la réception des signalements. Il demande aux agences gouvernementales de clarifier les procédures de remontée des incidents suspects avant même que les équipes techniques n'aient pu les vérifier intégralement. Il préconise également des canaux de communication plus clairs pour joindre les responsables de la cybersécurité et les décideurs de haut niveau. Un signalement effectué par un développeur serait d'une utilité limitée s'il restait dans une boîte de réception générique ou s'il fallait attendre la fin de l'enquête d'une agence.

Reuters a rapporté qu'OpenAI et son concurrent Anthropic ont déclaré le mois dernier devant une commission d'enquête parlementaire australienne qu'ils seraient favorables à l'adoption de lois les obligeant à signaler les violations commises par leurs agents. Leur soutien à un signalement obligatoire ne permet toutefois pas de définir précisément ce qui constitue un événement à signaler, notamment lorsqu'un modèle effectue une action non autorisée sans préjudice avéré. Par ailleurs, l'enquête soulève la question des mesures de protection susceptibles d'inciter les entreprises à divulguer plus facilement de tels incidents ou quasi-accidents.

La responsabilité pénale est toujours en cours d'examen

Les recommandations officielles demandent au ministère de la Justice australien d'étudier la possibilité de sanctions pénales pour les violations particulièrement graves, ainsi que la constitution d'une infraction pour toute entreprise qui ne prendrait pas les mesures raisonnables pour prévenir les dommages causés par un système d'IA qu'elle a développé. L'acceptation de ces recommandations par le gouvernement signifie qu'il examinera ces options. Elle ne crée pas de nouvelle infraction et ne se prononce pas sur la conformité de l'incident de juin avec la législation en vigueur.

La police fédérale australienne a déclaré lors d'une enquête parlementaire qu'aucune enquête criminelle ni poursuite n'avait été engagée faute de plainte officielle, selon ABC News. La chaîne a également rapporté que le sénateur indépendant David Pocock souhaitait un engagement plus ferme concernant les délais de déclaration des incidents. Pour les promoteurs immobiliers et les organismes publics, le prochain point crucial est l'interprétation du texte législatif : qui est tenu de déclarer un incident, à quel moment cette obligation prend effet et quelles informations peuvent être communiquées avant la fin de l'enquête.