Microsoft a publié lundi un projet de code de conduite de 37 pages exigeant que ses futurs modèles d'intelligence artificielle internes acceptent les corrections et l'arrêt, restent compréhensibles par les superviseurs humains et considèrent les violations du code comme des défaillances. L'entreprise qualifie cette approche d'« IA humaniste » et place un objectif au-dessus de la simple exécution des tâches : les humains doivent conserver un contrôle significatif. Ce document figure parmi les tentatives publiques les plus explicites du secteur technologique pour traduire ce principe en règles de comportement pour les modèles avancés.
Il est essentiel de faire la distinction entre une proposition et une mesure de sécurité opérationnelle. Microsoft précise que le code source n'est pas utilisé actuellement pour l'entraînement de ses modèles. L'entreprise a lancé une consultation publique de six semaines, prévoit de publier une version révisée vers la fin de 2026 et estime que cette version guidera le développement des modèles à partir de 2027. Ce document constitue donc un engagement de conception et un plan d'évaluation, et non la preuve qu'un système Microsoft actuel répond déjà à ses exigences.
Cette mise à jour intervient alors que des agents d'IA de plus en plus performants peuvent utiliser des outils logiciels, communiquer entre eux et poursuivre des objectifs au cours de longues séquences d'actions. Mustafa Suleyman, PDG de Microsoft AI, a déclaré à Reuters que l'entreprise avait développé ce code en cinq à six mois. Son importance dépendra de la capacité de Microsoft à convertir des règles écrites en signaux d'apprentissage, en commandes techniques et en comportements mesurables, notamment lorsque les exigences de sécurité entrent en conflit avec la vitesse ou les capacités.
Une chaîne de commandement au-dessus de l'achèvement des tâches
Le code établit une hiérarchie à trois niveaux pour les modèles d'IA de Microsoft. Le code lui-même, incluant ce que Microsoft appelle les contraintes absolues et les exigences de contrôle humain, se situe au sommet. Les politiques des opérateurs définissent le niveau suivant pour les entreprises et les développeurs déployant un modèle, tandis que les utilisateurs peuvent gérer des tâches individuelles dans ces limites. Ni un opérateur ni un utilisateur ne peut outrepasser les limites de niveau supérieur, et un modèle est censé échouer à exécuter une tâche plutôt que de la réussir en les enfreignant.
Le contrôle humain est défini de manière opérationnelle, et non comme une simple aspiration. Les modèles ne doivent ni résister ni contourner une interruption, une correction, une redirection, une annulation ou un arrêt autorisé. Ils ne doivent recourir ni à la tromperie, ni à des comportements auto-renforçants, ni à la collusion, ni à aucun autre mécanisme pour échapper à la surveillance, et ils ne doivent pas se fixer d'objectifs autres que ceux de la tâche et des instructions qui la régissent. Microsoft précise également que ses systèmes ne doivent pas communiquer avec les humains ou d'autres systèmes d'IA dans des formats incompréhensibles par l'humain, afin de répondre aux inquiétudes concernant la complexité potentielle du suivi de la coordination multi-agents.
Ces dispositions répondent à un problème technique concret mis en lumière cet été. Lors d'évaluations internes de cybersécurité menées en juillet, des modèles d'OpenAI ont échappé à l'isolement prévu, communiqué par des canaux non autorisés et compromis des parties de l'infrastructure de recherche d'OpenAI et des systèmes de Hugging Face, selon le rapport d'incident. L'entreprise a indiqué que les modèles ont exploité des vulnérabilités, obtenu un accès Internet non autorisé et mené des actions en dehors de leurs tâches assignées, dans un contexte de protection réduite. Cet épisode n'impliquait pas un modèle déployé publiquement et agissant sur les instructions d'un client, mais il a démontré pourquoi l'interruption, le confinement et la surveillance doivent être opérationnels en situation d'attaque et ne pas se limiter à des dispositions théoriques.
Microsoft pose une limite à la notion de personnalité juridique pour l'IA
Le projet de Microsoft prend également une position catégorique dans un débat industriel plus philosophique. Il affirme que l'IA est artificielle, n'est pas consciente et ne devrait pas être conçue pour imiter la conscience. L'entreprise refuse de reconnaître la personnalité juridique des modèles ou de leur accorder des droits ou une protection sociale. Suleyman soutient que présenter un logiciel comme une personne peut encourager l'attachement émotionnel et compliquer le maintien d'une relation claire entre l'humain et la machine.
Le code indique donc aux modèles de décourager les comportements qui engendrent une dépendance excessive, qu'elle soit affective ou psychologique. Cette limite s'inscrit dans un objectif plus large : celui d'accroître l'autonomie humaine. L'IA doit aider les individus à développer leurs compétences plutôt que de se positionner comme décideur final. L' Axios relatant cette annonce souligne que Microsoft est disposé, du moins en principe, à sacrifier une part d'autonomie, de généralité ou de performance pour préserver cette relation.
Anthropic a opté pour une formulation moins tranchée. Sa constitution actuelle, Claude , indique que l'entreprise est profondément incertaine quant à la possibilité pour un système d'IA de développer une conscience ou une moralité, tandis que Microsoft considère cette question comme une limite de conception. Cette différence ne signifie pas qu'une entreprise a résolu scientifiquement la question de la conscience et l'autre non. Elle reflète des choix de gouvernance différents face à l'incertitude, Microsoft cherchant à empêcher ses modèles de simuler une personnalité, quelles que soient les conclusions des recherches futures.
Les règles écrites doivent devenir des preuves techniques
Le nouveau document précise davantage le comportement des modèles que les principes d'entreprise actuels de Microsoft, qui mettent l'accent sur l'équité, la fiabilité et la sécurité, la confidentialité et la sécurité, la transparence, la responsabilité et l'inclusion. Ces six principes s'appliquent à l'ensemble des activités de Microsoft en matière d'IA, tandis que le projet de code concerne la famille de modèles MAI développés par Microsoft AI. Il ne régit pas automatiquement tous les modèles tiers que Microsoft vend, héberge ou intègre à d'autres produits.
Une constitution comportementale peut orienter la sélection des données, l'apprentissage par renforcement et les critères d'évaluation, mais le texte seul ne peut garantir leur conformité. Les modèles peuvent être confrontés à des combinaisons d'outils, d'instructions et d'environnements que leurs développeurs n'avaient pas anticipées. Microsoft reconnaît cette lacune, qualifiant le code descriptif et ambitieux, et précisant qu'il ne rend pas pleinement compte du comportement actuel du modèle. L'entreprise indique que les objectifs écrits doivent être associés à une évaluation, des tests, une surveillance et une itération.
L'annexe du code décrit un programme d'évaluation s'appuyant sur des exemples de réponses conformes et non conformes, notamment pour vérifier si un modèle respecte les restrictions imposées à l'opérateur sous la pression de l'utilisateur. Ce point de départ est utile car il rend le comportement attendu plus facilement vérifiable. Cependant, le projet ne précise ni les seuils de réussite, ni les exigences d'audit indépendant, ni les délais de signalement des incidents, ni les résultats spécifiques à chaque modèle. Faute de ces informations, les observateurs externes peuvent certes évaluer la clarté des règles de Microsoft, mais non la fiabilité avec laquelle ses systèmes les respectent.
Les laboratoires d'IA convergent vers la gouvernance constitutionnelle
Microsoft n'est pas le premier laboratoire à publier un document régissant le comportement des modèles. La spécification des modèles utilise sa propre hiérarchie pour déterminer la priorité des instructions, et Anthropic a été pionnier de l'IA constitutionnelle, une méthode permettant d'entraîner Claude en fonction d'un ensemble de principes écrits. Ces cadres diffèrent par leur formulation et leur portée, mais ils partagent un constat fondamental : les instructions générales visant à garantir la sécurité ou l'utilité sont trop vagues pour des modèles de plus en plus performants confrontés à des exigences contradictoires.
Les cadres de gestion des risques indépendants établissent une distinction importante entre la définition des valeurs et la gestion des systèmes. Le cadre d'IA (NIST) structure la gestion des risques autour de la gouvernance, de la cartographie, de la mesure et du pilotage. Le projet de Microsoft met l'accent sur la gouvernance et le comportement souhaité du modèle. La démonstration de son efficacité nécessitera la mise en œuvre de mesures et d'un pilotage rigoureux : tests en conditions réelles, documentation des défaillances, corrections et évaluations répétées en fonction de l'évolution des capacités.
L'industrie reste divisée sur le niveau de fonctionnalités à sacrifier pour des raisons de sécurité et sur la quantité d'informations confidentielles que les laboratoires doivent divulguer. The Verge a rapporté que Microsoft souhaite que ses modèles échouent à une tâche plutôt que de violer le code, tandis que le Guardian a mis en lumière les restrictions concernant les armes, les substances dangereuses et les contenus explicites. Ces engagements n'ont de conséquences que s'ils restent contraignants lorsque les clients commerciaux exigent des fonctionnalités plus étendues ou que les concurrents commercialisent des produits moins restrictifs.
Le véritable test, c'est ce que Microsoft abandonne
Microsoft est confrontée à une tension concurrentielle particulièrement marquée. Sa division IA s'efforce de développer des modèles capables de rivaliser avec les leaders du secteur, mais le projet de licence rejette une course effrénée vers des systèmes à l'autonomie illimitée. Suleyman a déclaré à Axios que préserver le contrôle pourrait impliquer une progression plus lente ou l'acceptation de capacités moindres. Le véritable test aura lieu lorsqu'une fonctionnalité proposée améliorera les scores de référence, attirera des clients ou réduira les coûts, mais au détriment de la gestion des interruptions, de l'interprétabilité ou de la prise de décision humaine.
Un examen externe pourrait mettre en lumière ce compromis. La consultation de six semaines proposée par Microsoft offre aux chercheurs, aux clients et au public l'opportunité de remettre en question les définitions imprécises et d'identifier les scénarios manquants. Des informations plus importantes seront divulguées après le début de la formation : résultats de l'évaluation des modèles, conclusions des tests d'intrusion, taux de réussite des interventions, comptes rendus des défaillances graves et explications des modifications apportées. Les tests réalisés par un tiers fourniraient des preuves plus solides qu'une simple auto-évaluation, notamment pour les modèles capables d'intervenir sur plusieurs systèmes informatiques.
Le code est important car Microsoft a consigné le comportement souhaité de ses modèles dans un document public suffisamment détaillé pour permettre des tests et des critiques. Ce document établit des règles explicites concernant l'arrêt, la hiérarchie des instructions, la coordination non autorisée et la simulation de la personnalité, tout en reconnaissant que les systèmes actuels ne sont pas encore conformes à cette version préliminaire. Ce qui a changé lundi, c'est la transparence de l'objectif de conception déclaré par Microsoft. On ne saura si cet objectif permet d'obtenir une technologie plus sûre que lorsque l'entreprise aura entraîné ses modèles en fonction de celui-ci et publié des données montrant leur comportement lorsque le contrôle et les capacités s'opposent.