Moonshot AI affirme avoir délibérément réduit les capacités offensives en matière de cybersécurité de son nouveau modèle Kimi K3.1 Pro avant une sortie publique prévue, créant ainsi un test en conditions réelles pour savoir si un développeur d'IA peut préserver des capacités de codage utiles tout en limitant les capacités qui pourraient être adaptées au piratage.

L'entreprise pékinoise a annoncé samedi avoir supprimé les éléments liés à la cybersécurité de certaines données d'entraînement et environnements d'apprentissage par renforcement de son modèle. Selon sa note de publication , les pondérations complètes — les paramètres numériques permettant à des tiers d'exécuter et de modifier le modèle — seront publiées d'ici le 4 novembre. Reuters a rapporté que les résultats internes de l'entreprise n'ont pas encore fait l'objet d'une vérification indépendante, ce qui constitue une limite importante quant aux conclusions que l'on peut tirer avant que des chercheurs externes n'aient testé le modèle.

Moonshot a utilisé les données d'entraînement comme contrôle de sécurité

Moonshot a constaté une amélioration des performances de recherche de vulnérabilités suite à l'augmentation de la puissance de calcul post-entraînement allouée à Kimi K3.1 Pro. L'entreprise attribue cette amélioration en partie à la présence de contenu lié à la cybersécurité dans son corpus d'entraînement global et dans les tâches de cybersécurité de son modèle d'apprentissage par renforcement. Elle a ensuite supprimé le contenu relatif à la cybersécurité des deux étapes, tout en conservant les tâches de programmation générales.

Lors de l'évaluation interne xdev-bench-hard de Moonshot, un point de contrôle non filtré a résolu 90,5 % des problèmes de découverte et d'exploitation de vulnérabilités en trois tentatives. La version finale a obtenu un score de 81,0 %, tandis que son prédécesseur, Kimi K3, a atteint 33,3 %. Ces résultats suggèrent que l'intervention a réduit les performances par rapport à ce que le même pipeline d'entraînement aurait pu produire, mais ils montrent également que le modèle final est resté bien plus performant que son prédécesseur. Le benchmark, la sélection des tests et les comparaisons ayant été créés ou assemblés par Moonshot, ces pourcentages doivent être considérés comme une donnée officielle de l'entreprise et non comme une mesure indépendante.

Les poids ouverts modifient le calcul du risque

Les services d'IA hébergés peuvent surveiller les requêtes, restreindre l'accès, mettre à jour les mesures de sécurité et suspendre les comptes utilisateurs abusifs. Les modèles ouverts offrent aux utilisateurs davantage de contrôle et de confidentialité, mais le développeur perd une grande partie de ces outils de contrôle une fois les fichiers téléchargés et redistribués. une analyse plus approfondie , les principaux modèles ouverts n'accusent plus qu'un retard de quatre à sept mois sur les capacités de cybersécurité des meilleurs modèles fermés, réduisant ainsi un écart qui était de six à dix mois pendant une grande partie de l'année 2025.

Cette distinction confère une importance capitale aux choix effectués par Moonshot avant sa publication. Le filtrage des supports de formation peut influencer les capacités intégrées aux poids d'origine, tandis que les messages de refus classiques ou la surveillance côté serveur peuvent être supprimés ou contournés après la publication. Une analyse indépendante de la version précédente de Kimi K2.5 avait mis en garde contre le risque de suppression des protections liées aux poids ouverts par un simple réglage fin et contre l'impossibilité de récupérer ou de corriger de manière centralisée les poids publiés. Cette étude, préliminaire et portant sur un modèle différent, confirme néanmoins l'inquiétude générale selon laquelle les contrôles des capacités avant publication sont d'autant plus importants que le contrôle après publication est limité.

Les preuves extérieures incitent à la prudence, et non à la certitude

Des évaluateurs gouvernementaux avaient déjà testé les modèles de Moonshot, établissant ainsi une base de référence utile sans pour autant valider la nouvelle version. Dans une évaluation conjointe, l'institut britannique et le Centre américain pour les normes et l'innovation en matière d'IA ont constaté que Kimi K3 était moins performant que les modèles fermés les plus robustes en matière de développement d'exploits et lors d'une simulation d'attaque réseau en 32 étapes. Kimi K3 a néanmoins tenté des opérations offensives lors des tests, et les évaluateurs ont souligné que leurs résultats étaient préliminaires et portaient sur un ensemble limité de critères de référence.

Kimi K3.1 Pro étant un système plus récent et plus performant, l'évaluation précédente ne permet pas de garantir sa sécurité. Moonshot indique que le modèle filtré reste moins performant que des systèmes propriétaires accessibles au public depuis au moins trois mois. Des tests indépendants, menés après la publication des pondérations, devront vérifier si la réduction se confirme pour d'autres tâches de développement d'exploits, des chaînes d'attaque plus longues et des versions modifiées du modèle.

La Chine s'oriente également vers des contrôles à l'exportation

La décision de l'entreprise intervient alors que les autorités chinoises envisagent des restrictions à l'exportation de certaines technologies d'IA. Le ministère chinois du Commerce a déclaré dans un communiqué officiel que les modifications proposées concerneraient les technologies sensibles et exigeraient un enregistrement préalable à l'exportation pendant la période de consultation. Le projet inclut des contrôles relatifs à la détection de vulnérabilités assistée par l'IA et à la génération de codes malveillants, des domaines étroitement liés aux risques décrits par Moonshot.

Les règles d'exportation proposées restent soumises à consultation publique et sont distinctes de la décision de Moonshot concernant la formation volontaire. Cependant, elles révèlent ensemble deux formes de gestion des risques liées à l'IA chinoise avancée : le contrôle gouvernemental de certains transferts de technologie et les choix des développeurs quant aux fonctionnalités à inclure dans les poids publiés publiquement.

La sortie du 4 novembre sera le véritable test

Kimi K3.1 Pro est déjà disponible via les produits hébergés et l'interface de programmation d'applications de Moonshot, mais la société indique que les poids téléchargeables suivront d'ici le 4 novembre. Cette version devrait permettre aux évaluateurs indépendants de reproduire ou de contester les résultats internes, de comparer le modèle avec d'autres systèmes ouverts et de tester la facilité avec laquelle un réglage fin rétablit la capacité que Moonshot a tenté de supprimer.

Le principal résultat est donc provisoire. Moonshot a présenté une intervention concrète, constaté une réduction mesurable et reconnu qu'un codage général plus robuste se répercute sur les tâches cybernétiques. L'efficacité de cette approche pour réduire le risque d'utilisation abusive dépendra des données recueillies en dehors de l'entreprise et de la capacité des versions modifiées à maintenir cette réduction une fois les pondérations définitivement supprimées.