SAN FRANCISCO — OpenAI a publié cette semaine une version préliminaire publique de recherche de ChatGPT, un système d'intelligence artificielle conversationnelle conçu pour répondre aux questions complémentaires, reconnaître ses erreurs, contester les prémisses erronées et rejeter certaines requêtes inappropriées. L' annonce de l'entreprise, datée du 30 novembre, présente le système comme un modèle frère d'InstructGPT et le rend disponible gratuitement pendant qu'OpenAI recueille des retours sur ses points forts, ses faiblesses et son comportement en matière de sécurité.
Cette nouveauté est remarquable moins par la capacité des ordinateurs à générer du texte — les grands modèles de langage le font depuis plusieurs années — que par le fait qu'OpenAI a intégré un puissant modèle génératif basé sur le dialogue et un processus d'apprentissage par retour d'information, conçu pour rendre les réponses plus pertinentes pour les utilisateurs. Cette interface transforme l'interaction avec un modèle de langage : au lieu de composer une seule phrase et d'en recevoir une seule réponse, l'utilisateur peut interroger, affiner, corriger et réorienter le système à plusieurs reprises.
De la prédiction de texte au suivi des instructions
L'héritage technique se retrouve dans les travaux d'OpenAI sur les modèles génératifs de plus en plus vastes. Son article de 2020 sur GPT-3 a démontré que l'extension d'un modèle de langage à 175 milliards de paramètres pouvait produire d'excellentes performances avec peu d'exemples sur un large éventail de tâches, sans réglage fin spécifique à chaque tâche. Cependant, la prédiction brute du mot suivant a également révélé une inadéquation fondamentale : un modèle entraîné à poursuivre la lecture d'un texte n'est pas automatiquement entraîné à suivre l'intention de l'utilisateur de manière sûre et précise.
En réponse, OpenAI a intégré les préférences humaines à son processus d'apprentissage. En janvier, l'entreprise a présenté InstructGPT, une famille de modèles initialement affinés à partir de démonstrations rédigées par des utilisateurs, puis optimisés grâce au classement des résultats obtenus. L' étude a révélé que les évaluateurs humains préféraient généralement les résultats d'un modèle InstructGPT à 1,3 milliard de paramètres à ceux du modèle GPT-3, bien plus vaste (175 milliards de paramètres), démontrant ainsi que la conformité aux instructions peut être aussi importante que la taille brute du modèle pour évaluer son utilité perçue.
ChatGPT applique une méthode similaire aux conversations. OpenAI indique que des formateurs humains en IA ont fourni des données de dialogue en jouant les deux rôles d'une conversation, avec accès aux suggestions générées par le modèle. L'entreprise a ensuite combiné cet ensemble de dialogues avec ses données InstructGPT et a utilisé l'apprentissage par renforcement à partir de retours humains (RLHF) pour classer et améliorer les réponses. La procédure d'entraînement n'élimine pas les erreurs du modèle ; elle vise à l'orienter vers des réponses jugées plus utiles et pertinentes par les utilisateurs.
Le dialogue crée de nouvelles capacités — et de nouveaux modes de défaillance
Le format conversationnel permet à ChatGPT de conserver le contexte des échanges et de rectifier une réponse lorsqu'un utilisateur signale un problème. Il permet également au modèle de demander des précisions ou d'y répondre, et de refuser des requêtes conformément aux règles de sécurité. Ces comportements s'appuient sur les travaux antérieurs d'OpenAI visant à intégrer le jugement humain dans les systèmes de langage. En 2020, des chercheurs ont démontré qu'il était possible d'entraîner des modèles à la synthèse vocale grâce aux retours humains, en comparant différents résumés potentiels afin d'améliorer la qualité du résultat, plutôt que de se fier uniquement à un objectif supervisé fixe.
OpenAI a également exploré des modèles interagissant avec des informations externes. Son projet WebGPT a doté un modèle de langage d'un navigateur textuel et l'a entraîné à répondre à des questions longues avec citations. Ce travail se distingue de ChatGPT, que la version préliminaire actuelle d'OpenAI décrit comme un modèle de dialogue plutôt que comme un service de recherche web en temps réel, mais il illustre la tendance générale de la recherche : combiner de grands modèles de langage avec des interfaces, des retours humains et des outils permettant de contraindre ou d'améliorer leur comportement.
L'entreprise indique clairement que ChatGPT demeure peu fiable. L'avis de lancement prévient que le modèle peut produire des réponses apparemment plausibles mais incorrectes ou absurdes, qu'il peut être sensible à de légères variations de formulation, qu'il peut être excessivement verbeux et qu'il peut parfois deviner l'intention de l'utilisateur au lieu de poser une question de clarification. OpenAI reconnaît également que les systèmes de sécurité peuvent générer de faux positifs et ne pas bloquer les instructions malveillantes.
Un aperçu contrôlé plutôt qu'un produit fini
La décision d'OpenAI de publier ChatGPT en version préliminaire pour la recherche illustre une tension récurrente dans le développement de l'IA avancée : les faiblesses d'un modèle sont difficiles à caractériser pleinement en laboratoire. Une utilisation publique à grande échelle peut révéler des incitations adverses, des applications inattendues, des biais systématiques et des malentendus courants que l'évaluation formelle ne détecte pas. L'entreprise invite les utilisateurs à signaler les résultats problématiques et organise un concours de retours d'expérience pour les rapports particulièrement utiles.
Cette approche tire les leçons des versions précédentes. Lors de sa présentation de GPT-2 en 2019, OpenAI a mis l'accent sur les risques d'utilisation abusive d'une génération de texte de plus en plus cohérente et a initialement opté pour une stratégie de déploiement progressif plutôt que de publier immédiatement le modèle le plus complet. Depuis, le domaine a rapidement évolué vers des systèmes plus vastes et un déploiement plus large, tandis que les questions relatives à la désinformation, à l'usurpation d'identité, aux biais et à la persuasion automatisée sont devenues plus concrètes.
ChatGPT se présente donc à la fois comme une interface utilisateur aboutie et comme une expérimentation. Son utilité repose sur la compréhension, par l'utilisateur, qu'un texte fluide ne saurait se substituer à un fait avéré. Le modèle génère des réponses à partir de schémas appris lors de son entraînement ; il ne possède pas de jugement humain, et OpenAI ne prétend pas que l'aperçu soit une source infaillible.
L'interface peut être aussi importante que le modèle
L'intérêt technique immédiat de cette version réside dans la combinaison d'un modèle de langage performant, d'une interface de chat intuitive et d'un programme d'apprentissage centré sur les préférences humaines. Les modèles de langage précédents exigeaient souvent des utilisateurs qu'ils apprennent les formats d'invite de commande ou qu'ils interagissent via des outils de développement. ChatGPT lève cet obstacle en faisant de la conversation ordinaire l'interface de contrôle.
Cette simplicité pourrait élargir le public de l'IA générative au-delà des chercheurs et des programmeurs. Les utilisateurs peuvent demander des explications, des brouillons, de l'aide pour le code, des résumés ou des transformations dans une même fenêtre, puis affiner le résultat par la conversation. Cependant, cette facilité d'utilisation accentue les limites connues : un ton autoritaire peut masquer une réponse erronée, et des échanges itératifs peuvent inciter les utilisateurs à accorder au système une confiance excessive par rapport à sa fiabilité intrinsèque.
Pour l'instant, OpenAI considère ces tensions comme l'objectif de cette prévisualisation. ChatGPT n'est pas présenté comme l'aboutissement du développement des modèles de langage. Il s'agit d'un test public visant à déterminer si l'entraînement par le dialogue et les retours humains peuvent rendre les grands modèles génératifs plus utiles, plus faciles à piloter et plus sûrs, et à identifier les limites de ces méthodes lorsque le système est mis entre les mains d'un public beaucoup plus large.