OpenAI a dévoilé cette semaine Sora, un modèle d'intelligence artificielle générative capable de produire des vidéos allant jusqu'à 60 secondes à partir de séquences écrites. Ce modèle étend ainsi son champ d'action, initialement axé sur le texte et les images fixes, à des scènes animées plus longues et très détaillées. Pour l'instant, il s'agit d'un prototype destiné à la recherche et non d'un produit grand public. Son accès est limité à une sélection d'artistes visuels, de cinéastes, de designers et de testeurs de sécurité, le temps qu'OpenAI évalue ses capacités et les risques associés.
Dans un rapport technique publié jeudi, OpenAI décrit Sora comme un transformateur de diffusion entraîné conjointement sur des vidéos et des images de durées, de résolutions et de formats d'image variés. L'entreprise indique que son modèle le plus performant peut générer une minute de vidéo haute fidélité et animer des images fixes, prolonger ou déconvoluer des vidéos existantes et effectuer certaines tâches de montage vidéo.
Des jetons linguistiques aux correctifs visuels
L'architecture de Sora emprunte une idée centrale aux grands modèles de langage : représenter des informations diverses en unités standardisées pouvant être traitées à grande échelle. Au lieu de jetons textuels, le modèle représente les données visuelles compressées sous forme de « patchs spatio-temporels ». OpenAI affirme que cela permet à un seul système d'apprendre à partir de vidéos et d'images multidimensionnelles, sans être limité à des clips de durée fixe ou à une seule résolution.
La présentation de Sora par l'entreprise indique que le système combine un processus de diffusion avec une architecture de transformateur. Il part d'un bruit visuel et le transforme progressivement en vidéo, tout en traitant plusieurs images de manière à préserver les sujets même lorsqu'ils sortent temporairement du champ de vision de la caméra.
OpenAI utilise également une technique de sous-titrage automatique développée pour DALL·E 3. Un modèle de sous-titrage crée des descriptions plus riches des vidéos d'entraînement, et GPT peut développer une brève requête utilisateur en instructions plus détaillées avant la génération. L'objectif est d'améliorer la capacité du modèle à suivre des instructions concernant les sujets, le contexte, les mouvements de caméra et le style visuel.
La génération en une minute rehausse le niveau de la compétitivité
Des systèmes de conversion texte-vidéo existent déjà, proposés par des entreprises comme Runway, Meta et Google, mais les premiers exemples de Sora se distinguent par leur durée et leur cohérence visuelle apparente. L'article de Wired du 15 février décrivait le modèle comme produisant des séquences photoréalistes d'une durée maximale d'une minute, tout en précisant qu'il n'était pour l'instant présenté qu'à un petit groupe de créateurs et de chercheurs en sécurité.
L'article d'Engadget a mis en lumière des exemples variés, allant de scènes urbaines enneigées à des mammouths laineux, ainsi que la capacité du modèle à générer une séquence complète plutôt que de simplement assembler de courts extraits. Ces démonstrations témoignent de progrès significatifs en matière de cohérence temporelle, l'un des principaux défis techniques de la vidéo générée.
Il ne faut pas confondre ces progrès avec une compréhension physique. Le rapport d'OpenAI indique que Sora peut échouer dans les relations de cause à effet, la permanence des objets et la physique du monde réel. Un personnage généré peut mordre dans un aliment sans laisser les marques attendues, des objets peuvent apparaître spontanément et des interactions complexes peuvent devenir incohérentes. Le système peut créer des scènes visuellement convaincantes tout en ne comprenant pas les mécanismes de ce qu'il représente.
Le produit n'est pas encore public, c'est intentionnel
OpenAI adopte une approche de lancement plus prudente qu'avec ChatGPT. Selon l'Associated Press , Sora n'est pas encore disponible pour tous et l'entreprise a divulgué peu d'informations sur le corpus d'entraînement sous-jacent. Le public a accès à une sélection d'exemples, et non à un service que chacun peut tester librement.
L'entreprise indique donner accès à des experts en désinformation, contenus haineux et biais, ainsi qu'à des artistes et cinéastes dont les retours permettent d'identifier les applications créatives et les points faibles. OpenAI développe un classificateur de détection destiné à reconnaître les vidéos générées par Sora et précise qu'il pourrait utiliser des normes de provenance telles que les métadonnées C2PA si le modèle est intégré à un produit.
Le timing est délicat, car l'arrivée de ces vidéos de synthèse réalistes coïncide avec une année d'élections majeures à travers le monde. Le risque ne se limite pas aux discours politiques falsifiés. Ces images pourraient servir à l'usurpation d'identité, à la fraude, au harcèlement, à la fabrication de preuves ou à la présentation trompeuse d'événements réels. Le rapport de lancement du Guardian indiquait qu'OpenAI s'efforçait d'évaluer ces risques avant une diffusion à grande échelle.
Les données d'entraînement et les droits d'auteur restent des questions non résolues
Sora se trouve également au cœur d'un débat juridique non résolu concernant le matériel utilisé pour entraîner ses modèles génératifs. OpenAI n'a pas fourni d'inventaire détaillé des vidéos et images utilisées par Sora. Selon des informations récentes, l'entreprise a décrit le corpus en termes généraux, l'incluant dans ses contenus publics et sous licence.
Cela risque d'attirer l'attention des cinéastes, photographes, éditeurs et autres détenteurs de droits. Les entreprises spécialisées en intelligence artificielle générative sont déjà confrontées à des poursuites judiciaires concernant l'utilisation de matériel protégé par le droit d'auteur à des fins d'entraînement sans autorisation, et la possibilité pour les modèles de reproduire des expressions protégées. La vidéo complexifie encore la situation, car le matériel d'entraînement peut inclure des images, des performances, des personnages, de la musique et d'autres droits.
Le potentiel créatif de ce modèle est néanmoins considérable. Un cinéaste pourrait prototyper des scènes avant un tournage, un publicitaire générer des séquences conceptuelles, un studio de jeux vidéo tester des environnements, ou un enseignant visualiser des situations difficiles à filmer. Sora peut également accepter des images et des vidéos existantes comme données d'entrée, ce qui ouvre la voie à des utilisations allant au-delà de la simple conversion de texte en vidéo.
Un aperçu de recherche dont les implications dépassent le cadre de la vidéo
OpenAI présente Sora comme bien plus qu'un simple outil multimédia. Ses chercheurs affirment que le passage à l'échelle de la vidéo générative pourrait ouvrir la voie à des modèles capables d'apprendre des représentations utiles du monde physique. L' article de recherche met en lumière des comportements émergents tels que des mouvements de caméra cohérents et certaines formes d'interaction avec les objets, tout en reconnaissant que ces capacités restent encore incomplètes.
Cette affirmation nécessitera des tests indépendants approfondis. Générer des pixels plausibles ne revient pas à comprendre la physique, la causalité ou l'intention humaine, et les erreurs visuellement convaincantes de Sora pourraient rendre ces distinctions plus difficiles à percevoir pour les utilisateurs. Le modèle peut paraître compétent même lorsque la simulation sous-jacente est erronée.
Pour l'instant, l'intérêt de Sora réside dans le fossé qu'il semble combler entre les courts clips d'IA instables et les séquences cinématographiques plus longues. OpenAI a présenté un système capable de générer une minute de vidéo à partir du langage et en restreint l'accès au grand public afin d'en tester les conséquences. L'adoption de Sora comme plateforme créative à grande échelle dépendra non seulement de la qualité visuelle, mais aussi du coût, de la rapidité, des règles relatives aux droits d'auteur, de la provenance et de la capacité des systèmes de sécurité à suivre le rythme de la production de médias synthétiques toujours plus convaincants.