Google a présenté Gemini, une nouvelle famille de modèles d'intelligence artificielle conçus pour traiter le texte, les images, l'audio, la vidéo et le code, et déploie immédiatement le modèle Gemini Pro, de taille intermédiaire, au sein de l'université Bard. L'entreprise affirme que sa version la plus performante, Gemini Ultra, surpasse les performances actuelles sur 30 des 32 benchmarks académiques les plus utilisés, bien que ce modèle reste en phase de tests de sécurité et d'évaluation limitée jusqu'à l'année prochaine.

Le lancement du 6 décembre constitue à ce jour la réponse technique la plus directe de Google face à l'adoption rapide des modèles GPT-4 et ChatGPT d'OpenAI. Plutôt que de proposer un modèle unique pour tous les usages, Google a développé trois versions : Ultra pour les tâches les plus complexes, Pro pour une utilisation à grande échelle dans le cloud et Nano pour des calculs efficaces sur appareil.

Trois modèles ciblent différents environnements informatiques

Selon Google DeepMind, Gemini a été conçu dès le départ comme un système multimodal et non comme un modèle de texte auquel on ajouterait ultérieurement des composants. L'entreprise affirme que cette approche permet aux modèles de raisonner sur des combinaisons de langage écrit, d'images, d'audio et de vidéo, et d'effectuer des tâches de programmation. La collection de lancement décrit Gemini 1.0 comme ayant été entraîné à grande échelle sur l'infrastructure Tensor Processing Unit de l'entreprise.

Gemini Pro est la version actuellement accessible à la plupart des utilisateurs. Google a intégré une version anglaise spécialement optimisée à Bard dans plus de 170 pays et territoires. L'entreprise affirme que cette mise à jour améliore le raisonnement, la planification et la compréhension. Selon une annonce de Bard , l'accès à Gemini Ultra sera proposé ultérieurement via une expérience Bard plus avancée, après une évaluation complémentaire.

Gemini Nano est conçu pour les appareils mobiles. la mise à jour Pixel , le Pixel 8 Pro utilise Nano pour des fonctionnalités telles que la synthèse vocale dans l'application Enregistreur et la réponse intelligente dans Gboard. L'exécution locale de certaines fonctions d'IA générative permet de réduire la latence, d'autoriser une utilisation hors ligne et de conserver certaines informations sur l'appareil au lieu de les envoyer à un centre de données distant.

Google avance des arguments de référence agressifs

L'élément le plus marquant de cette annonce est l'affirmation de Google selon laquelle Gemini Ultra établit de nouveaux résultats sur un large éventail de tests. L'entreprise indique qu'Ultra surpasse les performances de pointe actuelles sur 30 des 32 benchmarks utilisés pour les grands modèles de langage et les systèmes multimodaux. Elle annonce un score de 90 % sur MMLU, un benchmark couvrant 57 matières telles que les mathématiques, la physique, l'histoire, le droit, la médecine et l'éthique.

Ces résultats doivent être considérés comme des données de référence communiquées par l'entreprise et non comme des preuves issues d'une utilisation publique généralisée. Gemini Ultra n'est pas encore disponible pour le grand public, ce qui signifie que les développeurs et chercheurs externes ne peuvent pas reproduire indépendamment l'ensemble des affirmations lors d'un déploiement normal. Ars Technica a noté que Google affirme qu'Ultra surpasse les résultats associés à GPT-4 dans de nombreux tests, mais a également souligné que les comparaisons de performances entre modèles propriétaires peuvent être influencées par les instructions, les méthodes d'évaluation et l'accès au modèle.

Le Guardian a rapporté que Google affirme qu'Ultra a surpassé les systèmes concurrents dans 30 des 32 tests mis en avant. L'entreprise a également reconnu que les hallucinations — des réponses fausses ou non étayées générées avec assurance — demeurent un problème de recherche non résolu. Cette mise en garde est importante car la performance aux tests de performance ne supprime pas les limitations de fiabilité qui ont affecté tous les grands systèmes d'IA générative.

Ultra reste derrière une barrière de sécurité

Google ne déploie pas son modèle le plus puissant à grande échelle dès son lancement. L'entreprise explique que Gemini Ultra fait actuellement l'objet de tests externes menés par une équipe d'experts, d'évaluations de sécurité, d'optimisations et d'un apprentissage par renforcement basé sur les retours d'utilisateurs. Un accès anticipé sera proposé à certains clients, développeurs et experts avant une sortie plus large prévue début 2024.

Cette approche progressive témoigne de la surveillance accrue des systèmes d'IA de pointe. Le décret présidentiel signé en octobre par Joe Biden exige des développeurs de certains modèles très performants qu'ils fournissent au gouvernement fédéral des informations sur les tests de sécurité effectués dans des conditions spécifiques. Google affirme vouloir coopérer avec les efforts gouvernementaux en matière de sécurité et discute également d'une évaluation avec le nouvel Institut britannique de sécurité de l'IA.

Gemini Pro sera disponible pour les développeurs et les entreprises via Google AI Studio et Vertex AI à partir du 13 décembre, selon la société. Cette stratégie de distribution fait de Gemini non seulement une mise à jour des chatbots grand public, mais aussi une plateforme technologique conçue pour concurrencer les logiciels d'entreprise, le cloud computing et le développement d'applications.

Les enjeux concurrentiels s'étendent à l'ensemble du portefeuille de produits de Google

Google bénéficie d'atouts considérables pour le déploiement de son nouveau modèle de plateforme, grâce à son contrôle sur des services grand public largement utilisés : Android, Chrome, la Recherche et une importante plateforme cloud. L'entreprise indique que Gemini sera progressivement intégré à la Recherche, à la publicité, à Chrome et à d'autres produits. D'après les documents de lancement de Google, les premiers tests menés sur la Recherche ont permis de réduire la latence de son expérience de recherche générative.

Cette ampleur accroît également les enjeux. Microsoft a intégré la technologie d'OpenAI à Bing, GitHub et ses logiciels d'entreprise, tandis qu'OpenAI a constitué une vaste base d'utilisateurs directs grâce à ChatGPT. Google doit démontrer non seulement que Gemini fonctionne correctement lors de tests contrôlés, mais aussi qu'il peut améliorer les produits utilisés par des milliards de personnes sans engendrer de problèmes inacceptables de fiabilité, de confidentialité ou de sécurité.

Ce lancement initial instaure donc un test en deux étapes. Les Gemini Pro et Nano peuvent dès à présent recueillir des données concrètes grâce aux appareils Bard et Pixel. La Gemini Ultra, modèle sur lequel reposent les affirmations les plus optimistes de l'entreprise concernant ses performances, doit d'abord faire l'objet d'évaluations internes et externes supplémentaires.

L'annonce de Google fait de Gemini l'architecture d'IA centrale de l'entreprise pour l'avenir. Son impact sur l'équilibre concurrentiel dépendra moins d'un seul tableau de bord que des performances des trois modèles lorsqu'ils seront utilisés à grande échelle par les développeurs, les entreprises et les consommateurs. Ce processus a débuté cette semaine pour les modèles Pro et Nano ; les affirmations les plus importantes concernant le modèle Ultra restent à vérifier en dehors de Google.