Meta a lancé jeudi les premiers modèles de sa famille Llama 3, avec des versions à 8 et 70 milliards de paramètres entraînées sur plus de 15 000 milliards de jetons. Ces modèles s'inscrivent d'emblée dans l'une des compétitions les plus dynamiques du secteur technologique : la course à la démocratisation de l'intelligence artificielle générative (IAG) auprès des développeurs et des consommateurs. le communiqué technique , les deux premiers modèles sont disponibles pré-entraînés et optimisés, tandis qu'un modèle beaucoup plus vaste, comptant plus de 400 milliards de paramètres, est encore en cours d'entraînement.
Cette sortie est importante car Meta poursuit simultanément deux stratégies de distribution. Llama 3 est mis à la disposition des développeurs sous sa licence communautaire, tout en étant intégré à un assistant IA Meta plus performant, disponible sur Facebook, Instagram, WhatsApp, Messenger et via une application web dédiée. L'annonce de Meta, datée du 18 avril, indique que l'assistant s'étend désormais au-delà des États-Unis pour atteindre plus d'une douzaine de pays, intégrant ainsi Llama 3 aux produits grand public utilisés par des milliards de personnes.
Deux tailles de modèles, un ensemble d'entraînement beaucoup plus grand
La première version de Llama 3 comprend les modèles 8B et 70B, chacun proposé en versions de base et optimisée. La fiche technique du modèle 8B décrit un transformateur autorégressif entraîné sur un nouveau mélange de données publiques en ligne, avec un contexte de 8 000 jetons et plus de 15 000 milliards de jetons de pré-entraînement. Le modèle 70B utilise la même architecture générale, avec un ajustement supervisé et un apprentissage par renforcement à partir de retours humains appliqués à la version optimisée.
Meta affirme que le corpus de pré-entraînement est plus de sept fois plus important que celui utilisé pour Llama 2 et contient quatre fois plus de code. L'entreprise a également introduit un tokenizer doté d'un vocabulaire de 128 000 tokens, conçu pour encoder le langage plus efficacement, et a entraîné les modèles sur deux clusters de 24 000 GPU conçus sur mesure. Ces choix d'ingénierie sont essentiels, car la qualité d'un modèle dépend non seulement du nombre de paramètres, mais aussi du volume et de la composition des données d'entraînement, de la tokenisation, des méthodes de post-entraînement et de l'infrastructure disponible pour mener des expériences à grande échelle.
Les partenaires de distribution indépendants ont réagi rapidement. Selon la note de lancement de Hugging Face, les quatre variantes principales (deux modèles de base et deux modèles optimisés pour les instructions) étaient disponibles via sa plateforme dédiée dès le jour de la sortie, ainsi que Llama Guard 2. De même, Amazon Web Services a rendu Llama 3 disponible via SageMaker JumpStart le 18 avril, une annonce AWS précisant sa disponibilité initiale aux États-Unis, en Europe et en Asie.
Meta transforme son assistant IA en moteur de distribution
La stratégie marketing auprès des consommateurs est peut-être aussi importante que le lancement du produit lui-même. Meta AI est directement intégrée aux champs de recherche, aux discussions et aux flux des principales applications de l'entreprise. Les utilisateurs peuvent ainsi activer l'assistant sans quitter WhatsApp ou Messenger, poser des questions tout en naviguant sur Facebook ou Instagram, et générer des images grâce à la fonctionnalité Imagine de Meta. L'entreprise lance également un site web dédié à Meta AI, lui offrant une interface directe plus comparable aux assistants vocaux autonomes proposés par d'autres sociétés spécialisées en IA.
Cette distribution confère à Meta un avantage indéniable : nul besoin de convaincre les utilisateurs d’installer une nouvelle application pour leur présenter le modèle. Llama 3 peut ainsi s’intégrer aux services qu’ils utilisent déjà. Meta précise que l’assistant fournira des informations en temps réel issues du web et sera initialement disponible en anglais sur plusieurs marchés, dont l’Australie, le Canada, le Ghana, la Jamaïque, le Malawi, la Nouvelle-Zélande, le Nigeria, le Pakistan, Singapour, l’Afrique du Sud, l’Ouganda, la Zambie et le Zimbabwe.
Cette approche crée également une boucle de rétroaction entre les stratégies de Meta destinées aux développeurs et aux consommateurs. Les développeurs peuvent adapter les modèles sous-jacents à leurs propres applications, tandis que Meta peut exploiter la même famille de modèles à une échelle très large. Cela contraste avec une stratégie de modèles purement propriétaires où l'accès est principalement limité à l'application ou à l'API du fournisseur.
Les outils de sécurité font partie du package de livraison
Meta associe les nouveaux modèles à des outils de sécurité supplémentaires. Sa description de la version responsable détaille les mesures prises avant le lancement et met l'accent sur les ressources destinées aux développeurs afin de réduire les utilisations non sécurisées. La version technique Llama 3 introduit Llama Guard 2, Code Shield et CyberSec Eval 2, des outils conçus respectivement pour classifier les contenus dangereux, identifier le code non sécurisé et évaluer les risques de cybersécurité.
Les fiches techniques de l'entreprise décrivent également les limitations dont les développeurs doivent tenir compte. La version d'avril est principalement conçue pour les textes en anglais, et les modèles ont des limites de connaissances fixes : mars 2023 pour la version 8B et décembre 2023 pour la version 70B. Comme d'autres modèles de langage de grande envergure, ils peuvent produire des résultats incorrects ou trompeurs, et il incombe aux développeurs en aval de tester leur comportement dans les environnements spécifiques où ils les déploient.
Le modèle de licence est large, mais non sans restrictions. La licence communautaire Llama 3 de Meta autorise l'utilisation commerciale et de recherche sous certaines conditions, tout en imposant des exigences supplémentaires aux très grandes plateformes et en interdisant les utilisations qui contreviennent à la politique d'utilisation acceptable de l'entreprise. Cette structure s'inscrit dans la volonté de Meta de rendre Llama largement accessible sans pour autant placer les poids dans le domaine public.
La question concurrentielle se déplace de l'accès à la performance
Meta affirme d'emblée que ses versions optimisées pour les instructions sont compétitives avec les principaux modèles open source disponibles sur les benchmarks courants de raisonnement, de codage et de suivi d'instructions. Les résultats des benchmarks sont utiles, mais ne constituent qu'un indicateur partiel des performances réelles, notamment parce que les systèmes pratiques dépendent de la récupération des données, de l'aide à la saisie, du réglage fin, de la latence, du coût et des contrôles de sécurité, en plus des scores du modèle.
Néanmoins, la disponibilité et la distribution des modèles modifient le paysage concurrentiel. Les développeurs peuvent télécharger ou déployer Llama 3 via plusieurs fournisseurs d'infrastructure au lieu de dépendre d'une seule API hébergée. La prise en charge de SageMaker par AWS le jour même et l'intégration de Hugging Face au lancement réduisent le travail opérationnel nécessaire pour tester les modèles. Meta annonce une disponibilité accrue prévue via Microsoft Azure, Google Cloud, Databricks, IBM Watson X, NVIDIA NIM, Snowflake et d'autres partenaires.
La question principale est de savoir ce qui suivra les versions 8B et 70B. Meta indique qu'un modèle dépassant les 400 milliards de paramètres est toujours en cours d'entraînement et que la première version de Llama 3 n'est que le début. Samedi, les progrès étaient déjà considérables : Meta a publié deux nouvelles tailles de modèle, les a ouvertes à un large écosystème de développeurs et a simultanément intégré Llama 3 à un assistant IA embarqué sur ses plateformes grand public. La prochaine étape permettra de vérifier si cette combinaison de distribution ouverte, de déploiement à grande échelle et d'itération rapide du modèle peut se traduire par un avantage durable en IA générative.