Modal a annoncé lundi 19 octobre son intention d'intégrer le processeur central Vera de Nvidia à son service de sandbox d'IA, suite à des tests internes ayant démontré un débit de traitement jusqu'à deux fois supérieur à celui d'un système Intel comparable en cas de forte charge. Le rapport de l'entreprise décrit une extension de son infrastructure x86 existante, et non une conversion complète de l'ensemble de son parc informatique.
Cette découverte concerne les environnements informatiques où les agents d'IA exécutent des commandes, et non les modèles qui génèrent leurs réponses. Modal a constaté un avantage bien moins marqué lorsque les tâches s'exécutaient individuellement sur une machine par ailleurs inactive. Ses résultats confirment donc une affirmation spécifique concernant la gestion des charges de travail simultanées, et non une conclusion générale selon laquelle toute application d'IA s'exécutera deux fois plus vite.
Pourquoi les agents d'IA ont besoin de plus que des GPU
Les agents d'IA alternent entre la génération d'instructions et leur exécution. Dans son analyse d'architecture, Nvidia décrit le travail du processeur, qui comprend l'exécution de code, l'interrogation de bases de données, la récupération d'informations et le traitement des résultats d'outils. Ces opérations peuvent se situer sur le chemin critique entre les décisions d'un modèle. Des processeurs graphiques plus rapides ne suffisent pas, à eux seuls, à éliminer les délais des logiciels environnants.
Le défi pratique consiste à partager un serveur sans que l'activité d'un client n'impacte celle des autres. La documentation indique que ses environnements de test réservent une capacité de calcul minimale, mais peuvent utiliser les ressources disponibles au-delà de cette réservation. La facturation correspond à la valeur la plus élevée entre la capacité demandée et la consommation réelle. Ce système rend la marge de manœuvre utile, mais implique également que la prévisibilité du comportement en cas de forte demande est aussi importante que la vitesse sur un serveur inactif.
Ce que mesure réellement le référentiel
Modal a publié son code de test, appelé Agentless Agent Bench, rendant ainsi la méthodologie accessible à l'analyse. Le dépôt décrit 50 tâches issues de Terminal-Bench 2.1, exécutées à l'aide de solutions prédéfinies plutôt que d'attendre qu'un modèle de langage détermine la marche à suivre. Les opérations réseau sont exclues et les conteneurs sont préparés et initialisés avant chaque mesure. Une tâche est considérée comme terminée uniquement après la réussite de son étape de vérification.
Cette conception isole les performances du processeur hôte de plusieurs autres sources de latence. Elle mesure à la fois la latence des tâches séquentielles et le nombre d'exécutions vérifiées effectuées simultanément dans un intervalle fixe. Elle ne mesure pas la fiabilité avec laquelle un modèle d'IA choisit la bonne commande, le temps de réponse d'un service distant ni l'expérience complète du démarrage d'un nouvel environnement. Ces omissions relèvent de limitations méthodologiques et ne prouvent pas la disparition des latences exclues. Le dépôt propose également un test qui augmente le nombre de cœurs CPU disponibles tout en faisant varier le nombre de réplicas des tâches simultanées. Ainsi, le comportement de mise à l'échelle fait partie intégrante de la méthode publiée, au lieu de limiter l'évaluation à une seule exécution à faible charge.
La mémoire et la contestation façonnent le résultat
D'après les spécifications techniques, Vera combine 88 cœurs Olympus personnalisés, 176 threads matériels et une bande passante mémoire pouvant atteindre 1,2 téraoctet par seconde. Nvidia le propose à la fois comme processeur hôte pour le calcul accéléré et comme processeur autonome. Ces spécifications sont celles du fabricant ; elles ne garantissent pas un gain de performance uniforme pour tous les clients ou logiciels.
L'explication technique de Nvidia met l'accent sur les progrès constants obtenus lorsque de nombreuses tâches se disputent les ressources. Elle décrit une approche qui répartit les ressources entre deux cœurs matériels afin de réduire les interférences, ainsi qu'un sous-système mémoire conçu pour alimenter en données les cœurs actifs. Modal attribue ses meilleurs résultats sur serveur chargé à cette capacité à résister aux conflits. La distinction est importante : exécuter davantage de tâches sur un hôte occupé est différent de réduire de moitié le temps d'exécution de chaque tâche individuelle.
Les tests indépendants ont aussi leurs limites
antérieurs de Phoronix offrent une évaluation directe et indépendante de Vera, sans toutefois reproduire l'expérience de Modal. Le testeur Michael Larabel a testé du matériel de préproduction dans les locaux de Nvidia en mai et a rapporté d'excellents résultats pour les charges de travail sélectionnées. Ses déclarations expliquent également pourquoi cette évaluation ne peut pas répondre à toutes les questions concernant les systèmes de production ou les coûts d'exploitation. Les tests ont été effectués sous Ubuntu avec un noyau Linux modifié et une configuration de compilateur spécifique. Larabel n'a pas testé l'installation sur différentes distributions Linux, ce qui constitue une autre raison de distinguer une démonstration contrôlée réussie d'une validation de l'environnement logiciel de chaque client.
Nvidia a limité le périmètre des tests de performance autorisés et a demandé que la surveillance de la consommation et de la fréquence du processeur ne soit pas utilisée pendant la phase d'optimisation, écrit Larabel. Il précise que l'article n'est pas sponsorisé, mais les conditions de test restent contraignantes. Ni cette analyse ni le rapport de Modal ne fournissent un avantage général et indépendant en termes de coût par tâche pour tous les déploiements. Pour répondre à cette question, il est nécessaire de prendre en compte les performances et la consommation énergétique, le coût du matériel et la charge de travail réellement exécutée, et non pas seulement le débit.
Un plan de déploiement, pas un changement exclusif
Le PDG de Modal, Erik Bernhardsson, a déclaré à Reuters que l'entreprise conserverait des processeurs Intel et AMD au sein d'un parc mixte et concentrerait ses efforts sur le matériel le plus adapté. Il a également précisé que la comparaison portait sur des puces déjà disponibles, tandis que les nouveaux processeurs concurrents restaient à tester. Cette décision offre à Nvidia un nouveau client pour ses processeurs, sans pour autant impliquer la mise à l'écart des fournisseurs existants.
Modal indique que la prise en charge du processeur compatible Arm nécessite des modifications de son infrastructure et de son système de création d'images. L'entreprise a annoncé son intention de collaborer avec Nvidia et les fournisseurs de services cloud, mais ne précise pas de date de disponibilité générale. Le développement immédiat consiste en une extension matérielle planifiée, étayée par des résultats de tests publiés. L'impact sur les clients, notamment en termes de vitesse de service et de réduction des factures, reste à déterminer lors du déploiement.