Nvidia, SK Telecom et le concepteur de puces sud-coréen Rebellions ont signé lundi à Séoul un accord portant sur le développement et les tests d'un système d'intelligence artificielle utilisant deux types de puces pour répondre à une requête unique. Les processeurs graphiques de Nvidia se chargeraient du traitement initial de la requête, tandis qu'une puce en cours de développement par Rebellions générerait la réponse. SK Telecom prévoit de tester ce système combiné dans l'un de ses centres de données dédiés à l'IA.

Ce projet permettrait à Rebellions de tester son matériel au sein d'une baie Nvidia, tout en offrant à SK Telecom l'opportunité de vérifier si l'affectation de différentes tâches à différentes puces peut réduire les coûts ou améliorer l'efficacité des services d'IA. L' opérateur télécom a décrit un accord de développement et de validation. Les entreprises n'ont pas encore publié les résultats de performance du système combiné.

Ce que les entreprises ont convenu de construire

L'accord a été signé lors de l'événement AI Day de Nvidia à Séoul. Selon l' annonce de l'entreprise, le système permettrait de connecter le Rebel R200, une unité de traitement neuronal encore en développement, au matériel Nvidia via NVLink Fusion. Cette technologie permet aux concepteurs de puces d'intégrer leurs propres processeurs à l'infrastructure de racks de Nvidia. Le système proposé utiliserait l'architecture de rack MGX de Nvidia pour assembler les différents composants matériels.

Le rôle de SK Telecom est d'installer le système dans un centre de données dédié à l'IA et d'évaluer ses performances et sa stabilité avant de décider de son aptitude à être commercialisé. L' opérateur prévoit de tester une baie complète, où les puces et leurs interconnexions doivent fonctionner de concert. Nvidia indique que les systèmes Rebellions R200 devraient être prêts à être déployés en 2028. Il s'agit d'un objectif pour le matériel, et non d'une date de lancement confirmée pour un service de SK Telecom.

Pourquoi une seule réponse nécessite deux types de travail

L'inférence correspond au travail effectué par un modèle d'IA après son entraînement. Pour un modèle de langage, la première étape consiste à traiter la saisie de l'utilisateur et son contexte. Cette étape, appelée préremplissage, constitue un enregistrement de travail de la saisie. Le modèle utilise ensuite cet enregistrement lors du décodage, en générant un jeton à la fois. Les jetons peuvent être des mots ou des fragments de mots. La documentation technique du logiciel Dynamo de Nvidia explique pourquoi ces étapes imposent des exigences différentes à la machine.

Le traitement d'une longue requête peut nécessiter une puissance de calcul considérable. Lors du décodage, le modèle effectue des lectures répétées en mémoire pour générer la réponse. Les chercheurs de DistServe, qui ont étudié la séparation de ces étapes sur des systèmes GPU, ont constaté que leur répartition sur différents nœuds de calcul permet d'éviter que la lecture de nouvelles requêtes n'interrompe la génération des réponses en cours. Leurs expériences n'ont pas testé la puce Rebellions. Le projet de Séoul propose d'aller plus loin en assignant chaque phase à un type de processeur différent.

Ce qu'un test de centre de données pourrait établir

La gestion du transfert est aussi importante que la vitesse de chaque puce. Dans un système à processeurs séparés, la partie qui génère la réponse doit accéder à l'enregistrement de travail créé par la partie qui a lu l'instruction. Comme la documentation Nvidia , l'efficacité du transfert de cet enregistrement influe directement sur le bon fonctionnement du système. Si le transfert est trop long ou si les files d'attente logicielles fonctionnent de manière inégale, l'avantage d'utiliser un processeur séparé peut s'avérer moindre.

Un test pertinent consisterait à comparer le temps d'attente des utilisateurs pour la première partie d'une réponse, la vitesse d'affichage des autres réponses et le nombre de requêtes qu'un rack peut traiter tout en maintenant ces temps de réponse. L' étude DistServe a mesuré séparément le délai d'affichage du premier jeton et l'intervalle entre les jetons suivants, car ils reflètent différentes facettes de l'expérience utilisateur. Un système peut être performant sur les questions courtes et se comporter différemment lorsque de nombreuses requêtes longues arrivent simultanément. Des mesures de consommation énergétique pour l'ensemble du rack permettraient également de déterminer si les économies réalisées sur une puce compensent la charge de travail supplémentaire liée au transfert de données et à l'utilisation des deux ensembles de processeurs.

Pourquoi la Corée du Sud soutient ce projet

Le ministère sud-coréen des Sciences perçoit cette collaboration comme une opportunité pour les fabricants de puces nationaux de démontrer la compatibilité de leurs matériels avec une plateforme internationale, rapporte l'agence Yonhap. Le ministère a indiqué vouloir encourager d'autres développeurs sud-coréens à saisir des opportunités similaires. SK Telecom a inscrit ce projet dans une démarche plus large visant à intégrer les modèles et puces développés localement à sa capacité de calcul, notamment pour d'éventuels services publics et privés.

La conception prévoit l'intégration d'un processeur coréen au système, tout en conservant les GPU, les connectiques et la conception des racks de Nvidia. Cet accord permettra ainsi de tester la marge de manœuvre que les concepteurs de puces coréens peuvent optimiser au sein d'une plateforme existante. Le prochain critère de jugement sera la capacité de SK Telecom à exploiter le système prévu de manière fiable et à fournir une qualité de service équivalente à moindre coût ou avec une consommation d'énergie réduite. Pour l'instant, les entreprises ont annoncé la répartition des tâches ; cette annonce conjointe ne fournit aucune estimation des économies réalisées.