Google a dévoilé lundi deux systèmes de calcul d'IA, enrichissant ainsi sa huitième génération de processeurs internes. L'un est conçu pour protéger les informations sensibles pendant le traitement, tandis que l'autre permet de transférer davantage de données en mémoire. Les TPU 8tx et TPU 8i Max réutilisent des architectures de processeurs présentées par Google en avril. Selon Google Cloud.
L'annonce du 9 novembre permet aux clients de mieux comprendre les objectifs de Google concernant ses unités de traitement tensoriel (TPU). Ces deux systèmes mettent l'accent sur l'inférence, c'est-à-dire le travail effectué par un modèle après son entraînement lorsqu'il génère une réponse ou exécute une tâche. Ils élargissent les options que Google peut proposer à ses clients cloud, au-delà du matériel qu'il utilise depuis longtemps pour ses propres services, Reuters . L'annonce de Google ne mentionne ni les prix ni les dates de sortie précises de ces systèmes.
Protection des données lors d'une tâche d'IA
Le 8tx répond à un problème rencontré par les entreprises et les organismes gouvernementaux qui traitent des informations sensibles. Le chiffrement d'un fichier lors de son stockage ou de sa transmission sur un réseau ne suffit pas à lui seul à protéger son contenu pendant son traitement par un processeur. Google affirme que le 8tx ajoute des protections matérielles durant cette phase. Il associe la puce TPU 8t aux processeurs serveurs EPYC de cinquième génération d' AMD, qui prennent en charge des tâches telles que la préparation des données et la coordination des accélérateurs.
AMD indique que le système vérifie l'identité et la configuration de sécurité de l'accélérateur avant de lui autoriser l'accès à la mémoire protégée. L'entreprise précise que ce dispositif protège les invites, les pondérations des modèles et les données intermédiaires grâce au chiffrement dans la mémoire hôte et lors des transferts, avec une isolation matérielle pendant l'exécution de la charge de travail par l'accélérateur. Network World a rapporté que Google cible les organisations souhaitant exécuter des modèles sur des données propriétaires ou réglementées. Les clients devront néanmoins évaluer quelles parties de leurs applications sont concernées et si les protections mises en place répondent à leurs propres exigences de sécurité.
Le 8tx utilise également le réseau de Google pour transférer les informations entre les puces du TPU 8i. Google affirme que cette modification permet de réduire la latence de moitié par rapport au 8t. Il s'agit d'une comparaison entre deux systèmes Google. Elle ne permet pas de déterminer la vitesse d'exécution d'une application sur les appareils et les données propres au client.
Déplacer davantage d'informations à travers la mémoire
Le 8i Max s'attaque à un problème différent : l'acheminement rapide d'une quantité suffisante de données vers les processeurs. Un assistant de programmation travaillant sur une vaste collection de fichiers ou un système analysant des heures de vidéo peuvent avoir beaucoup plus d'éléments à traiter qu'un simple chatbot. Lorsque plusieurs tâches s'exécutent simultanément, elles se disputent la mémoire nécessaire au stockage de ces données et la bande passante requise pour leur transmission. Google a intégré deux puces TPU 8i dans un seul boîtier afin d'offrir au système une puissance de calcul accrue et une capacité de transfert de données plus importante.
de Google d'avril indiquaient que le TPU 8i d'origine disposait de 288 gigaoctets de mémoire à large bande passante et d'une bande passante mémoire d'environ 8,6 téraoctets par seconde. TechTarget a rapporté que le 8i Max pouvait atteindre 17,2 téraoctets par seconde avec cette même mémoire, soit environ le double. Network World a quant à lui fait état de 384 gigaoctets de mémoire à large bande passante, soit une augmentation d'environ un tiers. En d'autres termes, le système plus grand peut théoriquement transférer des données deux fois plus vite, tandis que sa capacité de stockage augmente proportionnellement moins. Cependant, ces chiffres, pris isolément, ne permettent pas de déterminer le gain de vitesse de réponse réel du modèle.
Le logiciel influence également le résultat
Google lance TPU Sync, un outil facilitant la gestion des données de travail réparties entre la mémoire de la puce, la mémoire du serveur et le stockage partagé. Par exemple, un modèle conserve l'historique des premières étapes d'une conversation ou d'une tâche, ce qui lui permet de s'y référer sans avoir à refaire les mêmes calculs. Network World , ce logiciel peut déplacer les données de travail hors de la puce lorsqu'un système d'IA est mis en pause, puis les restaurer à la reprise de la tâche, libérant ainsi de la mémoire pour d'autres opérations.
Ce logiciel s'inscrit dans la stratégie globale de Google, qui encourage les clients à évaluer le système dans son ensemble. Un processeur peut être amené à attendre de la mémoire, une autre puce ou une instruction d'une application. La vitesse d'une puce individuelle ne donne qu'une vision partielle du système. Pour une tâche de longue durée, une comparaison pertinente consiste à mesurer la quantité de travail accomplie par chaque système, la rapidité avec laquelle il fournit un résultat exploitable et le coût d'exécution de cette même charge de travail.
Ce que les clients doivent encore savoir
Cette annonce enrichit une gamme de deux options, comprenant déjà un système dédié à l'entraînement de grands modèles et un autre conçu pour l'inférence rapide. Elle offre également à Google Cloud un nouvel argument pour séduire les entreprises qui, autrement, privilégieraient des systèmes basés sur des processeurs graphiques, comme Reuters . Les deux nouveaux systèmes répondent à des besoins différents ; leur nom seul ne permet donc pas aux acheteurs de déterminer lequel est le plus adapté.
TechTarget , Google n'a pas communiqué de date de disponibilité ni de prix précis pour ces deux systèmes. Faute d'informations à ce sujet et de tests comparables sur des charges de travail réelles, les acheteurs ne peuvent pas encore évaluer le coût de la bande passante mémoire supplémentaire ni l'impact de l'isolation matérielle sur les modèles qu'ils souhaitent utiliser. L'annonce de lundi explique la finalité de la conception de ces systèmes par Google ; le prochain test consistera à déterminer comment les clients pourront les exploiter.