La « faucille » de NVIDIA n’est pas une puce d’IA

Source d’origine : Laboratoire à base de silicium

Auteur: Bai Jiajia

Source de l’image : Généré par Unbounded AI

NVIDIA a une fois de plus été mis sur le point de le faire, cette fois non pas à cause de ses performances en plein essor, mais à cause du « cœur différent » de l’intelligence artificielle telle que Microsoft, OpenAI et Google, qui la tenait dans la paume de la main.

Selon The Information, Microsoft prévoit de lancer sa première puce conçue pour l’intelligence artificielle lors de sa conférence annuelle des développeurs le mois prochain. La puce est conçue pour les serveurs de centre de données qui forment et exécutent des modèles de langage volumineux (LLM). OpenAI explore également la fabrication de ses propres puces d’IA. Les informations publiques montrent qu’OpenAI a investi dans au moins 3 sociétés de puces.

Le TPU de puce auto-développé par Google est itéré à la génération v5. Auparavant, les analystes ont annoncé que les ressources de puissance de calcul de Google sont supérieures à celles d’OpenAI, Meta, Amazon, Oracle et CoreWeave combinées, et son avantage provient d’un grand nombre de TPU.

**Pourquoi ces entreprises veulent fabriquer des cœurs, il y a eu de nombreuses analyses sur le marché, principalement parce que les prix des GPU de NVIDIA sont trop élevés et que la capacité de production est insuffisante. Grâce aux puces auto-développées, il devrait affaiblir le pouvoir de fixation des prix de NVIDIA dans le domaine des puces d’intelligence artificielle, tout en ayant plus d’autonomie stratégique que les entreprises sans puces auto-développées. **

Mais les puces auto-développées peuvent-elles vraiment forcer Nvidia à ralentir la faucille dans ses mains?

Un fait est que le GPU H100 sur le marché a atteint deux fois le prix d’origine et que la demande dépasse toujours l’offre. Même Google, qui a « lancé » ses puces auto-développées, achète toujours les puces de NVIDIA en grande quantité.

Pourquoi?

Parce que les ventes de GPU de NVIDIA sont si brillantes qu’elles sont souvent simplement définies comme une entreprise de matériel. Mais ce que beaucoup de gens ne savent pas, c’est que NVIDIA a plus d’ingénieurs logiciels que d’ingénieurs matériels.

Le sens de cette phrase est que le vrai fossé de NVIDIA ne vient jamais de l’émergence sans fin de nouvelles puces (bien sûr, c’est aussi remarquable), mais de l’écologie logicielle et matérielle. **

CUDA, d’autre part, est le premier remblai de ce fossé.

Le véritable as de NVIDIA - CUDA

En 2019, Jensen Huang, PDG de NVIDIA, l’a déclaré lors de la présentation de l’histoire du développement de l’entreprise au Milwaukee Institute of Technology.

« Application après application, domaine après domaine scientifique, de la dynamique moléculaire à la physique computationnelle, en passant par l’astrophysique, la physique des particules, la physique des hautes énergies, ces différents domaines scientifiques commencent à adopter notre technologie parce que c’est la meilleure solution pour aller de l’avant. » Et nous sommes profondément fiers de cette contribution. "

**Cette technologie dont NVIDIA est fière est CUDA. **

CUDA est une architecture de calcul parallèle lancée par NVIDIA, et c’est avec sa bénédiction que les GPU peuvent battre les processeurs et devenir la base de l’exécution du calcul Big Data aujourd’hui. Avec la même tâche en cours d’exécution, les GPU NVIDIA qui prennent en charge les systèmes CUDA sont 10 à 100 fois plus rapides que les CPU.

Pourquoi CUDA a-t-elle cette magie?

Les CPU et les GPU sont tous deux des processeurs informatiques capables d’effectuer des tâches de calcul, la différence est que les CPU sont meilleurs en calcul linéaire, tandis que les GPU sont meilleurs en calcul parallèle. Une analogie courante dans l’industrie est que le CPU est comme un professeur d’université, peut résoudre divers problèmes complexes indépendamment, mais pour procéder étape par étape, le GPU est comme un groupe d’élèves du primaire, la puissance de calcul monocœur n’est pas aussi bonne que le CPU, mais la victoire réside dans le grand nombre de cœurs, peut être calculé en même temps.

CUDA, quant à lui, est le bâton qui mobilise ce groupe d’élèves du primaire. ** Avec la médiation de CUDA, les chercheurs et les programmeurs peuvent parler aux installations matérielles via des langages de programmation pour transformer des problèmes mathématiques complexes en plusieurs petits problèmes simples qui sont distribués à plusieurs cœurs de calcul du GPU. **

Comme l’a dit Huang, CUDA est devenu « la meilleure solution pour le développement scientifique », et une énorme puissance de calcul est devenue le premier choix pour la construction de superordinateurs.

Le 11 octobre, le laboratoire national d’Oak Ridge relevant du département de l’Énergie des États-Unis a annoncé que le supercalculateur « Summit » qu’ils ont développé peut atteindre des opérations en virgule flottante de 2 milliards de fois par seconde, soit près de deux fois la vitesse du supercalculateur « Sunway Taihu Light ».

Ce géant de la puissance de calcul est équipé de près de 28 000 GPU NVIDIA. Le laboratoire national d’Oak Ridge est le premier institut à adopter le package « CUDA+GPU » de NVIDIA.

En fait, depuis que NVIDIA a lancé CUDA en 2006, tous les domaines impliqués dans l’informatique informatique ont presque été façonnés dans la forme de NVIDIA. 80% de la recherche en aérospatiale, en biosciences, en simulation mécanique et fluide et en exploration énergétique est menée sur la base de CUDA.

**De plus, poussé par l’engouement des grands modèles, l’échelle des collaborateurs écologiques de CUDA continue de doubler. **

Selon le rapport annuel FY2023 de NVIDIA, 4 millions de développeurs travaillent actuellement avec CUDA. NVIDIA a atteint 2 millions de développeurs en 12 ans, doublant ce nombre au cours des deux dernières années et demie, et CUDA a maintenant été téléchargé plus de 40 millions de fois.

Dans le même temps, NVIDIA continue d’étendre l’écosystème CUDA et a lancé une collection de bibliothèques d’accélération logicielle, CUDA-X AI. Construites sur CUDA, ces bibliothèques fournissent les capacités d’optimisation essentielles pour l’apprentissage profond, l’apprentissage automatique et le calcul haute performance, et sont des plates-formes de bout en bout pour l’accélération de la science des données.

L’écosystème CUDA est en plein essor, et le GPU qui le complète est devenu le premier choix des consommateurs, et NVIDIA a fait beaucoup d’argent. Cependant, face à un si gros morceau de gâteau, les concurrents ne peuvent naturellement pas se contenter de le regarder.

Par exemple, AMD a lancé la plate-forme écologique ROCm, qui est également compatible avec de nombreux frameworks informatiques; Triton d’OpenAI est considéré comme le challenger le plus fort de CUDA; OpenCL, une architecture open source conçue par Apple et maintenue plus tard par Khronos Group, s’appuie sur le succès de CUDA et prend en charge autant que possible les processeurs multicœurs, les GPU ou autres accélérateurs. Google utilise le modèle « TPU + TensorFlow + Cloud » pour attirer les développeurs et élargir les clients.

Mais ces concurrents « théoriques » ont exposé toutes sortes de problèmes dans la pratique.

En février, Dylan Patel, analyste principal de la société de recherche et de conseil en semi-conducteurs Semi Analysis, a écrit un article intitulé « Comment le monopole CUDA de Nvidia dans l’apprentissage automatique se brise - OpenAI Triton et PyTorch 2.0 ».

Dans le message de l’article, un programmeur a déclaré:

« Je l’espère, mais je suis très, très sceptique. Tout ce que j’utilise est construit sur CUDA. En fait, il n’y a pas de fonctionnalités sur le matériel non-NVidia. « Réellement efficace » n’est pas la même chose que « théoriquement efficace ». Beaucoup de choses que j’utilise soutiennent ROCm en théorie, mais en pratique, lorsque vous essayez de l’utiliser, vous obtenez de gros et de petits bugs et il plante ou ne fonctionne pas. "

** Les remarques des chercheurs de première ligne prouvent que devant NVIDIA, qui occupe la première place dans les logiciels et le matériel et cultive le marché depuis près de 20 ans, du moins à ce stade, aucune entreprise ne peut rivaliser avec elle de front. **

** NVIDIA Empire, né de « Reinventing the World"**

Pourquoi est-il arrivé que NVIDIA ait pincé l’atout de CUDA? Près de 18 ans se sont écoulés depuis le lancement de CUDA en 2006, pourquoi le fossé de NVIDIA n’a-t-il non seulement pas été violé, mais est-il devenu de plus en plus large?

Il y a une prémisse par défaut derrière ces questions – CUDA est la « bonne » direction. Et au début du 21ème siècle, alors que NVIDIA était désespéré, cette phrase Huang Jensen a répété aux actionnaires et au marché des milliers de fois. **

Si nous voulons un monde merveilleux, la première chose à faire est de le simuler. D’une certaine manière, l’idée est à l’origine de l’ère GPU, simulant ces lois complexes de la physique et les présentant sous forme d’images. Cependant, les applications qui simulent les lois de la physique ne tomberont pas du ciel et devront être développées une par une.

Par conséquent, même s’il a été démontré que la puissance de calcul des GPU est susceptible de dépasser les CPU à l’avenir, le manque d’applications, le processus de programmation est trop lourd et le manque de représentation des langages de bas niveau incite toujours les programmeurs à s’en éloigner.

En 2003, Intel a introduit un processeur à 4 cœurs et, afin de rivaliser, NVIDIA a commencé à développer une technologie d’architecture de périphérique informatique unifiée, ou CUDA.

L’idée a été proposée par le scientifique en chef, le Dr David Kirk, qui a ensuite convaincu Jensen Huang que tous les futurs GPU de NVIDIA doivent prendre en charge CUDA. En raison de son rôle important dans le domaine du calcul informatique haute performance, Kirk a ensuite été connu comme le « père de CUDA » et a été élu à la National Academy of Engineering.

** Ces éloges sont tous des postfaces, et le problème que Huang devait résoudre à ce moment-là était de savoir comment amener les actionnaires à accepter que le coût du produit devait doubler pour se battre pour un avenir où la période de récupération pourrait être supérieure à 10 ans. **

En fait, les doutes entourant CUDA ont persisté jusqu’à la veille de l’ère de l’IA, et la valeur marchande de NVIDIA a oscillé au niveau de 1 milliard de dollars pendant de nombreuses années, et le cours de l’action est même tombé à 1,50 dollar en raison de la traînée des coûts supplémentaires de CUDA. Les actionnaires ont exprimé à plusieurs reprises l’espoir qu’ils se concentreront sur l’amélioration de la rentabilité.

En 2010, Intel, le roi des processeurs à l’époque, prévoyait d’acquérir Nvidia. « Chip Wars » décrit: « Pour Intel, le prix [de l’acquisition de Nvidia] n’est pas un problème, la question est de savoir quelle position donner à Huang Jenxun. » Cependant, les deux parties ne sont jamais parvenues à un accord et, en fin de compte, il n’a pas été résolu. "

** Pendant toutes ces années de NVIDIA baissière, Huang n’a jamais remis en question la valeur de CUDA. **

Pour inciter les développeurs à écrire des applications et démontrer les avantages des GPU, Huang a d’abord utilisé les GPU GeForce, qui avaient déjà un grand marché pour les joueurs à l’époque, comme base pour installer CUDA. Ensuite, une conférence appelée GTC a été créée pour promouvoir inlassablement CUDA dans le monde entier.

L’un des cas les plus salués de ces dernières années est qu’en 2016, Huang Jenxun s’est personnellement rendu à OpenAI pour communiquer et a présenté un DGX-1 équipé de 8 puces P100, qui était le GPU de calcul à virgule flottante le plus puissant de NVIDIA à l’époque.

Cet incident est souvent interprété comme l’ancienne vision de Huang, mais pour lui, ce n’est qu’une autre tentative de s’assurer que CUDA est le cadre le plus habitué pour les chercheurs scientifiques de pointe.

Contrairement à la détermination de NVIDIA, c’est Intel.

En tant que roi de l’ère des processeurs, Intel aurait dû devenir le rival le plus compétitif de NVIDIA.

Cependant, après avoir annulé le plan graphique discret pour la convergence CPU et GPU en 2010, Intel a perdu tout intérêt à affronter NVIDIA (bien sûr, on peut dire qu’il a perdu confiance parce que le processus nano s’est enlisé). ** D’abord essayé d’acquérir NVIDIA, puis s’est retourné et a rivalisé avec Qualcomm sur le marché de la bande de base mobile, lorsque la première vague de boom de l’intelligence artificielle a balayé en 2015, Intel qui s’est réveillé avec un grand rêve a acquis une société de puces dans la direction de l’intelligence artificielle d’une main, et a incorporé la puce d’AMD dans sa propre puce système.

Malheureusement, à cette époque, la part de marché de NVIDIA dépassait 60%, le monopole CUDA avait commencé à prendre forme, et dans le domaine des GPU, Intel n’était plus qualifié pour s’asseoir à la même table que NVIDIA.

DPU et DOCA, le nouveau champ de bataille de NVIDIA

En 2020, il y avait une blague populaire dans le cercle du capital-risque.

« Qu’est-ce que DPU? »

« Alipay est arrivé, 100 millions de yuans. »

Dès que le mot-clé DPU est déclenché, l’argent va arriver.

Cette série de fièvre DPU est exactement ce que NVIDIA a déclenché.

Au premier semestre 2020, NVIDIA a acquis la société israélienne de puces réseau Mellanox Technologies pour 6,9 milliards de dollars et a lancé BlueField-2 DPU la même année, le définissant comme la « troisième puce principale » après les processeurs et les GPU.

**Alors, qu’est-ce qu’un DPU exactement ? **

**La fonction principale du DPU est de remplacer le processeur et d’établir une architecture informatique centrée sur les données. **

Comme nous le savons tous, le nom complet du processeur est l’unité centrale de traitement qui, en plus d’exécuter des applications et d’effectuer des calculs, joue également le rôle de contrôleur de flux de données, déplaçant des données entre les GPU, le stockage, les FPGA et autres périphériques.

Vous pouvez simplement comprendre qu’après que le directeur ait lancé un problème difficile, l’enseignant (CPU) le divise, et la partie la plus complexe est résolue par lui-même, et il est facile mais fastidieux de le distribuer aux élèves (GPU) à faire. Dans le passé, le nombre de questions était relativement faible et l’enseignant pouvait toujours le diviser. Cependant, à mesure que le nombre de questions augmente, le temps nécessaire pour diviser et distribuer les questions prend beaucoup de temps à l’enseignant.

À l’heure actuelle, l’embauche d’une personne spécialisée dans le fractionnement et la distribution de sujets est devenue la clé pour améliorer l’efficacité informatique globale du système. Et DPU est cette personne.

**Ces dernières années, avec la croissance rapide de la construction de centres de données, de la bande passante réseau et du volume de données, et le ralentissement de la croissance des performances des processeurs, il devient de plus en plus difficile de s’adapter aux besoins des futures puces informatiques, et les DPU ont émergé. **C’est ainsi qu’il est défini par le site Web de NVIDIA - le DPU est une plate-forme informatique avancée pour l’infrastructure du centre de données.

Tout comme le GPU est pris en charge par l’écosystème CUDA, Huang Jenxun a également adapté une écologie logicielle pour DPU et a lancé DOCA en même temps.

Avec DOCA, les développeurs peuvent programmer l’infrastructure future du centre de données en créant des services définis par logiciel, cloud natifs et accélérés par DPU, et prendre en charge la protection Zero Trust pour répondre aux exigences croissantes en matière de performances et de sécurité du centre de données moderne.

Contrairement à CUDA, NVIDIA, déjà couronnée de succès, n’a plus besoin de prouver minutieusement sa vision unique au marché, car la fièvre du DPU dans le cercle du capital-risque suffit à l’illustrer.

Cependant, parallèlement à cela, la concurrence sur le marché des DPU est beaucoup plus féroce que celle des GPU. **

Parmi les fabricants étrangers, Marvell, Intel et AMD ont développé des produits d’alignement DPU ou DPU. Un certain nombre de start-ups DPU ont également émergé en Chine, telles que Yunbao Intelligence, Zhongke Yushu, Xinqiyuan, Yunmai Xinlian, Nebulas Zhilian et Dayu Zhixin.

En termes de fournisseurs de cloud, AWS et Alibaba Cloud d’Amazon ont réalisé une architecture DPU commerciale à grande échelle, et Tencent et ByteDance ont rejoint l’armée de recherche et développement DPU, dont Tencent a lancé deux générations de DPU, Metasequoia et Yinshan.

Cette fois, NVIDIA peut-il s’appuyer sur l’écologie logicielle et matérielle de DPU+DOCA, pour reproduire le miracle du GPU + CUDA ?

**La concurrence pour la puissance de calcul entre les pays et les entreprises s’intensifie, et les opposants ne sont pas sans opportunités lorsque la capacité de production est limitée et que l’écosystème DOCA n’est pas encore formé. **