11 minutes pour terminer l'entraînement GPT-3 ! Nvidia H100 balaie 8 tests de référence MLPerf, la prochaine génération de cartes graphiques sortira dans 25 ans
Introduction : Boss Huang a encore gagné ! Lors du dernier test de référence MLPerf, H100 a établi avec succès 8 records de test. Selon les médias étrangers, la prochaine génération de cartes graphiques grand public pourrait sortir en 2025.
Lors du dernier test de référence de formation MLPerf, le GPU H100 a établi de nouveaux records dans les huit tests !
Aujourd'hui, le NVIDIA H100 domine à peu près toutes les catégories et est le seul GPU utilisé dans le nouveau benchmark LLM.
Un cluster de 3 584 GPU H100 a réalisé un benchmark à grande échelle basé sur GPT-3 en seulement 11 minutes.
Le benchmark MLPerf LLM est basé sur le modèle GPT-3 d'OpenAI et contient 175 milliards de paramètres.
Lambda Labs estime que la formation d'un modèle aussi volumineux nécessite environ 3,14E23 FLOPS de calcul.
11 minutes pour entraîner GPT-3 à la formation du monstre
Le système le mieux classé sur les benchmarks LLM et BERT de traitement du langage naturel (NLP) a été développé conjointement par NVIDIA et Inflection AI.
Hébergé par CoreWeave, un fournisseur de services cloud spécialisé dans les charges de travail accélérées par GPU de niveau entreprise.
Le système combine 3 584 accélérateurs NVIDIA H100 avec 896 processeurs Intel Xeon Platinum 8462Y+.
Parce que Nvidia a introduit un nouveau moteur Transformer dans le H100, qui est spécialement conçu pour accélérer la formation et le raisonnement du modèle Transformer, augmentant la vitesse de formation de 6 fois.
Les performances que CoreWeave peut fournir à partir du cloud sont très proches de celles que Nvidia peut fournir à partir d'un supercalculateur IA fonctionnant dans un centre de données sur site.
C'est grâce à la mise en réseau à faible latence du réseau NVIDIA Quantum-2 InfiniBand utilisé par CoreWeave.
Alors que le nombre de GPU H100 impliqués dans la formation passe de centaines à plus de 3 000.
Une bonne optimisation permet à l'ensemble de la pile technologique d'atteindre une mise à l'échelle des performances quasi linéaire dans le test LLM exigeant.
Si le nombre de GPU est réduit de moitié, le temps d'entraînement du même modèle passe à 24 minutes.
Montrant que le potentiel d'efficacité du système global, à mesure que les GPU augmentent, est superlinéaire.
La raison principale est que Nvidia a pris en compte ce problème dès le début de la conception du GPU, en utilisant la technologie NVLink pour réaliser efficacement la communication entre les GPU.
Sur les 90 systèmes testés, 82 ont été accélérés à l'aide de GPU NVIDIA.
Efficacité de la formation sur une seule carte
Comparaison des temps de formation des clusters système
Les systèmes d'examen d'Intel utilisaient entre 64 et 96 processeurs Intel Xeon Platinum 8380 et entre 256 et 389 accélérateurs Intel Habana Gaudi2.
Cependant, Intel a soumis GPT-3 avec un temps de formation de 311 minutes.
Par rapport à Nvidia, les résultats sont un peu misérables.
Analyste : Nvidia a trop d'avantages
Les analystes du secteur estiment que l'avantage technique de Nvidia en matière de GPU est très évident.
En tant que fournisseur d'infrastructures d'IA, sa position dominante dans l'industrie se reflète également dans la rigidité de l'écosystème que Nvidia a construit au fil des ans.
La communauté IA est également très dépendante des logiciels de Nvidia.
Presque tous les frameworks d'IA sont basés sur les bibliothèques et les outils CUDA sous-jacents fournis par Nvidia.
Et il propose également des outils et des solutions d'IA complètes.
En plus de soutenir les développeurs d'IA, Nvidia continue d'investir dans des outils d'entreprise pour gérer les charges de travail et les modèles.
Dans un avenir prévisible, la position de leader de Nvidia dans l'industrie sera très stable.
Les analystes ont en outre souligné que les fonctions puissantes et l'efficacité du système NVIDIA pour la formation à l'IA dans le cloud, comme le montrent les résultats des tests MLPerf, sont le plus grand capital de la "guerre pour l'avenir" de NVIDIA.
GPU Ada Lovelace de nouvelle génération, sorti en 2025
Zhiye Liu, écrivain indépendant chez Tom's Hardware, a également récemment publié un article présentant des plans pour la prochaine génération de cartes graphiques Nvidia Ada Lovelace.
Il n'y a aucun doute sur la capacité du H100 à former de grands modèles.
Avec seulement 3584 H100, un modèle GPT-3 peut être formé en seulement 11 minutes.
Lors d'une récente conférence de presse, Nvidia a partagé une nouvelle feuille de route détaillant les produits de nouvelle génération, y compris le successeur des GPU Ada Lovelace de la série GeForce RTX 40, dont les premiers font partie des meilleures cartes graphiques de jeu disponibles aujourd'hui.
Selon la feuille de route, Nvidia prévoit de lancer la carte graphique "Ada Lovelace-Next" en 2025.
Si le schéma de nommage actuel se poursuit, la prochaine génération de produits GeForce devrait être répertoriée en tant que série GeForce RTX 50.
Selon les informations obtenues par l'organisation de hackers sud-américaine LAPSU$, Hopper Next s'appellerait probablement Blackwell.
Sur les cartes graphiques grand public, Nvidia maintient un rythme de mise à jour de deux ans.
Ils ont lancé Pascal en 2016, Turing en 2018, Ampère en 2020 et Ada Lovelace en 2022.
Si le successeur d'Ada Lovelace sera lancé en 2025 cette fois, Nvidia cassera sans doute le rythme habituel.
La récente explosion de l'IA a créé une énorme demande pour les GPU NVIDIA, qu'il s'agisse du dernier H100 ou de la génération précédente A100.
Selon des rapports, un grand fabricant a commandé des GPU Nvidia pour une valeur de 1 milliard de dollars cette année.
Malgré les restrictions à l'exportation, mon pays reste l'un des plus grands marchés de Nvidia au monde.
(On dit que sur le marché de l'électronique Huaqiangbei à Shenzhen, vous pouvez acheter un petit nombre de Nvidia A100 pour 20 000 $ chacun, soit le double du prix habituel.)
À cet égard, Nvidia a affiné certains produits d'IA et publié des SKU spécifiques tels que H100 ou A800 pour répondre aux exigences d'exportation.
Zhiye Liu a analysé cela.D'un autre point de vue, les réglementations à l'exportation sont en fait bénéfiques pour Nvidia, car cela signifie que les clients des fabricants de puces doivent acheter plus de variantes du GPU d'origine pour obtenir les mêmes performances.
Cela peut également comprendre pourquoi Nvidia donnera la priorité à la génération de GPU de calcul plutôt qu'à des GPU de jeu.
Des rapports récents indiquent que Nvidia a accéléré la production de GPU de qualité informatique.
Ne faisant pas face à une concurrence sérieuse de la pile de produits RDNA 3 d'AMD, Intel ne représente pas non plus une menace sérieuse pour le duopole GPU, de sorte que Nvidia peut caler du côté des consommateurs.
Plus récemment, Nvidia a étendu sa pile de produits GeForce RTX série 40 avec les GeForce RTX 4060 et GeForce RTX 4060 Ti.
Il y a un potentiel pour une GeForce RTX 4050, avec une RTX 4080 Ti ou une GeForce RTX 4090 Ti sur le dessus, etc.
S'il y est contraint, Nvidia peut également retirer un produit de l'ancienne version de Turing, mettre à jour Ada Lovelace, lui donner un traitement "Super" et élargir encore la gamme Ada.
Enfin, Zhiye Liu a déclaré qu'au moins cette année ou l'année prochaine, l'architecture Lovelace ne sera pas vraiment mise à jour.
Les références:
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
11 minutes pour terminer l'entraînement GPT-3 ! Nvidia H100 balaie 8 tests de référence MLPerf, la prochaine génération de cartes graphiques sortira dans 25 ans
**Source :**Xinzhiyuan
Introduction : Boss Huang a encore gagné ! Lors du dernier test de référence MLPerf, H100 a établi avec succès 8 records de test. Selon les médias étrangers, la prochaine génération de cartes graphiques grand public pourrait sortir en 2025.
Lors du dernier test de référence de formation MLPerf, le GPU H100 a établi de nouveaux records dans les huit tests !
Aujourd'hui, le NVIDIA H100 domine à peu près toutes les catégories et est le seul GPU utilisé dans le nouveau benchmark LLM.
Le benchmark MLPerf LLM est basé sur le modèle GPT-3 d'OpenAI et contient 175 milliards de paramètres.
Lambda Labs estime que la formation d'un modèle aussi volumineux nécessite environ 3,14E23 FLOPS de calcul.
11 minutes pour entraîner GPT-3 à la formation du monstre
Le système le mieux classé sur les benchmarks LLM et BERT de traitement du langage naturel (NLP) a été développé conjointement par NVIDIA et Inflection AI.
Hébergé par CoreWeave, un fournisseur de services cloud spécialisé dans les charges de travail accélérées par GPU de niveau entreprise.
Le système combine 3 584 accélérateurs NVIDIA H100 avec 896 processeurs Intel Xeon Platinum 8462Y+.
Les performances que CoreWeave peut fournir à partir du cloud sont très proches de celles que Nvidia peut fournir à partir d'un supercalculateur IA fonctionnant dans un centre de données sur site.
C'est grâce à la mise en réseau à faible latence du réseau NVIDIA Quantum-2 InfiniBand utilisé par CoreWeave.
Une bonne optimisation permet à l'ensemble de la pile technologique d'atteindre une mise à l'échelle des performances quasi linéaire dans le test LLM exigeant.
Si le nombre de GPU est réduit de moitié, le temps d'entraînement du même modèle passe à 24 minutes.
Montrant que le potentiel d'efficacité du système global, à mesure que les GPU augmentent, est superlinéaire.
La raison principale est que Nvidia a pris en compte ce problème dès le début de la conception du GPU, en utilisant la technologie NVLink pour réaliser efficacement la communication entre les GPU.
Les systèmes d'examen d'Intel utilisaient entre 64 et 96 processeurs Intel Xeon Platinum 8380 et entre 256 et 389 accélérateurs Intel Habana Gaudi2.
Cependant, Intel a soumis GPT-3 avec un temps de formation de 311 minutes.
Par rapport à Nvidia, les résultats sont un peu misérables.
Analyste : Nvidia a trop d'avantages
Les analystes du secteur estiment que l'avantage technique de Nvidia en matière de GPU est très évident.
En tant que fournisseur d'infrastructures d'IA, sa position dominante dans l'industrie se reflète également dans la rigidité de l'écosystème que Nvidia a construit au fil des ans.
La communauté IA est également très dépendante des logiciels de Nvidia.
Presque tous les frameworks d'IA sont basés sur les bibliothèques et les outils CUDA sous-jacents fournis par Nvidia.
En plus de soutenir les développeurs d'IA, Nvidia continue d'investir dans des outils d'entreprise pour gérer les charges de travail et les modèles.
Dans un avenir prévisible, la position de leader de Nvidia dans l'industrie sera très stable.
Les analystes ont en outre souligné que les fonctions puissantes et l'efficacité du système NVIDIA pour la formation à l'IA dans le cloud, comme le montrent les résultats des tests MLPerf, sont le plus grand capital de la "guerre pour l'avenir" de NVIDIA.
GPU Ada Lovelace de nouvelle génération, sorti en 2025
Zhiye Liu, écrivain indépendant chez Tom's Hardware, a également récemment publié un article présentant des plans pour la prochaine génération de cartes graphiques Nvidia Ada Lovelace.
Il n'y a aucun doute sur la capacité du H100 à former de grands modèles.
Avec seulement 3584 H100, un modèle GPT-3 peut être formé en seulement 11 minutes.
Lors d'une récente conférence de presse, Nvidia a partagé une nouvelle feuille de route détaillant les produits de nouvelle génération, y compris le successeur des GPU Ada Lovelace de la série GeForce RTX 40, dont les premiers font partie des meilleures cartes graphiques de jeu disponibles aujourd'hui.
Si le schéma de nommage actuel se poursuit, la prochaine génération de produits GeForce devrait être répertoriée en tant que série GeForce RTX 50.
Selon les informations obtenues par l'organisation de hackers sud-américaine LAPSU$, Hopper Next s'appellerait probablement Blackwell.
Sur les cartes graphiques grand public, Nvidia maintient un rythme de mise à jour de deux ans.
Ils ont lancé Pascal en 2016, Turing en 2018, Ampère en 2020 et Ada Lovelace en 2022.
Si le successeur d'Ada Lovelace sera lancé en 2025 cette fois, Nvidia cassera sans doute le rythme habituel.
Selon des rapports, un grand fabricant a commandé des GPU Nvidia pour une valeur de 1 milliard de dollars cette année.
Malgré les restrictions à l'exportation, mon pays reste l'un des plus grands marchés de Nvidia au monde.
(On dit que sur le marché de l'électronique Huaqiangbei à Shenzhen, vous pouvez acheter un petit nombre de Nvidia A100 pour 20 000 $ chacun, soit le double du prix habituel.)
À cet égard, Nvidia a affiné certains produits d'IA et publié des SKU spécifiques tels que H100 ou A800 pour répondre aux exigences d'exportation.
Cela peut également comprendre pourquoi Nvidia donnera la priorité à la génération de GPU de calcul plutôt qu'à des GPU de jeu.
Des rapports récents indiquent que Nvidia a accéléré la production de GPU de qualité informatique.
Ne faisant pas face à une concurrence sérieuse de la pile de produits RDNA 3 d'AMD, Intel ne représente pas non plus une menace sérieuse pour le duopole GPU, de sorte que Nvidia peut caler du côté des consommateurs.
Il y a un potentiel pour une GeForce RTX 4050, avec une RTX 4080 Ti ou une GeForce RTX 4090 Ti sur le dessus, etc.
S'il y est contraint, Nvidia peut également retirer un produit de l'ancienne version de Turing, mettre à jour Ada Lovelace, lui donner un traitement "Super" et élargir encore la gamme Ada.
Enfin, Zhiye Liu a déclaré qu'au moins cette année ou l'année prochaine, l'architecture Lovelace ne sera pas vraiment mise à jour.
Les références: