Introdução: O chefe Huang venceu novamente! No último teste de benchmark MLPerf, o H100 estabeleceu com sucesso 8 recordes de teste. De acordo com a mídia estrangeira, a próxima geração de placas gráficas de consumo pode ser lançada em 2025.
No último teste de benchmark de treinamento MLPerf, a GPU H100 estabeleceu novos recordes em todos os oito testes!
Hoje, a NVIDIA H100 domina praticamente todas as categorias e é a única GPU usada no novo benchmark LLM.
Um cluster de 3.584 GPUs H100 concluiu um benchmark em larga escala baseado em GPT-3 em apenas 11 minutos.
O benchmark MLPerf LLM é baseado no modelo GPT-3 da OpenAI e contém 175 bilhões de parâmetros.
O Lambda Labs estima que o treinamento de um modelo tão grande requer cerca de 3,14E23 FLOPS de computação.
11 minutos para treinar GPT-3 como o monstro é formado
O sistema de classificação mais alta nos benchmarks de processamento de linguagem natural (NLP) LLM e BERT foi desenvolvido em conjunto pela NVIDIA e pela Inflection AI.
Hospedado pela CoreWeave, um provedor de serviços em nuvem especializado em cargas de trabalho aceleradas por GPU de nível empresarial.
O sistema combina 3.584 aceleradores NVIDIA H100 com 896 processadores Intel Xeon Platinum 8462Y+.
Porque a Nvidia introduziu um novo mecanismo Transformer no H100, que é especialmente projetado para acelerar o treinamento e o raciocínio do modelo Transformer, aumentando a velocidade de treinamento em 6 vezes.
O desempenho que o CoreWeave pode oferecer a partir da nuvem é muito próximo ao que a Nvidia pode oferecer a partir de um supercomputador de IA executado em um data center local.
Isso se deve à rede de baixa latência da rede NVIDIA Quantum-2 InfiniBand usada pelo CoreWeave.
À medida que o número de GPUs H100 envolvidas no treinamento aumenta de centenas para mais de 3.000.
Uma boa otimização permite que toda a pilha de tecnologia alcance escala de desempenho quase linear no exigente teste LLM.
Se o número de GPUs for reduzido à metade, o tempo para treinar o mesmo modelo aumenta para 24 minutos.
Mostrando que o potencial de eficiência do sistema geral, à medida que as GPUs aumentam, é superlinear.
O principal motivo é que a Nvidia considerou esse problema desde o início do design da GPU, usando a tecnologia NVLink para realizar com eficiência a comunicação entre as GPUs.
Dos 90 sistemas testados, 82 foram acelerados usando GPUs NVIDIA.
Eficiência de treinamento de cartão único
Comparação do tempo de treinamento do cluster do sistema
Os sistemas de análise da Intel usaram de 64 a 96 processadores Intel Xeon Platinum 8380 e de 256 a 389 aceleradores Intel Habana Gaudi2.
No entanto, a Intel apresentou o GPT-3 com um tempo de treinamento de 311 minutos.
Comparado com a Nvidia, os resultados são um pouco miseráveis.
Analista: Nvidia tem muita vantagem
Analistas da indústria acreditam que a vantagem técnica da Nvidia em GPU é muito óbvia.
Como provedor de infraestrutura de IA, sua posição dominante no setor também se reflete na consistência do ecossistema que a Nvidia construiu ao longo dos anos.
A comunidade AI também é muito dependente do software da Nvidia.
Quase todas as estruturas de IA são baseadas nas bibliotecas e ferramentas CUDA subjacentes fornecidas pela Nvidia.
E também oferece ferramentas e soluções completas de IA.
Além de oferecer suporte aos desenvolvedores de IA, a Nvidia continua investindo em ferramentas de nível empresarial para gerenciar cargas de trabalho e modelos.
Num futuro previsível, a posição de liderança da Nvidia na indústria será muito estável.
Os analistas apontaram ainda que as poderosas funções e eficiência do sistema NVIDIA para treinamento de IA na nuvem, conforme mostrado nos resultados do teste MLPerf, são o maior capital da "guerra pelo futuro" da NVIDIA.
Próxima geração de GPU Ada Lovelace, lançada em 2025
Zhiye Liu, redator freelance da Tom's Hardware, também publicou recentemente um artigo apresentando planos para a próxima geração de placas gráficas Nvidia Ada Lovelace.
Não há dúvida sobre a capacidade do H100 de treinar modelos grandes.
Com apenas 3584 H100s, um modelo GPT-3 pode ser treinado em apenas 11 minutos.
Em uma coletiva de imprensa recente, a Nvidia compartilhou um novo roteiro detalhando os produtos da próxima geração, incluindo o sucessor das GPUs Ada Lovelace da série GeForce RTX 40, as primeiras das quais são algumas das melhores placas gráficas para jogos disponíveis atualmente.
De acordo com o roteiro, a Nvidia planeja lançar a placa de vídeo "Ada Lovelace-Next" em 2025.
Se o esquema de nomenclatura atual continuar, a próxima geração de produtos GeForce deve ser listada como a série GeForce RTX 50.
De acordo com as informações obtidas pela organização hacker sul-americana LAPSU$, é provável que Hopper Next se chame Blackwell.
Em placas gráficas de consumo, a Nvidia mantém um ritmo de atualização de dois anos.
Eles lançaram Pascal em 2016, Turing em 2018, Ampere em 2020 e Ada Lovelace em 2022.
Se o sucessor de Ada Lovelace for lançado em 2025 desta vez, a Nvidia sem dúvida quebrará o ritmo habitual.
A recente explosão de IA criou uma enorme demanda por GPUs NVIDIA, seja a mais recente H100 ou a geração anterior A100.
Segundo relatos, um grande fabricante encomendou GPUs Nvidia no valor de US$ 1 bilhão este ano.
Apesar das restrições de exportação, meu país continua sendo um dos maiores mercados da Nvidia no mundo.
(No mercado de eletrônicos Huaqiangbei em Shenzhen, diz-se, você pode comprar um pequeno número de Nvidia A100s por US$ 20.000 cada, o dobro do preço normal.)
Nesse sentido, a Nvidia ajustou alguns produtos de IA e lançou SKUs específicos, como H100 ou A800, para atender aos requisitos de exportação.
Zhiye Liu analisou isso.De outra perspectiva, os regulamentos de exportação são realmente benéficos para a Nvidia, porque significa que os clientes fabricantes de chips devem comprar mais variantes da GPU original para obter o mesmo desempenho.
Isso também pode entender por que a Nvidia dará prioridade à geração de GPUs de computação em vez de GPUs de jogos.
Relatórios recentes indicam que a Nvidia aumentou a produção de GPUs de nível computacional.
Não enfrentando concorrência séria da pilha de produtos RDNA 3 da AMD, nem a Intel representa uma ameaça séria ao duopólio de GPU, então a Nvidia pode parar no lado do consumidor.
Mais recentemente, a Nvidia expandiu sua pilha de produtos da série GeForce RTX 40 com a GeForce RTX 4060 e a GeForce RTX 4060 Ti.
Existe potencial para uma GeForce RTX 4050, junto com uma RTX 4080 Ti ou GeForce RTX 4090 Ti na parte superior, etc.
Se for forçada, a Nvidia também pode retirar um produto da versão antiga do Turing, atualizar Ada Lovelace, dar a ele um tratamento "Super" e expandir ainda mais a linha Ada.
Finalmente, Zhiye Liu disse que pelo menos neste ano ou no próximo ano, a arquitetura de Lovelace não será realmente atualizada.
Referências:
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
11 minutos para terminar o treino GPT-3! Nvidia H100 varre 8 testes de benchmark MLPerf, a próxima geração de placas gráficas será lançada em 25 anos
**Fonte:**Xinzhiyuan
Introdução: O chefe Huang venceu novamente! No último teste de benchmark MLPerf, o H100 estabeleceu com sucesso 8 recordes de teste. De acordo com a mídia estrangeira, a próxima geração de placas gráficas de consumo pode ser lançada em 2025.
No último teste de benchmark de treinamento MLPerf, a GPU H100 estabeleceu novos recordes em todos os oito testes!
Hoje, a NVIDIA H100 domina praticamente todas as categorias e é a única GPU usada no novo benchmark LLM.
O benchmark MLPerf LLM é baseado no modelo GPT-3 da OpenAI e contém 175 bilhões de parâmetros.
O Lambda Labs estima que o treinamento de um modelo tão grande requer cerca de 3,14E23 FLOPS de computação.
11 minutos para treinar GPT-3 como o monstro é formado
O sistema de classificação mais alta nos benchmarks de processamento de linguagem natural (NLP) LLM e BERT foi desenvolvido em conjunto pela NVIDIA e pela Inflection AI.
Hospedado pela CoreWeave, um provedor de serviços em nuvem especializado em cargas de trabalho aceleradas por GPU de nível empresarial.
O sistema combina 3.584 aceleradores NVIDIA H100 com 896 processadores Intel Xeon Platinum 8462Y+.
O desempenho que o CoreWeave pode oferecer a partir da nuvem é muito próximo ao que a Nvidia pode oferecer a partir de um supercomputador de IA executado em um data center local.
Isso se deve à rede de baixa latência da rede NVIDIA Quantum-2 InfiniBand usada pelo CoreWeave.
Uma boa otimização permite que toda a pilha de tecnologia alcance escala de desempenho quase linear no exigente teste LLM.
Se o número de GPUs for reduzido à metade, o tempo para treinar o mesmo modelo aumenta para 24 minutos.
Mostrando que o potencial de eficiência do sistema geral, à medida que as GPUs aumentam, é superlinear.
O principal motivo é que a Nvidia considerou esse problema desde o início do design da GPU, usando a tecnologia NVLink para realizar com eficiência a comunicação entre as GPUs.
Os sistemas de análise da Intel usaram de 64 a 96 processadores Intel Xeon Platinum 8380 e de 256 a 389 aceleradores Intel Habana Gaudi2.
No entanto, a Intel apresentou o GPT-3 com um tempo de treinamento de 311 minutos.
Comparado com a Nvidia, os resultados são um pouco miseráveis.
Analista: Nvidia tem muita vantagem
Analistas da indústria acreditam que a vantagem técnica da Nvidia em GPU é muito óbvia.
Como provedor de infraestrutura de IA, sua posição dominante no setor também se reflete na consistência do ecossistema que a Nvidia construiu ao longo dos anos.
A comunidade AI também é muito dependente do software da Nvidia.
Quase todas as estruturas de IA são baseadas nas bibliotecas e ferramentas CUDA subjacentes fornecidas pela Nvidia.
Além de oferecer suporte aos desenvolvedores de IA, a Nvidia continua investindo em ferramentas de nível empresarial para gerenciar cargas de trabalho e modelos.
Num futuro previsível, a posição de liderança da Nvidia na indústria será muito estável.
Os analistas apontaram ainda que as poderosas funções e eficiência do sistema NVIDIA para treinamento de IA na nuvem, conforme mostrado nos resultados do teste MLPerf, são o maior capital da "guerra pelo futuro" da NVIDIA.
Próxima geração de GPU Ada Lovelace, lançada em 2025
Zhiye Liu, redator freelance da Tom's Hardware, também publicou recentemente um artigo apresentando planos para a próxima geração de placas gráficas Nvidia Ada Lovelace.
Não há dúvida sobre a capacidade do H100 de treinar modelos grandes.
Com apenas 3584 H100s, um modelo GPT-3 pode ser treinado em apenas 11 minutos.
Em uma coletiva de imprensa recente, a Nvidia compartilhou um novo roteiro detalhando os produtos da próxima geração, incluindo o sucessor das GPUs Ada Lovelace da série GeForce RTX 40, as primeiras das quais são algumas das melhores placas gráficas para jogos disponíveis atualmente.
Se o esquema de nomenclatura atual continuar, a próxima geração de produtos GeForce deve ser listada como a série GeForce RTX 50.
De acordo com as informações obtidas pela organização hacker sul-americana LAPSU$, é provável que Hopper Next se chame Blackwell.
Em placas gráficas de consumo, a Nvidia mantém um ritmo de atualização de dois anos.
Eles lançaram Pascal em 2016, Turing em 2018, Ampere em 2020 e Ada Lovelace em 2022.
Se o sucessor de Ada Lovelace for lançado em 2025 desta vez, a Nvidia sem dúvida quebrará o ritmo habitual.
Segundo relatos, um grande fabricante encomendou GPUs Nvidia no valor de US$ 1 bilhão este ano.
Apesar das restrições de exportação, meu país continua sendo um dos maiores mercados da Nvidia no mundo.
(No mercado de eletrônicos Huaqiangbei em Shenzhen, diz-se, você pode comprar um pequeno número de Nvidia A100s por US$ 20.000 cada, o dobro do preço normal.)
Nesse sentido, a Nvidia ajustou alguns produtos de IA e lançou SKUs específicos, como H100 ou A800, para atender aos requisitos de exportação.
Isso também pode entender por que a Nvidia dará prioridade à geração de GPUs de computação em vez de GPUs de jogos.
Relatórios recentes indicam que a Nvidia aumentou a produção de GPUs de nível computacional.
Não enfrentando concorrência séria da pilha de produtos RDNA 3 da AMD, nem a Intel representa uma ameaça séria ao duopólio de GPU, então a Nvidia pode parar no lado do consumidor.
Existe potencial para uma GeForce RTX 4050, junto com uma RTX 4080 Ti ou GeForce RTX 4090 Ti na parte superior, etc.
Se for forçada, a Nvidia também pode retirar um produto da versão antiga do Turing, atualizar Ada Lovelace, dar a ele um tratamento "Super" e expandir ainda mais a linha Ada.
Finalmente, Zhiye Liu disse que pelo menos neste ano ou no próximo ano, a arquitetura de Lovelace não será realmente atualizada.
Referências: