A "foice" da NVIDIA não é um chip de IA

Fonte original: Laboratório à base de silício

Autor: Bai Jiajia

Fonte da imagem: Gerado por Unbounded AI

A NVIDIA foi mais uma vez colocada na cúspide, desta vez não por causa de seu desempenho crescente, mas por causa do "coração diferente" da inteligência artificial, como Microsoft, OpenAI e Google, que a seguraram na palma da mão.

De acordo com o The Information, a Microsoft planeja lançar seu primeiro chip projetado para inteligência artificial em sua conferência anual de desenvolvedores no próximo mês. O chip é projetado para servidores de data center que treinam e executam grandes modelos de linguagem (LLMs). A OpenAI também está explorando a criação de seus próprios chips de IA. Informações públicas mostram que a OpenAI investiu em pelo menos 3 empresas de chips.

O chip TPU auto-desenvolvido do Google é iterado para a geração v5. Anteriormente, os analistas deram a notícia de que os recursos de poder de computação do Google são mais do que OpenAI, Meta, Amazon, Oracle e CoreWeave combinados, e sua vantagem vem de ter um grande número de TPUs.

**Por que essas empresas querem fazer núcleos, tem havido muitas análises no mercado, principalmente porque os preços da GPU da NVIDIA são muito altos e a capacidade de produção é insuficiente. Através de chips autodesenvolvidos, espera-se enfraquecer o poder de precificação da NVIDIA no campo dos chips de inteligência artificial e, ao mesmo tempo, ter mais autonomia estratégica do que empresas sem chips autodesenvolvidos. **

Mas será que os chips autodesenvolvidos podem realmente forçar a Nvidia a desacelerar a foice em suas mãos?

Um fato é que a GPU H100 no mercado subiu para o dobro do preço original, e a demanda ainda excede a oferta. Mesmo o Google, que "lançou" seus chips autodesenvolvidos, ainda está comprando chips da NVIDIA em grandes quantidades.

Porquê?

Porque as vendas de GPUs da NVIDIA são tão brilhantes que muitas vezes são simplesmente definidas como uma empresa de hardware. Mas o que muitas pessoas não sabem é que a NVIDIA tem mais engenheiros de software do que engenheiros de hardware.

O significado por trás desta frase é que o verdadeiro fosso da NVIDIA nunca vem do surgimento interminável de novos chips (claro, isso também é notável), mas da ecologia de software e hardware. **

CUDA, por outro lado, é o primeiro aterro deste fosso.

O verdadeiro ás da NVIDIA - CUDA

Em 2019, o CEO da NVIDIA, Jensen Huang, disse isso ao apresentar a história do desenvolvimento corporativo no Milwaukee Institute of Technology.

"Aplicação após aplicação, campo após campo científico, desde dinâmica molecular, física computacional, astrofísica, física de partículas, física de altas energias, esses diferentes campos científicos estão começando a adotar nossa tecnologia porque é a melhor solução daqui para frente." E estamos profundamente orgulhosos desta contribuição. "

**Esta tecnologia da qual a NVIDIA se orgulha é a CUDA. **

CUDA é uma arquitetura de computação paralela lançada pela NVIDIA, e é com sua bênção que as GPUs podem vencer as CPUs e se tornar a base para executar a computação de big data hoje. Com a mesma tarefa em execução, as GPUs NVIDIA que suportam sistemas CUDA são 10 a 100 vezes mais rápidas do que as CPUs.

Porque é que o CUDA tem esta magia?

CPUs e GPUs são processadores de computador que podem executar tarefas computacionais, a diferença é que as CPUs são melhores em computação linear, enquanto GPUs são melhores em computação paralela. Uma analogia comum na indústria é que a CPU é como um professor universitário, pode resolver vários problemas complexos de forma independente, mas para prosseguir passo a passo, a GPU é como um grupo de alunos do ensino fundamental, o poder de computação single-core não é tão bom quanto a CPU, mas a vitória está no grande número de núcleos, pode ser calculado ao mesmo tempo.

O CUDA, por outro lado, é a batuta que mobiliza este grupo de alunos do ensino básico. ** Com a mediação do CUDA, pesquisadores e programadores podem conversar com instalações de hardware através de linguagens de programação para transformar problemas matemáticos complexos em vários pequenos problemas simples que são distribuídos para vários núcleos de computação da GPU. **

Como Huang disse, CUDA tornou-se "a melhor solução para o desenvolvimento científico", e enorme poder de computação tornou-se a primeira escolha para a construção de supercomputadores.

Em 11 de outubro, o Laboratório Nacional de Oak Ridge sob o Departamento de Energia dos EUA anunciou que o supercomputador "Summit" que eles desenvolveram pode atingir o pico de operações de ponto flutuante de 2 bilhões de vezes por segundo, quase o dobro da velocidade do supercomputador "Sunway Taihu Light".

Este gigante de poder de computação está equipado com quase 28.000 GPUs NVIDIA. O Oak Ridge National Laboratory é o primeiro instituto a adotar o pacote "CUDA+GPU" da NVIDIA.

Na verdade, desde que a NVIDIA lançou o CUDA em 2006, todos os campos envolvidos na computação de computadores foram quase moldados na forma da NVIDIA. 80% da investigação em aeroespacial, investigação em biociências, simulação mecânica e de fluidos e exploração de energia é conduzida com base no CUDA.

**Além disso, impulsionada pela mania dos grandes modelos, a escala dos colaboradores ecológicos CUDA ainda está dobrando. **

De acordo com o relatório anual FY2023 da NVIDIA, 4 milhões de desenvolvedores estão atualmente trabalhando com o CUDA. A NVIDIA atingiu 2 milhões de desenvolvedores em 12 anos, dobrando esse número nos últimos dois anos e meio, e o CUDA já foi baixado mais de 40 milhões de vezes.

Ao mesmo tempo, a NVIDIA ainda está expandindo o ecossistema CUDA e lançou uma coleção de bibliotecas de aceleração de software, CUDA-X AI. Construídas com base no CUDA, essas bibliotecas fornecem os recursos de otimização essenciais para aprendizado profundo, aprendizado de máquina e computação de alto desempenho, e são plataformas de ponta a ponta para aceleração da ciência de dados.

O ecossistema CUDA está crescendo, e a GPU que o complementa se tornou a primeira escolha para os consumidores, e a NVIDIA ganhou muito dinheiro. No entanto, perante um pedaço de bolo tão grande, os concorrentes não podem, naturalmente, olhar apenas para ele.

Por exemplo, a AMD lançou a plataforma ecológica ROCm, que também é compatível com muitas estruturas de computação; O Triton da OpenAI é considerado o desafiante mais forte da CUDA; OpenCL, uma arquitetura de código aberto projetada pela Apple e mais tarde mantida pelo Khronos Group, baseia-se no sucesso do CUDA e suporta CPUs, GPUs ou outros aceleradores multi-core tanto quanto possível. O Google usa o modelo "TPU+TensorFlow + Cloud" para atrair desenvolvedores e expandir clientes.

Mas estes concorrentes "teóricos" expuseram todos os tipos de problemas na prática.

Em fevereiro, Dylan Patel, analista principal da empresa de pesquisa e consultoria de semicondutores Semi Analysis, escreveu um artigo intitulado "How Nvidia's CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0".

Na mensagem do artigo, um programador disse:

"Espero que sim, mas sou muito, muito cético. Tudo o que eu uso é construído em CUDA. Na verdade, não há recursos em hardware não-NVidia. «Realmente eficaz» não é o mesmo que «teoricamente eficaz». Muitas das coisas que eu uso suportam ROCm na teoria, mas na prática, quando você tenta usá-lo, você recebe bugs grandes e pequenos e ele falha ou não funciona. "

** As observações dos pesquisadores da linha de frente provam que, diante da NVIDIA, que detém a primeira posição em software e hardware e cultivou o mercado por quase 20 anos, pelo menos nesta fase, nenhuma empresa pode competir com ela de frente. **

** NVIDIA Empire, nascido de "Reinventing the World"**

Por que aconteceu que a NVIDIA beliscou o trunfo do CUDA? Quase 18 anos se passaram desde que o CUDA foi lançado em 2006, por que o fosso da NVIDIA não só não foi rompido, como se tornou cada vez mais amplo?

Há uma premissa padrão por trás dessas perguntas – CUDA é a direção "certa". E no início do século 21, quando a NVIDIA estava desesperada, essa frase Huang Jensen repetiu aos acionistas e ao mercado milhares de vezes. **

Se queremos um mundo maravilhoso, a primeira coisa a fazer é simulá-lo. De certa forma, a ideia é a origem da era das GPUs, simulando essas leis complexas da física e apresentando-as na forma de imagens. No entanto, aplicações que simulam as leis da física não cairão do céu, e precisará ser desenvolvido um a um.

Portanto, mesmo que o poder de computação das GPUs tenha se mostrado provável para superar as CPUs no futuro, a falta de aplicativos, o processo de programação é muito complicado e a falta de representação de linguagem de baixo nível ainda faz com que os programadores fiquem longe dele.

Em 2003, a Intel introduziu uma CPU de 4 núcleos e, para competir, a NVIDIA começou a desenvolver uma tecnologia de arquitetura de dispositivo de computação unificada, ou CUDA.

A ideia foi proposta pelo cientista-chefe Dr. David Kirk, que mais tarde convenceu Jensen Huang de que todas as futuras GPUs da NVIDIA devem suportar CUDA. Devido ao seu importante papel no campo da computação de alto desempenho, Kirk foi mais tarde conhecido como o "pai da CUDA" e foi eleito para a Academia Nacional de Engenharia.

**Esses elogios são todos palavras posteriores, e o problema que Huang precisava resolver naquele momento era como fazer com que os acionistas aceitassem que o custo do produto precisava dobrar para lutar por um futuro onde o período de retorno poderia ser de mais de 10 anos. **

Na verdade, as dúvidas em torno da CUDA continuaram até a véspera da era da IA, e o valor de mercado da NVIDIA pairou no nível de US $ 1 bilhão por muitos anos, e o preço das ações até caiu para US $ 1,50 devido ao arrasto dos custos adicionais da CUDA. Os acionistas têm repetidamente levantado a esperança de que se concentrem na melhoria da rentabilidade.

Em 2010, havia rumores de que a Intel, o rei das CPUs na época, estaria planejando adquirir a Nvidia. "Chip Wars" descreve: "Para a Intel, o preço [da aquisição da Nvidia] não é um problema, a questão é qual posição dar a Huang Jenxun." No entanto, as duas partes nunca chegaram a um acordo e, no final, não foi resolvido. "

**Em todos esses anos de baixa da NVIDIA, Huang nunca questionou o valor da CUDA. **

Para atrair os desenvolvedores a escrever aplicativos e demonstrar os benefícios das GPUs, Huang primeiro usou GPUs GeForce, que já tinham um grande mercado para jogadores na época, como base para instalar o CUDA. Em seguida, uma conferência chamada GTC foi criada para promover incansavelmente o CUDA em todo o mundo.

Um dos casos mais elogiados nos últimos anos é que, em 2016, Huang Jenxun foi pessoalmente ao então estabelecido OpenAI para se comunicar e apresentou um DGX-1 equipado com 8 chips P100, que era a GPU de computação de ponto flutuante mais poderosa da NVIDIA na época.

Este incidente é muitas vezes interpretado como a visão antiga de Huang, mas para ele, é apenas mais uma tentativa de garantir que o CUDA seja a estrutura mais acostumada para pesquisadores científicos de ponta.

Em contraste com a determinação da NVIDIA, é a Intel.

Como o rei da era da CPU, a Intel deveria ter se tornado a rival mais competitiva da NVIDIA.

No entanto, depois de cancelar o plano gráfico discreto para convergência de CPU e GPU em 2010, a Intel perdeu o interesse em bater de frente com a NVIDIA (claro, pode-se dizer que perdeu a confiança porque o processo nano parou). ** Primeiro tentou adquirir a NVIDIA, e depois deu a volta por cima e competiu com a Qualcomm no mercado de banda base móvel, quando a primeira onda de boom de inteligência artificial varreu em 2015, a Intel que acordou com um grande sonho adquiriu uma empresa de chips na direção da inteligência artificial com uma mão, e incorporou o chip da AMD em seu próprio chip de sistema.

Infelizmente, naquela época, a quota de mercado da NVIDIA ultrapassava os 60%, o monopólio CUDA tinha começado a tomar forma, e no campo das GPUs, a Intel já não estava qualificada para se sentar à mesma mesa com a NVIDIA.

DPU e DOCA, o novo campo de batalha da NVIDIA

Em 2020, houve uma piada popular no círculo do capital de risco.

"O que é DPU?"

"Alipay chegou, 100 milhões de yuans."

Assim que a palavra-chave DPU for acionada, o dinheiro vai rolar.

Esta rodada de febre DPU é exatamente o que a NVIDIA desencadeou.

No primeiro semestre de 2020, a NVIDIA adquiriu a empresa israelense de chips de rede Mellanox Technologies por US$ 6,9 bilhões e lançou o BlueField-2 DPU no mesmo ano, definindo-o como o "terceiro chip principal" depois de CPUs e GPUs.

**Então, o que é exatamente uma DPU? **

**A principal função da DPU é substituir a CPU e estabelecer uma arquitetura de computação centrada em dados. **

Como todos sabemos, o nome completo da CPU é a unidade central de processamento, que, além de realizar a tarefa de executar aplicativos e realizar cálculos, também desempenha o papel de um controlador de fluxo de dados, movendo dados entre GPUs, armazenamento, FPGAs e outros dispositivos.

Você pode simplesmente entender que depois que o diretor lança um problema difícil, o professor (CPU) o divide, e a parte mais complexa é resolvida por ele mesmo, e é fácil, mas complicado de distribuir para os alunos (GPU) fazer. No passado, o número de perguntas era relativamente pequeno, e o professor ainda podia dividi-lo. No entanto, à medida que o número de perguntas aumenta, o tempo para dividir e distribuir as perguntas ocupa muito do tempo do professor.

Neste momento, contratar uma pessoa especializada em dividir e distribuir tópicos tornou-se a chave para melhorar a eficiência computacional geral do sistema. E a DPU é essa pessoa.

**Nos últimos anos, com o rápido crescimento da construção de data centers, largura de banda de rede e volume de dados, e a desaceleração no crescimento do desempenho da CPU, está se tornando cada vez mais difícil se adaptar às necessidades dos futuros chips de computação, e DPUs surgiram. **É assim que é definido pelo site da NVIDIA - a DPU é uma plataforma de computação avançada para infraestrutura de data center.

Assim como a GPU é suportada pelo ecossistema CUDA, Huang Jenxun também adaptou uma ecologia de software para DPU e lançou o DOCA ao mesmo tempo.

Com o DOCA, os desenvolvedores podem programar a futura infraestrutura de data center criando serviços definidos por software, nativos da nuvem e acelerados por DPU e oferecer suporte à proteção de confiança zero para atender às crescentes demandas de desempenho e segurança do data center moderno.

Ao contrário da CUDA, a já bem-sucedida NVIDIA não precisa mais provar meticulosamente sua visão única para o mercado, pois a febre da DPU no círculo de capital de risco é suficiente para ilustrar isso.

No entanto, junto com ele, a concorrência no mercado de DPU é muito mais feroz do que a das GPUs. **

Entre os fabricantes estrangeiros, Marvell, Intel e AMD desenvolveram produtos de alinhamento DPU ou DPU. Várias start-ups da DPU também surgiram na China, como Yunbao Intelligence, Zhongke Yushu, Xinqiyuan, Yunmai Xinlian, Nebulas Zhilian, e Dayu Zhixin.

Em termos de fornecedores de nuvem, a AWS da Amazon e o Alibaba Cloud alcançaram uma arquitetura de DPU comercial em grande escala, e a Tencent e a ByteDance se juntaram ao exército de pesquisa e desenvolvimento da DPU, do qual a Tencent lançou duas gerações de DPUs, Metasequoia e Yinshan.

Desta vez, a NVIDIA pode confiar na ecologia de software e hardware do DPU+DOCA, para replicar o milagre do GPU+CUDA?

**A competição pelo poder de computação entre países e empresas está se intensificando, e os oponentes não estão sem oportunidades quando a capacidade de produção é limitada e o ecossistema DOCA ainda não se formou. **