"Sabit" NVIDIA bukanlah chip AI

Sumber asli: Laboratorium berbasis silikon

Penulis: Bai Jiajia

Sumber gambar: Dihasilkan oleh Unbounded AI

NVIDIA sekali lagi berada di puncak, kali ini bukan karena kinerjanya yang melonjak, tetapi karena "hati yang berbeda" dari kecerdasan buatan seperti Microsoft, OpenAI, dan Google, yang memegangnya di telapak tangan.

Menurut The Information, Microsoft berencana untuk meluncurkan chip pertamanya yang dirancang untuk kecerdasan buatan pada konferensi pengembang tahunannya bulan depan. Chip ini dirancang untuk server pusat data yang melatih dan menjalankan model bahasa besar (LLM). OpenAI juga mengeksplorasi pembuatan chip AI sendiri. Informasi publik menunjukkan bahwa OpenAI telah berinvestasi di setidaknya 3 perusahaan chip.

TPU chip yang dikembangkan sendiri oleh Google diiterasi ke generasi v5. Sebelumnya, analis menyampaikan berita bahwa sumber daya daya komputasi Google lebih dari gabungan OpenAI, Meta, Amazon, Oracle dan CoreWeave, dan keuntungannya berasal dari memiliki sejumlah besar TPU.

**Mengapa perusahaan-perusahaan ini ingin membuat core, ada banyak analisis di pasar, terutama karena harga GPU NVIDIA terlalu tinggi dan kapasitas produksi tidak mencukupi. Melalui chip yang dikembangkan sendiri, diharapkan dapat melemahkan kekuatan harga NVIDIA di bidang chip kecerdasan buatan, dan pada saat yang sama memiliki otonomi yang lebih strategis daripada perusahaan tanpa chip yang dikembangkan sendiri. **

Tetapi dapatkah chip yang dikembangkan sendiri benar-benar memaksa Nvidia untuk memperlambat sabit di tangannya?

Salah satu faktanya adalah GPU H100 di pasaran telah naik menjadi dua kali lipat dari harga aslinya, dan permintaan masih melebihi pasokan. Bahkan Google, yang telah "meluncurkan" chip yang dikembangkan sendiri, masih membeli chip NVIDIA dalam jumlah besar.

Mengapa?

Karena penjualan GPU NVIDIA sangat cerah sehingga mereka sering hanya didefinisikan sebagai perusahaan perangkat keras. Tetapi yang tidak diketahui banyak orang adalah bahwa NVIDIA memiliki lebih banyak insinyur perangkat lunak daripada insinyur perangkat keras.

Makna di balik kalimat ini adalah bahwa parit sebenarnya dari NVIDIA tidak pernah berasal dari kemunculan chip baru yang tak ada habisnya (tentu saja, ini juga luar biasa), tetapi dari ekologi perangkat lunak dan perangkat keras. **

CUDA, di sisi lain, adalah tanggul pertama parit ini.

Kartu as nyata NVIDIA - CUDA

Pada tahun 2019, CEO NVIDIA Jensen Huang mengatakan hal ini ketika memperkenalkan sejarah perkembangan perusahaan di Milwaukee Institute of Technology.

"Aplikasi demi aplikasi, bidang demi bidang ilmiah, dari dinamika molekuler, fisika komputasi, hingga astrofisika, fisika partikel, fisika energi tinggi, bidang ilmiah yang berbeda ini mulai mengadopsi teknologi kami karena ini adalah solusi terbaik untuk bergerak maju." Dan kami sangat bangga dengan kontribusi ini. "

**Teknologi yang dibanggakan NVIDIA ini adalah CUDA. **

CUDA adalah arsitektur komputasi paralel yang diluncurkan oleh NVIDIA, dan dengan restunya GPU dapat mengalahkan CPU dan menjadi dasar untuk menjalankan komputasi data besar saat ini. Dengan tugas yang sama berjalan, GPU NVIDIA yang mendukung sistem CUDA 10 hingga 100 kali lebih cepat daripada CPU.

Mengapa CUDA memiliki keajaiban ini?

CPU dan GPU keduanya adalah prosesor komputer yang dapat melakukan tugas komputasi, perbedaannya adalah CPU lebih baik dalam komputasi linier, sedangkan GPU lebih baik dalam komputasi paralel. Analogi umum dalam industri ini adalah bahwa CPU seperti profesor universitas, dapat menyelesaikan berbagai masalah kompleks secara mandiri, tetapi untuk melanjutkan langkah demi langkah, GPU seperti sekelompok siswa sekolah dasar, daya komputasi inti tunggal tidak sebagus CPU, tetapi kemenangannya terletak pada sejumlah besar inti, dapat dihitung pada saat yang bersamaan.

CUDA, di sisi lain, adalah tongkat estafet yang memobilisasi kelompok siswa sekolah dasar ini. Dengan mediasi CUDA, peneliti dan programmer dapat berbicara dengan fasilitas perangkat keras melalui bahasa pemrograman untuk mengubah masalah matematika yang kompleks menjadi beberapa masalah kecil sederhana yang didistribusikan ke beberapa inti komputasi GPU. **

Seperti yang dikatakan Huang, CUDA menjadi "solusi terbaik untuk pengembangan ilmiah", dan daya komputasi yang besar menjadi pilihan pertama untuk membangun superkomputer.

Pada 11 Oktober, Oak Ridge National Laboratory di bawah Departemen Energi AS mengumumkan bahwa superkomputer "Summit" yang mereka kembangkan dapat mencapai puncak operasi floating point 2 miliar kali per detik, hampir dua kali kecepatan superkomputer "Sunway Taihu Light".

Raksasa daya komputasi ini dilengkapi dengan hampir 28.000 GPU NVIDIA. Oak Ridge National Laboratory adalah lembaga pertama yang mengadopsi paket "CUDA+GPU" NVIDIA.

Bahkan, sejak NVIDIA meluncurkan CUDA pada tahun 2006, semua bidang yang terlibat dalam komputasi komputer hampir dibentuk menjadi bentuk NVIDIA. 80% penelitian di bidang kedirgantaraan, penelitian biosains, simulasi mekanik dan fluida, dan eksplorasi energi dilakukan berdasarkan CUDA.

Selain itu, didorong oleh kegemaran model besar, skala kolaborator ekologi CUDA masih berlipat ganda. **

Menurut laporan tahunan FY2023 NVIDIA, 4 juta pengembang saat ini bekerja dengan CUDA. NVIDIA mencapai 2 juta pengembang dalam 12 tahun, menggandakan jumlah itu dalam dua setengah tahun terakhir, dan CUDA kini telah diunduh lebih dari 40 juta kali.

Pada saat yang sama, NVIDIA masih memperluas ekosistem CUDA dan meluncurkan koleksi perpustakaan akselerasi perangkat lunak, CUDA-X AI. Dibangun di atas CUDA, pustaka ini menyediakan kemampuan pengoptimalan yang penting untuk pembelajaran mendalam, pembelajaran mesin, dan komputasi berkinerja tinggi, dan merupakan platform end-to-end untuk akselerasi ilmu data.

Ekosistem CUDA sedang booming, dan GPU yang melengkapinya telah menjadi pilihan pertama bagi konsumen, dan NVIDIA telah menghasilkan banyak uang. Namun, dalam menghadapi sepotong kue sebesar itu, pesaing tentu tidak bisa hanya melihatnya.

Misalnya, AMD meluncurkan platform ekologis ROCm, yang juga kompatibel dengan banyak kerangka kerja komputasi; Triton OpenAI dianggap sebagai penantang terkuat CUDA; OpenCL, arsitektur open source yang dirancang oleh Apple dan kemudian dikelola oleh Khronos Group, memanfaatkan kesuksesan CUDA dan mendukung CPU multi-core, GPU atau akselerator lainnya sebanyak mungkin. Google menggunakan model "TPU+TensorFlow + Cloud" untuk menarik developer dan memperluas pelanggan.

Tetapi pesaing "teoritis" ini telah mengungkap semua jenis masalah dalam praktiknya.

Pada bulan Februari, Dylan Patel, analis utama di perusahaan riset dan konsultan semikonduktor Semi Analysis, menulis sebuah artikel berjudul "How Nvidia's CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0."

Dalam pesan artikel tersebut, seorang programmer berkata:

"Saya harap begitu, tapi saya sangat, sangat skeptis. Semua yang saya gunakan dibangun di atas CUDA. Faktanya, tidak ada fitur pada perangkat keras non-NVidia. 'Sebenarnya efektif' tidak sama dengan 'efektif secara teoritis'. Banyak hal yang saya gunakan mendukung ROCm secara teori, tetapi dalam praktiknya, ketika Anda mencoba menggunakannya, Anda mendapatkan bug besar dan kecil dan macet atau tidak berfungsi. "

** Pernyataan para peneliti garis depan membuktikan bahwa di depan NVIDIA, yang telah memegang posisi teratas dalam perangkat lunak dan perangkat keras dan mengembangkan pasar selama hampir 20 tahun, setidaknya pada tahap ini, tidak ada perusahaan yang dapat bersaing dengannya secara langsung. **

** NVIDIA Empire, lahir dari "Reinventing the World"**

Mengapa NVIDIA mencubit kartu truf CUDA? Hampir 18 tahun telah berlalu sejak CUDA diluncurkan pada tahun 2006, mengapa parit NVIDIA tidak hanya tidak dilanggar, tetapi menjadi semakin lebar?

Ada premis default di balik pertanyaan-pertanyaan ini - CUDA adalah arah yang "benar". Dan pada awal abad ke-21, ketika NVIDIA putus asa, frasa ini diulang Huang Jensen kepada pemegang saham dan pasar ribuan kali. **

Jika kita menginginkan dunia yang indah, hal pertama yang harus dilakukan adalah mensimulasikannya. Di satu sisi, idenya adalah asal mula era GPU, mensimulasikan hukum-hukum fisika yang kompleks dan menyajikannya dalam bentuk gambar. Namun, aplikasi yang mensimulasikan hukum fisika tidak akan jatuh dari langit, dan perlu dikembangkan satu per satu.

Oleh karena itu, bahkan jika daya komputasi GPU telah terbukti cenderung melampaui CPU di masa depan, kurangnya aplikasi, proses pemrograman terlalu rumit, dan kurangnya representasi bahasa tingkat rendah masih membuat programmer menjauh darinya.

Pada tahun 2003, Intel memperkenalkan CPU 4-core, dan untuk bersaing, NVIDIA mulai mengembangkan teknologi arsitektur perangkat komputasi terpadu, atau CUDA.

Ide ini diusulkan oleh kepala ilmuwan Dr. David Kirk, yang kemudian meyakinkan Jensen Huang bahwa semua GPU NVIDIA masa depan harus mendukung CUDA. Karena perannya yang penting di bidang komputer komputasi kinerja tinggi, Kirk kemudian dikenal sebagai "bapak CUDA" dan terpilih menjadi anggota National Academy of Engineering.

** Penghargaan ini adalah kata penutup, dan masalah yang perlu diselesaikan Huang pada saat itu adalah bagaimana membuat pemegang saham menerima bahwa biaya produk perlu berlipat ganda untuk memperjuangkan masa depan di mana periode pengembalian bisa lebih dari 10 tahun. **

Faktanya, keraguan seputar CUDA berlanjut hingga menjelang era AI, dan nilai pasar NVIDIA melayang di level $1 miliar selama bertahun-tahun, dan harga saham bahkan turun menjadi $1,50 karena hambatan biaya tambahan CUDA. Pemegang saham telah berulang kali meningkatkan harapan bahwa mereka akan fokus pada peningkatan profitabilitas.

Pada tahun 2010, Intel, raja CPU pada saat itu, dikabarkan berencana untuk mengakuisisi Nvidia. "Chip Wars" menjelaskan, "Bagi Intel, harga [akuisisi Nvidia] tidak menjadi masalah, pertanyaannya adalah posisi apa yang harus diberikan kepada Huang Jenxun." Namun, kedua belah pihak tidak pernah mencapai kesepakatan, dan pada akhirnya, itu tidak terselesaikan. "

**Selama bertahun-tahun NVIDIA bearish ini, Huang tidak pernah mempertanyakan nilai CUDA. **

Untuk menarik pengembang untuk menulis aplikasi dan menunjukkan manfaat GPU, Huang pertama kali menggunakan GPU GeForce, yang sudah memiliki pasar besar untuk para gamer pada saat itu, sebagai dasar untuk menginstal CUDA. Kemudian sebuah konferensi yang disebut GTC diciptakan untuk mempromosikan CUDA tanpa lelah di seluruh dunia.

Salah satu kasus yang paling dipuji dalam beberapa tahun terakhir adalah bahwa pada tahun 2016, Huang Jenxun secara pribadi pergi ke OpenAI yang didirikan untuk berkomunikasi dan mempresentasikan DGX-1 yang dilengkapi dengan 8 chip P100, yang merupakan GPU komputasi floating-point NVIDIA yang paling kuat pada waktu itu.

Kejadian ini sering ditafsirkan sebagai visi lama Huang, tetapi baginya, itu hanyalah upaya lain untuk memastikan bahwa CUDA adalah kerangka kerja yang paling biasa bagi para peneliti ilmiah mutakhir.

Berbeda dengan tekad NVIDIA, itu adalah Intel.

Sebagai raja era CPU, Intel seharusnya menjadi saingan NVIDIA yang paling kompetitif.

Namun, setelah membatalkan rencana grafis diskrit untuk konvergensi CPU dan GPU pada tahun 2010, Intel kehilangan minat untuk berhadapan langsung dengan NVIDIA (tentu saja, dapat dikatakan kehilangan kepercayaan diri karena proses nano terhenti). ** Pertama kali mencoba mengakuisisi NVIDIA, dan kemudian berbalik dan bersaing dengan Qualcomm di pasar baseband seluler, ketika gelombang pertama ledakan kecerdasan buatan melanda pada tahun 2015, Intel yang terbangun dengan mimpi besar mengakuisisi perusahaan chip ke arah kecerdasan buatan dengan satu tangan, dan memasukkan chip AMD ke dalam chip sistemnya sendiri.

Sayangnya, pada saat itu, pangsa pasar NVIDIA melebihi 60%, monopoli CUDA sudah mulai terbentuk, dan di bidang GPU, Intel tidak lagi memenuhi syarat untuk duduk satu meja dengan NVIDIA.

DPU dan DOCA, medan pertempuran baru NVIDIA

Pada tahun 2020, ada lelucon populer di lingkaran modal ventura.

"Apa itu DPU?"

"Alipay tiba, 100 juta yuan."

Segera setelah kata kunci DPU dipicu, uang akan masuk.

Putaran demam DPU ini persis seperti yang dipicu NVIDIA.

Pada paruh pertama tahun 2020, NVIDIA mengakuisisi perusahaan chip jaringan Israel Mellanox Technologies seharga $6.9 miliar, dan meluncurkan BlueField-2 DPU pada tahun yang sama, mendefinisikannya sebagai "chip utama ketiga" setelah CPU dan GPU.

**Jadi apa sebenarnya DPU itu? **

**Fungsi inti DPU adalah untuk menggantikan CPU dan membangun arsitektur komputasi data-sentris. **

Seperti yang kita semua tahu, nama lengkap CPU adalah unit pemrosesan pusat, yang, selain melakukan tugas menjalankan aplikasi dan melakukan perhitungan, juga memainkan peran pengontrol aliran data, memindahkan data antara GPU, penyimpanan, FPGA, dan perangkat lain.

Anda dapat dengan mudah memahami bahwa setelah kepala sekolah melempar masalah yang sulit, guru (CPU) membaginya, dan bagian yang lebih kompleks diselesaikan sendiri, dan mudah tetapi rumit untuk didistribusikan kepada siswa (GPU) untuk dilakukan. Dulu, jumlah soal relatif sedikit, dan guru masih bisa membaginya. Namun, seiring bertambahnya jumlah pertanyaan, waktu untuk membagi dan mendistribusikan pertanyaan menghabiskan banyak waktu guru.

Saat ini, mempekerjakan seseorang yang berspesialisasi dalam membagi dan mendistribusikan topik telah menjadi kunci untuk meningkatkan efisiensi komputasi sistem secara keseluruhan. Dan DPU adalah orang itu.

**Dalam beberapa tahun terakhir, dengan pesatnya pertumbuhan pembangunan pusat data, bandwidth jaringan dan volume data, dan perlambatan pertumbuhan kinerja CPU, menjadi semakin sulit untuk beradaptasi dengan kebutuhan chip komputasi masa depan, dan DPU telah muncul. **Beginilah definisi situs web NVIDIA - DPU adalah platform komputasi canggih untuk infrastruktur pusat data.

Sama seperti GPU yang didukung oleh ekosistem CUDA, Huang Jenxun juga menyesuaikan ekologi perangkat lunak untuk DPU dan meluncurkan DOCA pada saat yang bersamaan.

Dengan DOCA, pengembang dapat memprogram infrastruktur pusat data masa depan dengan menciptakan layanan yang ditentukan perangkat lunak, cloud-native, DPU-accelerated dan mendukung perlindungan zero-trust untuk memenuhi tuntutan kinerja dan keamanan yang berkembang dari pusat data modern.

Tidak seperti CUDA, NVIDIA yang sudah sukses tidak perlu lagi dengan susah payah membuktikan visi uniknya ke pasar, karena demam DPU di lingkaran modal ventura sudah cukup untuk menggambarkan hal ini.

Namun, seiring dengan itu, persaingan di pasar DPU jauh lebih sengit daripada GPU. **

Di antara produsen asing, Marvell, Intel, dan AMD telah mengembangkan produk penyelarasan DPU atau DPU. Sejumlah start-up DPU juga bermunculan di China, seperti Yunbao Intelligence, Zhongke Yushu, Xinqiyuan, Yunmai Xinlian, Nebulas Zhilian, dan Dayu Zhixin.

Dalam hal vendor cloud, Amazon AWS dan Alibaba Cloud telah mencapai arsitektur DPU komersial skala besar, dan Tencent dan ByteDance telah bergabung dengan pasukan penelitian dan pengembangan DPU, di mana Tencent meluncurkan dua generasi DPU, Metasequoia dan Yinshan.

Kali ini, dapatkah NVIDIA mengandalkan ekologi perangkat lunak dan perangkat keras DPU+DOCA, untuk meniru keajaiban GPU+CUDA?

** Persaingan untuk daya komputasi antara negara dan perusahaan semakin intensif, dan lawan bukannya tanpa peluang ketika kapasitas produksi terbatas dan ekosistem DOCA belum terbentuk. **