Pengantar: Boss Huang menang lagi! Dalam uji benchmark MLPerf terbaru, H100 berhasil mencetak 8 rekor pengujian. Menurut media asing, kartu grafis tingkat konsumen generasi berikutnya mungkin akan dirilis pada tahun 2025.
Dalam uji benchmark pelatihan MLPerf terbaru, GPU H100 mencetak rekor baru dalam delapan pengujian!
Saat ini, NVIDIA H100 mendominasi hampir semua kategori dan merupakan satu-satunya GPU yang digunakan dalam tolok ukur LLM baru.
Sekelompok 3.584 GPU H100 menyelesaikan tolok ukur skala besar berdasarkan GPT-3 hanya dalam 11 menit.
Tolok ukur MLPerf LLM didasarkan pada model GPT-3 OpenAI dan berisi 175 miliar parameter.
Lambda Labs memperkirakan bahwa melatih model sebesar itu membutuhkan sekitar 3,14E23 FLOPS komputasi.
11 menit untuk melatih GPT-3 bagaimana monster itu terbentuk
Sistem dengan peringkat tertinggi pada benchmark LLM dan BERT natural language processing (NLP) dikembangkan bersama oleh NVIDIA dan Inflection AI.
Dihosting oleh CoreWeave, penyedia layanan cloud yang berspesialisasi dalam beban kerja yang dipercepat GPU tingkat perusahaan.
Sistem ini menggabungkan 3.584 akselerator NVIDIA H100 dengan 896 prosesor Intel Xeon Platinum 8462Y+.
Karena Nvidia memperkenalkan mesin Transformer baru di H100, yang dirancang khusus untuk mempercepat pelatihan dan penalaran model Transformer, meningkatkan kecepatan pelatihan sebanyak 6 kali lipat.
Performa yang dapat diberikan CoreWeave dari cloud sangat dekat dengan apa yang dapat diberikan Nvidia dari superkomputer AI yang berjalan di pusat data lokal.
Ini berkat jaringan latensi rendah dari jaringan NVIDIA Quantum-2 InfiniBand yang digunakan oleh CoreWeave.
Karena jumlah GPU H100 yang terlibat dalam pelatihan meningkat dari ratusan menjadi lebih dari 3.000.
Pengoptimalan yang baik memungkinkan seluruh tumpukan teknologi untuk mencapai penskalaan kinerja hampir linier dalam uji LLM yang menuntut.
Jika jumlah GPU dikurangi menjadi setengahnya, waktu untuk melatih model yang sama bertambah menjadi 24 menit.
Menunjukkan bahwa potensi efisiensi dari keseluruhan sistem, seiring peningkatan GPU, adalah superlinear.
Alasan utamanya adalah Nvidia telah mempertimbangkan masalah ini sejak awal desain GPU, menggunakan teknologi NVLink untuk mewujudkan komunikasi antar GPU secara efisien.
Dari 90 sistem yang diuji, 82 diakselerasi menggunakan GPU NVIDIA.
Efisiensi pelatihan kartu tunggal
Perbandingan waktu pelatihan cluster sistem
Sistem ulasan Intel menggunakan 64 hingga 96 prosesor Intel Xeon Platinum 8380 dan 256 hingga 389 akselerator Intel Habana Gaudi2.
Namun, Intel mengajukan GPT-3 dengan waktu pelatihan 311 menit.
Dibandingkan dengan Nvidia, hasilnya sedikit menyedihkan.
Analis: Nvidia memiliki terlalu banyak keuntungan
Analis industri percaya bahwa keunggulan teknis Nvidia dalam GPU sangat jelas.
Sebagai penyedia infrastruktur AI, posisi dominannya di industri juga tercermin dari kekokohan ekosistem yang dibangun Nvidia selama ini.
Komunitas AI juga sangat bergantung pada perangkat lunak Nvidia.
Hampir semua kerangka kerja AI didasarkan pada pustaka dan alat CUDA yang mendasari yang disediakan oleh Nvidia.
Dan itu juga menawarkan alat dan solusi AI full-stack.
Selain mendukung pengembang AI, Nvidia terus berinvestasi dalam alat tingkat perusahaan untuk mengelola beban kerja dan model.
Di masa mendatang, posisi terdepan Nvidia di industri akan sangat stabil.
Analis lebih lanjut menunjukkan bahwa fungsi yang kuat dan efisiensi sistem NVIDIA untuk pelatihan AI di cloud, seperti yang ditunjukkan dalam hasil pengujian MLPerf, adalah modal terbesar dari "perang untuk masa depan" NVIDIA.
GPU Ada Lovelace Generasi Selanjutnya, Dirilis Tahun 2025
Zhiye Liu, seorang penulis lepas di Tom's Hardware, juga baru-baru ini menerbitkan sebuah artikel yang memperkenalkan rencana untuk kartu grafis Nvidia Ada Lovelace generasi berikutnya.
Tidak diragukan lagi kemampuan H100 untuk melatih model berukuran besar.
Dengan hanya 3584 H100, model GPT-3 dapat dilatih hanya dalam 11 menit.
Pada konferensi pers baru-baru ini, Nvidia membagikan peta jalan baru yang merinci produk generasi berikutnya, termasuk penerus GPU Ada Lovelace seri GeForce RTX 40, yang sebelumnya adalah beberapa kartu grafis gaming terbaik yang tersedia saat ini.
Menurut roadmap tersebut, Nvidia berencana untuk meluncurkan kartu grafis "Ada Lovelace-Next" pada tahun 2025.
Jika skema penamaan saat ini berlanjut, produk GeForce generasi berikutnya akan terdaftar sebagai seri GeForce RTX 50.
Menurut informasi yang diperoleh organisasi peretas Amerika Selatan LAPSU$, Hopper Next kemungkinan besar akan diberi nama Blackwell.
Pada kartu grafis tingkat konsumen, Nvidia mempertahankan ritme pembaruan selama dua tahun.
Mereka meluncurkan Pascal pada 2016, Turing pada 2018, Ampere pada 2020, dan Ada Lovelace pada 2022.
Jika penerus Ada Lovelace akan diluncurkan pada tahun 2025 kali ini, Nvidia dipastikan akan mematahkan ritme yang biasa.
Ledakan AI baru-baru ini telah menciptakan permintaan besar untuk GPU NVIDIA, apakah itu H100 terbaru atau A100 generasi sebelumnya.
Menurut laporan, pabrikan besar telah memesan GPU Nvidia senilai $1 miliar tahun ini.
Terlepas dari pembatasan ekspor, negara saya tetap menjadi salah satu pasar terbesar Nvidia di dunia.
(Di pasar elektronik Huaqiangbei di Shenzhen, dikatakan, Anda dapat membeli sejumlah kecil Nvidia A100 seharga $20.000 masing-masing, dua kali lipat harga biasanya.)
Dalam hal ini, Nvidia telah menyempurnakan beberapa produk AI dan merilis SKU tertentu seperti H100 atau A800 untuk memenuhi persyaratan ekspor.
Zhiye Liu menganalisis hal ini, dari sisi lain, regulasi ekspor justru menguntungkan Nvidia, karena berarti konsumen produsen chip harus membeli lebih banyak varian GPU original untuk mendapatkan performa yang sama.
Ini juga dapat memahami mengapa Nvidia akan memprioritaskan untuk menghasilkan GPU komputasi daripada GPU game.
Laporan terbaru menunjukkan bahwa Nvidia telah meningkatkan produksi GPU tingkat komputasi.
Tidak menghadapi persaingan serius dari tumpukan produk AMD RDNA 3, Intel juga tidak menimbulkan ancaman serius bagi duopoli GPU, sehingga Nvidia dapat terhenti di sisi konsumen.
Baru-baru ini, Nvidia telah memperluas tumpukan produk seri GeForce RTX 40 dengan GeForce RTX 4060 dan GeForce RTX 4060 Ti.
Ada potensi untuk GeForce RTX 4050, bersama dengan RTX 4080 Ti atau GeForce RTX 4090 Ti di atasnya, dll.
Jika terpaksa, Nvidia juga dapat mengeluarkan produk dari versi Turing lama, memperbarui Ada Lovelace, memberinya perawatan "Super", dan memperluas jajaran Ada lebih jauh.
Terakhir, Zhiye Liu mengatakan bahwa setidaknya tahun ini atau tahun depan, arsitektur Lovelace tidak akan benar-benar diperbarui.
Referensi:
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
11 menit untuk menyelesaikan pelatihan GPT-3! Nvidia H100 menyapu 8 tes benchmark MLPerf, kartu grafis generasi berikutnya akan dirilis dalam 25 tahun
**Sumber:**Xinzhiyuan
Pengantar: Boss Huang menang lagi! Dalam uji benchmark MLPerf terbaru, H100 berhasil mencetak 8 rekor pengujian. Menurut media asing, kartu grafis tingkat konsumen generasi berikutnya mungkin akan dirilis pada tahun 2025.
Dalam uji benchmark pelatihan MLPerf terbaru, GPU H100 mencetak rekor baru dalam delapan pengujian!
Saat ini, NVIDIA H100 mendominasi hampir semua kategori dan merupakan satu-satunya GPU yang digunakan dalam tolok ukur LLM baru.
Tolok ukur MLPerf LLM didasarkan pada model GPT-3 OpenAI dan berisi 175 miliar parameter.
Lambda Labs memperkirakan bahwa melatih model sebesar itu membutuhkan sekitar 3,14E23 FLOPS komputasi.
11 menit untuk melatih GPT-3 bagaimana monster itu terbentuk
Sistem dengan peringkat tertinggi pada benchmark LLM dan BERT natural language processing (NLP) dikembangkan bersama oleh NVIDIA dan Inflection AI.
Dihosting oleh CoreWeave, penyedia layanan cloud yang berspesialisasi dalam beban kerja yang dipercepat GPU tingkat perusahaan.
Sistem ini menggabungkan 3.584 akselerator NVIDIA H100 dengan 896 prosesor Intel Xeon Platinum 8462Y+.
Performa yang dapat diberikan CoreWeave dari cloud sangat dekat dengan apa yang dapat diberikan Nvidia dari superkomputer AI yang berjalan di pusat data lokal.
Ini berkat jaringan latensi rendah dari jaringan NVIDIA Quantum-2 InfiniBand yang digunakan oleh CoreWeave.
Pengoptimalan yang baik memungkinkan seluruh tumpukan teknologi untuk mencapai penskalaan kinerja hampir linier dalam uji LLM yang menuntut.
Jika jumlah GPU dikurangi menjadi setengahnya, waktu untuk melatih model yang sama bertambah menjadi 24 menit.
Menunjukkan bahwa potensi efisiensi dari keseluruhan sistem, seiring peningkatan GPU, adalah superlinear.
Alasan utamanya adalah Nvidia telah mempertimbangkan masalah ini sejak awal desain GPU, menggunakan teknologi NVLink untuk mewujudkan komunikasi antar GPU secara efisien.
Sistem ulasan Intel menggunakan 64 hingga 96 prosesor Intel Xeon Platinum 8380 dan 256 hingga 389 akselerator Intel Habana Gaudi2.
Namun, Intel mengajukan GPT-3 dengan waktu pelatihan 311 menit.
Dibandingkan dengan Nvidia, hasilnya sedikit menyedihkan.
Analis: Nvidia memiliki terlalu banyak keuntungan
Analis industri percaya bahwa keunggulan teknis Nvidia dalam GPU sangat jelas.
Sebagai penyedia infrastruktur AI, posisi dominannya di industri juga tercermin dari kekokohan ekosistem yang dibangun Nvidia selama ini.
Komunitas AI juga sangat bergantung pada perangkat lunak Nvidia.
Hampir semua kerangka kerja AI didasarkan pada pustaka dan alat CUDA yang mendasari yang disediakan oleh Nvidia.
Selain mendukung pengembang AI, Nvidia terus berinvestasi dalam alat tingkat perusahaan untuk mengelola beban kerja dan model.
Di masa mendatang, posisi terdepan Nvidia di industri akan sangat stabil.
Analis lebih lanjut menunjukkan bahwa fungsi yang kuat dan efisiensi sistem NVIDIA untuk pelatihan AI di cloud, seperti yang ditunjukkan dalam hasil pengujian MLPerf, adalah modal terbesar dari "perang untuk masa depan" NVIDIA.
GPU Ada Lovelace Generasi Selanjutnya, Dirilis Tahun 2025
Zhiye Liu, seorang penulis lepas di Tom's Hardware, juga baru-baru ini menerbitkan sebuah artikel yang memperkenalkan rencana untuk kartu grafis Nvidia Ada Lovelace generasi berikutnya.
Tidak diragukan lagi kemampuan H100 untuk melatih model berukuran besar.
Dengan hanya 3584 H100, model GPT-3 dapat dilatih hanya dalam 11 menit.
Pada konferensi pers baru-baru ini, Nvidia membagikan peta jalan baru yang merinci produk generasi berikutnya, termasuk penerus GPU Ada Lovelace seri GeForce RTX 40, yang sebelumnya adalah beberapa kartu grafis gaming terbaik yang tersedia saat ini.
Jika skema penamaan saat ini berlanjut, produk GeForce generasi berikutnya akan terdaftar sebagai seri GeForce RTX 50.
Menurut informasi yang diperoleh organisasi peretas Amerika Selatan LAPSU$, Hopper Next kemungkinan besar akan diberi nama Blackwell.
Pada kartu grafis tingkat konsumen, Nvidia mempertahankan ritme pembaruan selama dua tahun.
Mereka meluncurkan Pascal pada 2016, Turing pada 2018, Ampere pada 2020, dan Ada Lovelace pada 2022.
Jika penerus Ada Lovelace akan diluncurkan pada tahun 2025 kali ini, Nvidia dipastikan akan mematahkan ritme yang biasa.
Menurut laporan, pabrikan besar telah memesan GPU Nvidia senilai $1 miliar tahun ini.
Terlepas dari pembatasan ekspor, negara saya tetap menjadi salah satu pasar terbesar Nvidia di dunia.
(Di pasar elektronik Huaqiangbei di Shenzhen, dikatakan, Anda dapat membeli sejumlah kecil Nvidia A100 seharga $20.000 masing-masing, dua kali lipat harga biasanya.)
Dalam hal ini, Nvidia telah menyempurnakan beberapa produk AI dan merilis SKU tertentu seperti H100 atau A800 untuk memenuhi persyaratan ekspor.
Ini juga dapat memahami mengapa Nvidia akan memprioritaskan untuk menghasilkan GPU komputasi daripada GPU game.
Laporan terbaru menunjukkan bahwa Nvidia telah meningkatkan produksi GPU tingkat komputasi.
Tidak menghadapi persaingan serius dari tumpukan produk AMD RDNA 3, Intel juga tidak menimbulkan ancaman serius bagi duopoli GPU, sehingga Nvidia dapat terhenti di sisi konsumen.
Ada potensi untuk GeForce RTX 4050, bersama dengan RTX 4080 Ti atau GeForce RTX 4090 Ti di atasnya, dll.
Jika terpaksa, Nvidia juga dapat mengeluarkan produk dari versi Turing lama, memperbarui Ada Lovelace, memberinya perawatan "Super", dan memperluas jajaran Ada lebih jauh.
Terakhir, Zhiye Liu mengatakan bahwa setidaknya tahun ini atau tahun depan, arsitektur Lovelace tidak akan benar-benar diperbarui.
Referensi: