Nvidia meluncurkan versi khusus dari model besar ChipNeMo, yang mengkhususkan diri dalam desain chip

Sumber gambar: Dihasilkan oleh Unbounded AI

Meskipun chip semikonduktor berukuran kecil, kesulitan mendesainnya sangat menantang di dunia. Kemarin pada konferensi pers setengah jam Apple, seri M3 baru diluncurkan, meskipun tidak dapat dihindari bahwa orang akan dikatakan memeras pasta gigi, tetapi fakta telah berulang kali menunjukkan bahwa bahkan meremas pasta gigi bukan untuk semua orang. Kesulitan merancang dan membuat chip semikonduktor mungkin bahkan lebih buruk daripada kapal induk, meskipun secara intuitif volume keduanya tidak pada level yang sama sama sekali.

Pada konferensi ICCAD 2023 yang baru saja dibuka, NVIDIA menunjukkan kemampuannya untuk menguji chip dengan model besar, yang menyebabkan banyak kejutan dari dunia luar. Telah dikatakan sebelumnya bahwa penampang rambut tunggal dapat menampung 2 juta transistor, yang menunjukkan ketepatannya. Di bawah mikroskop, produk top-of-the-line seperti M3 terlihat seperti kota lingkungan yang terencana dengan baik, dengan puluhan miliar transistor terhubung ke jalan 10.000 kali lebih tipis dari rambut manusia. **Untuk membangun distrik digital seperti itu, dibutuhkan upaya kolaboratif yang tak henti-hentinya dari beberapa tim teknik, mulai dari bulan hingga tahun. ** Beberapa kelompok ini bertanggung jawab untuk menentukan arsitektur keseluruhan chip, beberapa bertanggung jawab untuk membuat dan menempatkan berbagai sirkuit ultra-kecil, dan beberapa bertanggung jawab untuk pengujian. Setiap pekerjaan membutuhkan metode, alat, program perangkat lunak, dan bahasa pemrograman komputer khusus.

Baru-baru ini, tim peneliti dari NVIDIA mengembangkan model besar khusus yang disebut ChipNeMo, yang dilatih sendiri pada data in-house untuk menghasilkan dan mengoptimalkan perangkat lunak dan membantu desainer manusia. Tautan Kertas:

Daripada secara langsung menerapkan model komersial atau open-source off-the-shelf, tim NVIDIA telah mengadopsi teknik adaptasi domain berikut: tokenizer kustom, pra-pelatihan berkelanjutan adaptif domain (DAPT), fine-tuning yang diawasi (SFT) dengan instruksi khusus domain, dan model pengambilan yang disesuaikan dengan domain. Hasil akhir menunjukkan bahwa teknik adaptasi domain ini dapat secara signifikan meningkatkan kinerja model besar dibandingkan dengan model besar dasar tujuan umum seperti Llama 2 dengan 70 miliar parameter, tidak hanya mencapai kinerja yang serupa atau lebih baik di berbagai tugas desain, tetapi juga membuat model besar jauh lebih kecil, dengan model besar ChipNeMo yang disesuaikan pada tingkat parameter 13 miliar. **

Secara khusus, tim NVIDIA mengevaluasi tiga aplikasi desain chip: asisten teknik obrolan AI, pembuatan kode EDA, serta peringkasan dan analisis kesalahan. Chat AI dapat menjawab semua jenis pertanyaan tentang arsitektur dan desain GPU, serta membantu teknisi menemukan dokumen teknis dengan cepat. Generator kode sudah dapat membuat cuplikan kode sekitar 10 hingga 20 baris dalam dua bahasa khusus yang biasa digunakan dalam desain chip; Alat analisis dapat mengotomatiskan tugas yang memakan waktu dan melelahkan untuk memelihara dan memperbarui deskripsi bug.

Dalam hal ini, Bill Dally, kepala ilmuwan Nvidia, mengatakan bahwa bahkan peningkatan produktivitas 5% adalah kemenangan besar, dan ChipNeMo merupakan langkah pertama yang penting di bidang desain semikonduktor yang kompleks. Ini juga berarti bahwa untuk bidang yang sangat khusus dan halus, sangat mungkin untuk menggunakan data internal mereka untuk melatih model besar AIGC yang berguna.

Sementara Llama 2, yang memiliki besaran parameter yang lebih besar, juga dapat mencapai akurasi yang sama seperti ChipNeMo, sama pentingnya untuk mempertimbangkan model besar yang lebih kecil dan efektivitas biaya tambahannya. ChipNeMo NVIDIA dapat dimuat langsung ke memori GPU A100 tunggal tanpa kuantisasi apa pun, yang secara langsung membuatnya lebih cepat untuk inferensi. Pada saat yang sama, penelitian terkait lainnya telah menunjukkan bahwa biaya inferensi model besar dengan parameter yang relatif kecil beberapa kali atau bahkan lebih dari sepuluh kali lebih rendah daripada model besar yang lebih besar.

Revolusi industri pertama, lebih dari dua abad yang lalu, membawa era industri ke dunia, yang akhirnya berakhir dengan "mesin dapat membuat mesin". Dengan analogi, era AI 2.0 harus dapat menyadari bahwa "AI dapat melatih AI". Meskipun masih terdengar di luar jangkauan, AI sekarang dapat digunakan dalam industri penelitian ilmiah, terutama di industri tingkat langit-langit seperti manufaktur chip, dan mungkin fajar masa depan akan dimulai di sini. **