Huawei yang selama ini disebut-sebut tertinggal dalam kompetisi model berskala besar akhirnya datang bersama anak buahnya kali ini.
Tidak, pada Huawei Developer Conference 2023 kemarin, Huawei pamer.
Konferensi pers hampir tiga jam masih mewarisi gaya gado-gado masa lalu Huawei, yang membuat Shichao terpesona.
Namun, menyimpulkannya sebenarnya menyoroti sebuah tema: Pangu Large Model 3.0.
Nyatanya, baru beberapa hari lalu, saat model besar lainnya masih membandingkan berbagai rating, Pangu memasuki bidang pandang setiap orang dengan cara unik dengan mengandalkan papan nama emas yang disertifikasi oleh jurnal top dunia Nature.
Dikatakan bahwa dengan penambahan model besar Pangea, kecepatan prediksi cuaca meningkat lebih dari 10.000 kali lipat, dan hasilnya dapat diperoleh dalam beberapa detik, di mana angin topan akan datang, kapan datang, dan kapan itu akan pergi, itu bisa memberi Anda prediksi yang jelas.
Yang paling penting adalah akurasi prediksinya bahkan melampaui sistem IFS dari Pusat Meteorologi Eropa yang dikenal sebagai yang terkuat di dunia.Ini adalah produk prediksi AI pertama yang memenangkan prediksi numerik tradisional.
Anda tahu, sebagian besar prakiraan cuaca AI sebelumnya dikembangkan berdasarkan jaringan saraf 2D, tetapi cuacanya terlalu rumit, dan 2D terlalu berlebihan.
Selain itu, model AI sebelumnya akan terus mengakumulasi kesalahan iterasi selama proses prediksi, yang akan dengan mudah memengaruhi keakuratan hasil.
Oleh karena itu, metode prediksi AI belum populer.
Model skala besar meteorologi Pangu luar biasa. Mereka menggunakan jaringan saraf tiga dimensi yang disebut 3DEST untuk memproses data meteorologi. Jika 2D tidak dapat melakukannya, mereka dapat menggunakan 3D.
Pelatihan Jaringan dan Strategi Inferensi 3DEST
Bertujuan untuk masalah kesalahan iterasi, model ini juga menggunakan "strategi agregasi domain waktu hierarkis" untuk mengurangi kesalahan iterasi dan meningkatkan akurasi perkiraan.
Meskipun kata ini terdengar mudah untuk dikelabui, namun sebenarnya sangat mudah untuk dipahami.
Misalnya, model prakiraan cuaca AI FourCastNet sebelumnya, sebelum topan datang, ia akan membuat ramalan 6 jam sebelumnya, dan selama 6 jam ini, model akan menghitung berulang kali kapan topan akan datang.
Ini dapat dihitung selama 5 jam untuk sementara, dan 4 setengah jam untuk sementara, dan kesalahannya akan besar jika hasil ini dijumlahkan.
Tetapi Model Besar Meteorologi Pangu memikirkan cara untuk melatih 4 model dengan interval perkiraan yang berbeda, satu iterasi per 1 jam, dan satu iterasi per 3 jam, 6 jam, dan 24 jam.
Kemudian, sesuai dengan persyaratan prakiraan cuaca tertentu, pilih model yang sesuai untuk iterasi.
Misalnya, jika kita ingin memprediksi cuaca dalam 7 hari ke depan, biarkan model 24 jam melakukan iterasi sebanyak 7 kali; memprediksi 20 jam berarti 3 iterasi dari model 6 jam + 2 iterasi dari model 1 jam.
**Semakin sedikit iterasi, semakin kecil kesalahannya. **
Gelombang operasi ini telah membawa prakiraan cuaca ke tingkat yang baru.
Namun, beberapa teman mungkin sudah mulai bergumam. Model besar orang semuanya menghasilkan gambar dan teks. Bagaimana Huawei menjadi ramalan cuaca?
Satu hal yang perlu dikatakan, model Pangu ini memang berbeda dengan ChatGPT dan Midjourney yang pernah kami hubungi sebelumnya, mereka berbisnis di industri.
Untuk memahaminya secara sederhana, berarti kita pribadi tidak menggunakan model Pangu.
Ini bukan "musuh" ChatGPT yang diharapkan semua orang, tetapi ditujukan untuk pasar To B yang biasanya tidak dapat diakses. **
Belum lagi kesulitan atau tidak, setidaknya sumber daya pelanggan perusahaan yang telah dikumpulkan Huawei selama bertahun-tahun sangat mudah untuk diuangkan.
Apalagi, konferensi pers Huawei kali ini tidak hanya menghadirkan peran kejam model prakiraan cuaca.
Tidak ada antibiotik baru yang ditemukan selama lebih dari 40 tahun, dan obat super antibakteri Obat X ditemukan segera setelah model molekul obat Pangea datang, dan siklus pengembangan obat dipersingkat dari beberapa tahun menjadi beberapa bulan, serta penelitian dan pengembangan biaya dikurangi hingga 70%.
Model besar Tambang Pangu juga dapat masuk jauh ke dalam lebih dari 1.000 proses penambangan batu bara, dan pemilihan batu bara bersih saja dapat meningkatkan tingkat pemulihan batu bara bersih sebesar 0,1% hingga 0,2%.
Tahukah Anda, untuk pabrik persiapan batu bara dengan produksi tahunan 10 juta ton batu bara kokas, setiap kenaikan 0,1% dalam tingkat produksi batu bara bersih dapat meningkatkan laba tahunan sebesar 10 juta.
** Ini semua uang putih. . . **
Bahkan, selain peramalan cuaca, pengembangan obat dan persiapan batu bara yang disebutkan di atas, model Pangea telah digunakan di banyak industri.
Pada konferensi pers, Tian Qi, Kepala Ilmuwan HUAWEI CLOUD AI, mengatakan bahwa proyek HUAWEI CLOUD AI telah diterapkan pada lebih dari 1.000 proyek, 30% di antaranya digunakan dalam sistem produksi inti pelanggan, meningkatkan profitabilitas pelanggan dengan rata-rata sebesar 18%.% .
Huawei mampu memproduksi model besar ini secara massal dari berbagai industri, berkat arsitektur tiga lapis 5+N+X dari Huawei Pangu Model 3.0.
Struktur inilah yang memungkinkan Pangu dengan cepat mendarat di berbagai industri.
Mengapa kamu mengatakan itu?
Karena AI mendarat di industri, data menjadi kesulitan utama.
Zhang Pingan mengatakan pada konferensi pers, "Karena kesulitan dalam memperoleh data industri dan kesulitan dalam menggabungkan teknologi dengan industri, penerapan model besar di industri menjadi lambat."
**Pangu sangat cerdik, melalui struktur tiga tingkat 5+N+X, langsung membagi masalah besar ini menjadi 3 masalah kecil untuk dipecahkan. **
Pertama-tama, lima model besar lapisan L0 Pangu mempelajari ratusan terabyte data teks seperti pengetahuan ensiklopedia, karya sastra, kode program, dan miliaran gambar Internet dengan label teks.
Kita dapat memahami bahwa pertama-tama biarkan model besar L0 tingkat pertama (lima model besar dasar model besar bahasa alami, model besar visual, model besar multimodal, model besar prediksi, dan model besar komputasi ilmiah) membangun pengenalan dasar. mirip dengan tahap pendidikan berkualitas sebelum universitas kita.
Kemudian, model pada lapisan kedua L1 dibentuk dengan mempelajari data N industri terkait dari model dasar besar tertentu di L0. Ini seperti tahap sarjana di sebuah universitas, di mana Anda harus memilih berbagai jurusan untuk dipelajari.
Misalnya, pemeriksaan gambar CT di rumah sakit dan pemeriksaan kualitas gambar di pabrik menggunakan model visual yang besar.
Tapi bagaimanapun juga, yang satu adalah rumah sakit dan yang lainnya adalah pabrik, dan skenario penggunaannya sangat berbeda, pasti tidak akan berhasil jika hanya mengandalkan model besar dasar, tetapi jika data industri ditambahkan, mungkin ada kejutan.
L2 terakhir mirip dengan mahasiswa pascasarjana, dan akan disempurnakan ke adegan tertentu berdasarkan industri tertentu. Misalnya, dalam industri pergudangan dan logistik, model penerapan yang berbeda mungkin diperlukan untuk transportasi, pergudangan, dan pengiriman barang.
Pada saat yang sama, Huawei juga menambahkan tautan umpan balik, yang mirip seperti magang di perusahaan.
Menurut mereka, biasanya dibutuhkan waktu 5 bulan untuk mengembangkan model industri skala GPT-3 di masa lalu, dengan seperangkat alat ini, siklus pengembangan dapat dipersingkat menjadi 1/5 dari aslinya.
Pada saat yang sama, keterbatasan kumpulan data kecil di banyak industri juga dapat diatasi. Misalnya, industri yang sangat detail seperti pembuatan pesawat besar juga bisa memiliki model besar.
Selain rangkaian model besar tersebut, Huawei juga mengusulkan hal yang sangat menarik kali ini yakni lokalisasi daya komputasi.
Seperti yang kita semua tahu, kita sangat malu dalam hal daya komputasi AI.
Pertama, kami tidak dapat membeli Nvidia H100/A100, peralatan inti dari industri AI Kedua, meskipun Nvidia "secara intim" merilis pengganti H800, kami masih memiliki reservasi. Misalnya, tingkat transmisi telah dipotong banyak.
Dalam konteks model besar yang membutuhkan waktu beberapa bulan untuk dilatih, mudah disalip oleh model asing dengan daya komputasi yang lebih kuat.
Dan kali ini, untuk mengatasi masalah ini, Huawei masih mengeluarkan beberapa orang sungguhan.
Misalnya dari segi performa di atas kertas, prosesor Huawei Ascend 910 sudah lebih baik dari Nvidia A100.
Namun, dalam praktiknya, masih ada beberapa celah. Dan A100 juga bukan senjata pamungkas Nvidia.
Namun, Shengteng sudah dikenal oleh banyak teman. Huawei bahkan secara langsung menyatakan pada konferensi pers bahwa "kekuatan komputasi setengah dari model besar China disediakan oleh mereka."
Tentu saja, titik terang Huawei dalam daya komputasi saat ini lebih mungkin dihasilkan oleh seluruh ekosistem perangkat lunak.
Misalnya, menurut konferensi pers, hitung AI Ascend Cloud Computing Power Base dan framework komputasi CANN. . . Dalam aspek lain, efisiensi Huawei dalam melatih model besar adalah 1,1 kali lipat dari GPU mainstream di industri.
Juga, mereka telah mengembangkan satu set lengkap paket aplikasi untuk pengguna.
Misalnya, Meitu memigrasikan 70 model ke Huawei Ecosystem hanya dalam 30 hari. Di saat yang sama, Huawei juga menyatakan bahwa ** dengan upaya kedua belah pihak, kinerja AI telah meningkat sebesar 30% dibandingkan dengan solusi aslinya. **
Masih cukup mengesankan.
Selain itu, Huawei juga menyebut saat ini mereka memiliki hampir 4 juta developer, angka tersebut selaras dengan ekosistem NVIDIA CUDA.
Serangkaian tindakan ini dapat dianggap sebagai bagian dari kekurangan. **
Secara umum, setelah menonton konferensi pers Huawei, para peninjau yang buruk merasa bahwa tata letak Huawei dalam AI sangat mendalam, dan mereka sudah mulai memikirkan pertanyaan tentang "apa yang benar-benar dapat diberikan oleh AI kepada kita".
Dalam enam bulan terakhir, meski industri AI mendapat tepuk tangan meriah, agak memalukan ketika benar-benar jatuh ke level industri.
Dan tindakan Huawei ini baru saja mengkonfirmasi apa yang dikatakan Ren Zhengfei:
*" Di masa depan, akan ada lonjakan model besar AI, bukan hanya Microsoft. Kontribusi langsung dari perusahaan platform perangkat lunak kecerdasan buatan kepada masyarakat manusia mungkin kurang dari 2%, dan 98% adalah promosi masyarakat industri dan masyarakat agraris.” *
Di bidang AI, era besar yang sesungguhnya masih akan datang.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Model besar Huawei akhirnya hadir, penilaian saya: cukup mengejutkan
Sumber asli: Tinjauan buruk
Huawei yang selama ini disebut-sebut tertinggal dalam kompetisi model berskala besar akhirnya datang bersama anak buahnya kali ini.
Tidak, pada Huawei Developer Conference 2023 kemarin, Huawei pamer.
Konferensi pers hampir tiga jam masih mewarisi gaya gado-gado masa lalu Huawei, yang membuat Shichao terpesona.
Namun, menyimpulkannya sebenarnya menyoroti sebuah tema: Pangu Large Model 3.0.
Yang paling penting adalah akurasi prediksinya bahkan melampaui sistem IFS dari Pusat Meteorologi Eropa yang dikenal sebagai yang terkuat di dunia.Ini adalah produk prediksi AI pertama yang memenangkan prediksi numerik tradisional.
Selain itu, model AI sebelumnya akan terus mengakumulasi kesalahan iterasi selama proses prediksi, yang akan dengan mudah memengaruhi keakuratan hasil.
Oleh karena itu, metode prediksi AI belum populer.
Model skala besar meteorologi Pangu luar biasa. Mereka menggunakan jaringan saraf tiga dimensi yang disebut 3DEST untuk memproses data meteorologi. Jika 2D tidak dapat melakukannya, mereka dapat menggunakan 3D.
Pelatihan Jaringan dan Strategi Inferensi 3DEST
Meskipun kata ini terdengar mudah untuk dikelabui, namun sebenarnya sangat mudah untuk dipahami.
Misalnya, model prakiraan cuaca AI FourCastNet sebelumnya, sebelum topan datang, ia akan membuat ramalan 6 jam sebelumnya, dan selama 6 jam ini, model akan menghitung berulang kali kapan topan akan datang.
Ini dapat dihitung selama 5 jam untuk sementara, dan 4 setengah jam untuk sementara, dan kesalahannya akan besar jika hasil ini dijumlahkan.
Tetapi Model Besar Meteorologi Pangu memikirkan cara untuk melatih 4 model dengan interval perkiraan yang berbeda, satu iterasi per 1 jam, dan satu iterasi per 3 jam, 6 jam, dan 24 jam.
Kemudian, sesuai dengan persyaratan prakiraan cuaca tertentu, pilih model yang sesuai untuk iterasi.
**Semakin sedikit iterasi, semakin kecil kesalahannya. **
Gelombang operasi ini telah membawa prakiraan cuaca ke tingkat yang baru.
Namun, beberapa teman mungkin sudah mulai bergumam. Model besar orang semuanya menghasilkan gambar dan teks. Bagaimana Huawei menjadi ramalan cuaca?
Satu hal yang perlu dikatakan, model Pangu ini memang berbeda dengan ChatGPT dan Midjourney yang pernah kami hubungi sebelumnya, mereka berbisnis di industri.
Ini bukan "musuh" ChatGPT yang diharapkan semua orang, tetapi ditujukan untuk pasar To B yang biasanya tidak dapat diakses. **
Belum lagi kesulitan atau tidak, setidaknya sumber daya pelanggan perusahaan yang telah dikumpulkan Huawei selama bertahun-tahun sangat mudah untuk diuangkan.
Apalagi, konferensi pers Huawei kali ini tidak hanya menghadirkan peran kejam model prakiraan cuaca.
Tidak ada antibiotik baru yang ditemukan selama lebih dari 40 tahun, dan obat super antibakteri Obat X ditemukan segera setelah model molekul obat Pangea datang, dan siklus pengembangan obat dipersingkat dari beberapa tahun menjadi beberapa bulan, serta penelitian dan pengembangan biaya dikurangi hingga 70%.
Tahukah Anda, untuk pabrik persiapan batu bara dengan produksi tahunan 10 juta ton batu bara kokas, setiap kenaikan 0,1% dalam tingkat produksi batu bara bersih dapat meningkatkan laba tahunan sebesar 10 juta.
** Ini semua uang putih. . . **
Bahkan, selain peramalan cuaca, pengembangan obat dan persiapan batu bara yang disebutkan di atas, model Pangea telah digunakan di banyak industri.
Huawei mampu memproduksi model besar ini secara massal dari berbagai industri, berkat arsitektur tiga lapis 5+N+X dari Huawei Pangu Model 3.0.
Mengapa kamu mengatakan itu?
Karena AI mendarat di industri, data menjadi kesulitan utama.
Zhang Pingan mengatakan pada konferensi pers, "Karena kesulitan dalam memperoleh data industri dan kesulitan dalam menggabungkan teknologi dengan industri, penerapan model besar di industri menjadi lambat."
**Pangu sangat cerdik, melalui struktur tiga tingkat 5+N+X, langsung membagi masalah besar ini menjadi 3 masalah kecil untuk dipecahkan. **
Pertama-tama, lima model besar lapisan L0 Pangu mempelajari ratusan terabyte data teks seperti pengetahuan ensiklopedia, karya sastra, kode program, dan miliaran gambar Internet dengan label teks.
Kemudian, model pada lapisan kedua L1 dibentuk dengan mempelajari data N industri terkait dari model dasar besar tertentu di L0. Ini seperti tahap sarjana di sebuah universitas, di mana Anda harus memilih berbagai jurusan untuk dipelajari.
Tapi bagaimanapun juga, yang satu adalah rumah sakit dan yang lainnya adalah pabrik, dan skenario penggunaannya sangat berbeda, pasti tidak akan berhasil jika hanya mengandalkan model besar dasar, tetapi jika data industri ditambahkan, mungkin ada kejutan.
Pada saat yang sama, Huawei juga menambahkan tautan umpan balik, yang mirip seperti magang di perusahaan.
Menurut mereka, biasanya dibutuhkan waktu 5 bulan untuk mengembangkan model industri skala GPT-3 di masa lalu, dengan seperangkat alat ini, siklus pengembangan dapat dipersingkat menjadi 1/5 dari aslinya.
Pada saat yang sama, keterbatasan kumpulan data kecil di banyak industri juga dapat diatasi. Misalnya, industri yang sangat detail seperti pembuatan pesawat besar juga bisa memiliki model besar.
Seperti yang kita semua tahu, kita sangat malu dalam hal daya komputasi AI.
Pertama, kami tidak dapat membeli Nvidia H100/A100, peralatan inti dari industri AI Kedua, meskipun Nvidia "secara intim" merilis pengganti H800, kami masih memiliki reservasi. Misalnya, tingkat transmisi telah dipotong banyak.
Dalam konteks model besar yang membutuhkan waktu beberapa bulan untuk dilatih, mudah disalip oleh model asing dengan daya komputasi yang lebih kuat.
Dan kali ini, untuk mengatasi masalah ini, Huawei masih mengeluarkan beberapa orang sungguhan.
Namun, dalam praktiknya, masih ada beberapa celah. Dan A100 juga bukan senjata pamungkas Nvidia.
Misalnya, menurut konferensi pers, hitung AI Ascend Cloud Computing Power Base dan framework komputasi CANN. . . Dalam aspek lain, efisiensi Huawei dalam melatih model besar adalah 1,1 kali lipat dari GPU mainstream di industri.
Masih cukup mengesankan.
Selain itu, Huawei juga menyebut saat ini mereka memiliki hampir 4 juta developer, angka tersebut selaras dengan ekosistem NVIDIA CUDA.
Secara umum, setelah menonton konferensi pers Huawei, para peninjau yang buruk merasa bahwa tata letak Huawei dalam AI sangat mendalam, dan mereka sudah mulai memikirkan pertanyaan tentang "apa yang benar-benar dapat diberikan oleh AI kepada kita".
Dalam enam bulan terakhir, meski industri AI mendapat tepuk tangan meriah, agak memalukan ketika benar-benar jatuh ke level industri.
Dan tindakan Huawei ini baru saja mengkonfirmasi apa yang dikatakan Ren Zhengfei:
*" Di masa depan, akan ada lonjakan model besar AI, bukan hanya Microsoft. Kontribusi langsung dari perusahaan platform perangkat lunak kecerdasan buatan kepada masyarakat manusia mungkin kurang dari 2%, dan 98% adalah promosi masyarakat industri dan masyarakat agraris.” *
Di bidang AI, era besar yang sesungguhnya masih akan datang.