Menurut sebuah laporan oleh Qubit pada 2 Januari, Noah's Ark Lab Huawei dan lainnya bersama-sama meluncurkan arsitektur model bahasa besar baru: Pangu-π. Dengan meningkatkan nonlinier, arsitektur ditingkatkan dari Transformer tradisional, yang secara signifikan dapat menjatuhkan masalah keruntuhan fitur dan membuat output model lebih ekspresif. Dilaporkan bahwa dalam kasus pelatihan dengan data yang sama, Pangu-π (7B) melampaui LLaMA 2 dalam multi-tasking dan mencapai percepatan inferensi 10%. SOTA hingga skala 1B. Pada saat yang sama, berdasarkan arsitektur ini, Huawei juga telah menyempurnakan model keuangan dan hukum besar yang disebut "Yunshan". Pekerjaan ini dipimpin oleh AI Dacheng Tao.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Menurut sebuah laporan oleh Qubit pada 2 Januari, Noah's Ark Lab Huawei dan lainnya bersama-sama meluncurkan arsitektur model bahasa besar baru: Pangu-π. Dengan meningkatkan nonlinier, arsitektur ditingkatkan dari Transformer tradisional, yang secara signifikan dapat menjatuhkan masalah keruntuhan fitur dan membuat output model lebih ekspresif. Dilaporkan bahwa dalam kasus pelatihan dengan data yang sama, Pangu-π (7B) melampaui LLaMA 2 dalam multi-tasking dan mencapai percepatan inferensi 10%. SOTA hingga skala 1B. Pada saat yang sama, berdasarkan arsitektur ini, Huawei juga telah menyempurnakan model keuangan dan hukum besar yang disebut "Yunshan". Pekerjaan ini dipimpin oleh AI Dacheng Tao.