Penulis: Hu Xiner, magang, Shao Wen, reporter dari The Paper
Sumber gambar: Dihasilkan oleh AI Tak Terbatas
Dai Qionghai, seorang akademisi dari Akademi Teknik China, berkata: "Negara kita harus memperdalam pengembangan personel kecerdasan buatan dan penelitian dasar dalam hal kebijakan, mekanisme, dan investasi, memperkuat inovasi asli, dan menghindari jatuh ke dalam dilema 'air tanpa sumber'."
Wang Yu, seorang profesor tetap dari Departemen Teknik Elektronik Universitas Tsinghua, menunjukkan: "Sudah ada banyak perusahaan chip di Shanghai, dan ada juga banyak algoritme di Shanghai. Bagaimana mencapai penerapan yang efisien dan terpadu serta menjalankan algoritme semacam itu di keripik adalah masalah yang sangat penting. pertanyaan."
Pada tanggal 7 Juli, pada konferensi Kecerdasan Buatan Dunia 2023, forum "Peluang dan Risiko Pengembangan Industri Kecerdasan Buatan Umum di Era Model Skala Besar", sejumlah ahli di bidang kecerdasan buatan umum masing-masing berfokus pada model skala besar. dari inovasi dasar, teknologi aplikasi, dan prospek masa depan Diskusi mendalam tentang kecerdasan buatan di tingkat lain.
"Negara kita harus memperdalam pelatihan bakat AI dan penelitian dasar dalam hal kebijakan, mekanisme, dan investasi, memperkuat inovasi orisinal, dan menghindari jatuh ke dalam dilema 'air tanpa sumber'." Dai Qionghai, penasihat Dewan Negara dan akademisi dari Chinese Academy of Engineering, ditekankan dalam pidato utamanya.
Wang Yu, seorang profesor tetap dan kepala Departemen Teknik Elektronik di Universitas Tsinghua, mengatakan dari perspektif aplikasi pendaratan bahwa saat ini sulit untuk menggunakan model skala besar di bidang vertikal, dan model skala besar domestik menghadapi tiga tantangan. : biaya penerapan lapangan yang tinggi, kesenjangan yang besar dalam daya komputasi model, dan penggantian Chip dalam negeri sulit dilakukan. "Pada mil terakhir pendaratan model besar, kita perlu menghubungkan algoritme dengan chip," kata Wang Yu.
"Kecerdasan otak adalah arah baru masa depan"
Dai Qionghai percaya bahwa dalam inovasi model besar "0 hingga 1", pencapaian gangguan domestik di bidang penelitian dasar lemah. “Dari perspektif industri pengembangan cerdas, kami optimis dan tidak optimis.” Dalam pandangannya, sebagian besar talenta kecerdasan buatan China terkonsentrasi di lapisan aplikasi, jadi ada banyak ruang untuk skenario aplikasi dan lapisan teknologi. Namun, China jelas dirugikan dalam hal bakat di tingkat dasar, dan tidak memiliki inovasi orisinal.
Dai Qionghai mengatakan inovasi dan pengembangan kecerdasan buatan membutuhkan tiga pilar, yaitu algoritma, data, dan daya komputasi. Algoritma menentukan tingkat kecerdasan, data menentukan ruang lingkup kecerdasan, dan daya komputasi menentukan efisiensi kecerdasan. Pada tingkat algoritme, model besar diharapkan menjadi platform dasar utama dalam aplikasi kecerdasan buatan dalam waktu sekitar lima tahun.
Dai Qionghai juga menunjukkan bahwa kecerdasan otak adalah arah baru di masa depan. Algoritme kecerdasan buatan baru yang mengintegrasikan otak dan kognisi berada di garis depan tata letak industri dan akan memimpin generasi kecerdasan baru. Dia menyarankan di forum bahwa pemerintah harus mendorong perusahaan untuk memimpin pembangunan model skala besar, mengeksplorasi kombinasi mekanisme biologis dan karakteristik mesin, lebih lanjut menciptakan paradigma baru kecerdasan buatan, dan mempromosikan penelitian dasar dan perluasan aplikasi secara bersamaan. Ia memprediksi bahwa kecerdasan buatan dengan kecerdasan kognitif sebagai intinya akan mulai diterapkan sepuluh tahun kemudian.
Selain itu, Dai Qionghai percaya bahwa perlu waspada terhadap masalah keamanan aplikasi model skala besar. Model besar belum mampu mengautentikasi keluaran seperti menghasilkan konten yang menipu. “Artinya, begitu ada masalah dengan penerapan model besar, tidak sesederhana virus jaringan komputer saat ini, bunuh saja dan bunuh virusnya, yang akan berdampak subversif. Oleh karena itu, ketika model besar itu diterapkan, keamanan dan keandalan harus digabungkan. Kepercayaan dibahas dengan jelas.”
Model skala besar domestik harus fokus pada penyelesaian empat poin masalah
Wang Yu berkata di forum, "Shanghai sangat peduli dengan kecerdasan buatan dan chip, tetapi dari perspektif lain, model kami yang paling canggih dan daya komputasi yang relatif penting sebenarnya tunduk pada batasan tertentu. Daya komputasi kami harus lebih Ke arah mana harus pergi, bagaimana meningkatkan daya komputasi domestik dengan lebih baik, dan bagaimana mendukung pembangunan negara dalam pelatihan model besar dan penalaran dengan ruang seperti itu, masalah ini menjadi sangat penting."
Wang Yu juga menyebutkan bahwa saat ini di luar negeri, hanya Nvidia dan AMD yang bisa memilih chip dengan daya komputasi besar. Nvidia mendominasi pasar, dan ekosistem perangkat lunaknya relatif bagus. "Jadi berbagai model asing, seperti OpenAI, Microsoft, dan Google, membeli chip Nvidia dalam jumlah besar, dan kemudian mengembangkannya di atas kerangka perangkat lunak Nvidia. Ekologi asing sangat sederhana. Perusahaan melakukan pekerjaan algoritme dengan baik. Di bidang ini, penerapannya didukung oleh sistem perangkat lunak Nvidia."
"Namun, pengembangan chip daya komputasi besar di China masih dalam tahap awal." Wang Yu percaya, "Sudah ada banyak perusahaan chip di Shanghai, seperti Tianshu Zhixin, Teknologi Suiyuan, Cambrian, Teknologi Biren, dll. Ada juga banyak di Shanghai. Algoritma, cara mencapai penerapan yang efisien dan terpadu, dan cara menjalankan algoritme semacam itu pada chip adalah masalah yang sangat penting."
Pada saat yang sama, Wang Yu menekankan bahwa sangat sulit untuk menerapkan model skala besar di bidang vertikal saat ini, dan model skala besar domestik menghadapi tiga tantangan utama: biaya penerapan lapangan yang tinggi, kesenjangan besar dalam daya komputasi model, dan kesulitan dalam mengganti chip dalam negeri.
"Berbeda dari model di era AI 1.0 sebelumnya yang menargetkan tugas tertentu, era AI 2.0 saat ini adalah model yang menyelesaikan banyak tugas, dan lapisan aplikasi, lapisan algoritme, dan lapisan sistem perlu dioptimalkan secara kolaboratif." Wang Yu mengatakan bahwa pada akhir pendaratan model besar Satu kilometer, model skala besar domestik harus fokus pada penyelesaian empat poin rasa sakit.
“Pertama-tama kita harus menangani masalah teks panjang, yaitu menggunakannya dengan baik.” Wang Yu berkata bahwa tren algoritme saat ini adalah menambah panjang teks yang didukung oleh model besar, tetapi teks panjang juga akan menghasilkan lonjakan beban Transformator (Model pembelajaran mendalam yang dikembangkan oleh Google, di mana OpenAI mengembangkan GPT) Beban pada arsitektur meningkat secara dramatis saat input menjadi lebih lama. Oleh karena itu, menyesuaikan teks panjang merupakan persyaratan yang sangat penting.
Persyaratan lain untuk model besar adalah peningkatan kinerja biaya. "Jika Google menggunakan model besar di mesin pencarinya, itu akan meningkatkan biaya sebesar US$36 miliar, dan keuntungannya mungkin hilang hingga 65%." Wang Yu mengatakan bahwa jika perusahaan dapat mengurangi biaya satu klik, kerugian keseluruhan keuntungan bisa berkurang. . Bergerak ke arah ini, semua orang diharapkan mampu membeli model besar.
Selain itu, model besar perlu memberdayakan berbagai bidang vertikal Untuk semua lapisan masyarakat, tidak banyak model besar yang memiliki banyak pengetahuan. Khususnya di bidang-bidang seperti perawatan medis dan keuangan, perolehan data korpus mahal dan sangat langka. "Jika Anda dapat menambahkan model dasar tujuan umum dan menyempurnakannya, kinerja dasar berbagai industri diharapkan akan lebih ditingkatkan." Tetapi Wang Yu juga menunjukkan bahwa jika dikembangkan di bidang vertikal, model tujuan umum model besar harus disesuaikan, dan semakin besar modelnya, biaya penyesuaian juga meningkat secara signifikan. Oleh karena itu, bagaimana merancang algoritma fine-tuning yang efisien menjadi topik yang perlu dibahas.
Pada saat yang sama, model besar juga menghadirkan persyaratan baru untuk penerapan satu atap. Dalam optimalisasi perangkat lunak dan perangkat keras, jika optimasi operator, optimalisasi kompilasi, dan penerapan perangkat keras dilakukan berlapis-lapis, diperlukan total 100 tenaga kerja per hari, sedangkan untuk penerapan otomatis satu atap, hanya diperlukan 10 tenaga kerja per hari. Wang Yu menunjukkan bahwa penerapan satu atap dapat mengoptimalkan biaya tenaga kerja, semakin meningkatkan skala ruang pengoptimalan kompilasi, dan diharapkan dapat mendorong pengembangan seluruh rantai industri.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Selesaikan masalah model skala besar domestik: hindari "air pasif", mil terakhir perlu menghubungkan algoritme dan chip
Sumber: Makalah
Penulis: Hu Xiner, magang, Shao Wen, reporter dari The Paper
Dai Qionghai, seorang akademisi dari Akademi Teknik China, berkata: "Negara kita harus memperdalam pengembangan personel kecerdasan buatan dan penelitian dasar dalam hal kebijakan, mekanisme, dan investasi, memperkuat inovasi asli, dan menghindari jatuh ke dalam dilema 'air tanpa sumber'."
Wang Yu, seorang profesor tetap dari Departemen Teknik Elektronik Universitas Tsinghua, menunjukkan: "Sudah ada banyak perusahaan chip di Shanghai, dan ada juga banyak algoritme di Shanghai. Bagaimana mencapai penerapan yang efisien dan terpadu serta menjalankan algoritme semacam itu di keripik adalah masalah yang sangat penting. pertanyaan."
Pada tanggal 7 Juli, pada konferensi Kecerdasan Buatan Dunia 2023, forum "Peluang dan Risiko Pengembangan Industri Kecerdasan Buatan Umum di Era Model Skala Besar", sejumlah ahli di bidang kecerdasan buatan umum masing-masing berfokus pada model skala besar. dari inovasi dasar, teknologi aplikasi, dan prospek masa depan Diskusi mendalam tentang kecerdasan buatan di tingkat lain.
"Negara kita harus memperdalam pelatihan bakat AI dan penelitian dasar dalam hal kebijakan, mekanisme, dan investasi, memperkuat inovasi orisinal, dan menghindari jatuh ke dalam dilema 'air tanpa sumber'." Dai Qionghai, penasihat Dewan Negara dan akademisi dari Chinese Academy of Engineering, ditekankan dalam pidato utamanya.
Wang Yu, seorang profesor tetap dan kepala Departemen Teknik Elektronik di Universitas Tsinghua, mengatakan dari perspektif aplikasi pendaratan bahwa saat ini sulit untuk menggunakan model skala besar di bidang vertikal, dan model skala besar domestik menghadapi tiga tantangan. : biaya penerapan lapangan yang tinggi, kesenjangan yang besar dalam daya komputasi model, dan penggantian Chip dalam negeri sulit dilakukan. "Pada mil terakhir pendaratan model besar, kita perlu menghubungkan algoritme dengan chip," kata Wang Yu.
"Kecerdasan otak adalah arah baru masa depan"
Dai Qionghai percaya bahwa dalam inovasi model besar "0 hingga 1", pencapaian gangguan domestik di bidang penelitian dasar lemah. “Dari perspektif industri pengembangan cerdas, kami optimis dan tidak optimis.” Dalam pandangannya, sebagian besar talenta kecerdasan buatan China terkonsentrasi di lapisan aplikasi, jadi ada banyak ruang untuk skenario aplikasi dan lapisan teknologi. Namun, China jelas dirugikan dalam hal bakat di tingkat dasar, dan tidak memiliki inovasi orisinal.
Dai Qionghai mengatakan inovasi dan pengembangan kecerdasan buatan membutuhkan tiga pilar, yaitu algoritma, data, dan daya komputasi. Algoritma menentukan tingkat kecerdasan, data menentukan ruang lingkup kecerdasan, dan daya komputasi menentukan efisiensi kecerdasan. Pada tingkat algoritme, model besar diharapkan menjadi platform dasar utama dalam aplikasi kecerdasan buatan dalam waktu sekitar lima tahun.
Dai Qionghai juga menunjukkan bahwa kecerdasan otak adalah arah baru di masa depan. Algoritme kecerdasan buatan baru yang mengintegrasikan otak dan kognisi berada di garis depan tata letak industri dan akan memimpin generasi kecerdasan baru. Dia menyarankan di forum bahwa pemerintah harus mendorong perusahaan untuk memimpin pembangunan model skala besar, mengeksplorasi kombinasi mekanisme biologis dan karakteristik mesin, lebih lanjut menciptakan paradigma baru kecerdasan buatan, dan mempromosikan penelitian dasar dan perluasan aplikasi secara bersamaan. Ia memprediksi bahwa kecerdasan buatan dengan kecerdasan kognitif sebagai intinya akan mulai diterapkan sepuluh tahun kemudian.
Selain itu, Dai Qionghai percaya bahwa perlu waspada terhadap masalah keamanan aplikasi model skala besar. Model besar belum mampu mengautentikasi keluaran seperti menghasilkan konten yang menipu. “Artinya, begitu ada masalah dengan penerapan model besar, tidak sesederhana virus jaringan komputer saat ini, bunuh saja dan bunuh virusnya, yang akan berdampak subversif. Oleh karena itu, ketika model besar itu diterapkan, keamanan dan keandalan harus digabungkan. Kepercayaan dibahas dengan jelas.”
Model skala besar domestik harus fokus pada penyelesaian empat poin masalah
Wang Yu berkata di forum, "Shanghai sangat peduli dengan kecerdasan buatan dan chip, tetapi dari perspektif lain, model kami yang paling canggih dan daya komputasi yang relatif penting sebenarnya tunduk pada batasan tertentu. Daya komputasi kami harus lebih Ke arah mana harus pergi, bagaimana meningkatkan daya komputasi domestik dengan lebih baik, dan bagaimana mendukung pembangunan negara dalam pelatihan model besar dan penalaran dengan ruang seperti itu, masalah ini menjadi sangat penting."
Wang Yu juga menyebutkan bahwa saat ini di luar negeri, hanya Nvidia dan AMD yang bisa memilih chip dengan daya komputasi besar. Nvidia mendominasi pasar, dan ekosistem perangkat lunaknya relatif bagus. "Jadi berbagai model asing, seperti OpenAI, Microsoft, dan Google, membeli chip Nvidia dalam jumlah besar, dan kemudian mengembangkannya di atas kerangka perangkat lunak Nvidia. Ekologi asing sangat sederhana. Perusahaan melakukan pekerjaan algoritme dengan baik. Di bidang ini, penerapannya didukung oleh sistem perangkat lunak Nvidia."
"Namun, pengembangan chip daya komputasi besar di China masih dalam tahap awal." Wang Yu percaya, "Sudah ada banyak perusahaan chip di Shanghai, seperti Tianshu Zhixin, Teknologi Suiyuan, Cambrian, Teknologi Biren, dll. Ada juga banyak di Shanghai. Algoritma, cara mencapai penerapan yang efisien dan terpadu, dan cara menjalankan algoritme semacam itu pada chip adalah masalah yang sangat penting."
Pada saat yang sama, Wang Yu menekankan bahwa sangat sulit untuk menerapkan model skala besar di bidang vertikal saat ini, dan model skala besar domestik menghadapi tiga tantangan utama: biaya penerapan lapangan yang tinggi, kesenjangan besar dalam daya komputasi model, dan kesulitan dalam mengganti chip dalam negeri.
"Berbeda dari model di era AI 1.0 sebelumnya yang menargetkan tugas tertentu, era AI 2.0 saat ini adalah model yang menyelesaikan banyak tugas, dan lapisan aplikasi, lapisan algoritme, dan lapisan sistem perlu dioptimalkan secara kolaboratif." Wang Yu mengatakan bahwa pada akhir pendaratan model besar Satu kilometer, model skala besar domestik harus fokus pada penyelesaian empat poin rasa sakit.
“Pertama-tama kita harus menangani masalah teks panjang, yaitu menggunakannya dengan baik.” Wang Yu berkata bahwa tren algoritme saat ini adalah menambah panjang teks yang didukung oleh model besar, tetapi teks panjang juga akan menghasilkan lonjakan beban Transformator (Model pembelajaran mendalam yang dikembangkan oleh Google, di mana OpenAI mengembangkan GPT) Beban pada arsitektur meningkat secara dramatis saat input menjadi lebih lama. Oleh karena itu, menyesuaikan teks panjang merupakan persyaratan yang sangat penting.
Persyaratan lain untuk model besar adalah peningkatan kinerja biaya. "Jika Google menggunakan model besar di mesin pencarinya, itu akan meningkatkan biaya sebesar US$36 miliar, dan keuntungannya mungkin hilang hingga 65%." Wang Yu mengatakan bahwa jika perusahaan dapat mengurangi biaya satu klik, kerugian keseluruhan keuntungan bisa berkurang. . Bergerak ke arah ini, semua orang diharapkan mampu membeli model besar.
Selain itu, model besar perlu memberdayakan berbagai bidang vertikal Untuk semua lapisan masyarakat, tidak banyak model besar yang memiliki banyak pengetahuan. Khususnya di bidang-bidang seperti perawatan medis dan keuangan, perolehan data korpus mahal dan sangat langka. "Jika Anda dapat menambahkan model dasar tujuan umum dan menyempurnakannya, kinerja dasar berbagai industri diharapkan akan lebih ditingkatkan." Tetapi Wang Yu juga menunjukkan bahwa jika dikembangkan di bidang vertikal, model tujuan umum model besar harus disesuaikan, dan semakin besar modelnya, biaya penyesuaian juga meningkat secara signifikan. Oleh karena itu, bagaimana merancang algoritma fine-tuning yang efisien menjadi topik yang perlu dibahas.
Pada saat yang sama, model besar juga menghadirkan persyaratan baru untuk penerapan satu atap. Dalam optimalisasi perangkat lunak dan perangkat keras, jika optimasi operator, optimalisasi kompilasi, dan penerapan perangkat keras dilakukan berlapis-lapis, diperlukan total 100 tenaga kerja per hari, sedangkan untuk penerapan otomatis satu atap, hanya diperlukan 10 tenaga kerja per hari. Wang Yu menunjukkan bahwa penerapan satu atap dapat mengoptimalkan biaya tenaga kerja, semakin meningkatkan skala ruang pengoptimalan kompilasi, dan diharapkan dapat mendorong pengembangan seluruh rantai industri.