Berita tentang GPT-5 baru-baru ini menjadi viral lagi.
Dari awal pengungkapan bahwa OpenAI diam-diam melatih GPT-5, hingga klarifikasi kemudian oleh Sam Altman; Kemudian, ketika sampai pada berapa banyak GPU H100 yang dibutuhkan untuk melatih GPT-5, CEO DeepMind Suleyman mewawancarai OpenAI, yang diam-diam melatih GPT-5.
Dan kemudian ada babak baru spekulasi.
Diselingi dengan prediksi berani Altman bahwa GPT-10 akan muncul sebelum 2030, lebih dari jumlah semua kecerdasan manusia, adalah awan AGI nyata.
dan kemudian ke model multimodal OpenAI baru-baru ini yang disebut Gobi, dan panggilan kuat untuk model Gimini Google, persaingan antara dua raksasa akan segera dimulai.
Untuk sementara, kemajuan terbaru dalam model bahasa besar telah menjadi topik terpanas di lingkaran.
Mengutip puisi kuno, "masih memegang pipa dan setengah menutupi wajah" untuk menggambarkannya, itu cukup tepat. Saya hanya tidak tahu kapan saya benar-benar bisa "keluar setelah waktu yang lama".
Rekap Timeline
Apa yang akan kita bicarakan hari ini berhubungan langsung dengan GPT-5, dan ini adalah analisis oleh teman lama kita Gary Marcus.
Poin intinya hanya satu kalimat: GPT-4 hingga 5 tidak sesederhana memperluas ukuran model, tetapi perubahan dalam seluruh paradigma AI. Dan dari sudut pandang ini, OpenAI, yang mengembangkan GPT-4, belum tentu perusahaan yang mencapai 5 pertama.
Dengan kata lain, ketika paradigma perlu diubah, akumulasi sebelumnya tidak terlalu dapat dipindahtangankan.
Tetapi sebelum kita masuk ke sudut pandang Marcus, mari kita tinjau secara singkat apa yang terjadi pada GPT-5 yang legendaris baru-baru ini dan apa yang dikatakan bidang opini publik.
Pada awalnya, Karpathy, salah satu pendiri OpenAI, tweeted bahwa H100 adalah topik hangat yang dicari oleh raksasa, dan semua orang peduli tentang siapa yang memiliki benda ini dan berapa banyak yang ada.
Kemudian ada banyak diskusi tentang berapa banyak GPU H100 yang perlu dilatih oleh setiap perusahaan.
Itu saja.
GPT-4 mungkin telah dilatih pada sekitar 10.000-25.000 A100
Meta sekitar 21000 A100
Tesla sekitar 7000 A100
Stabilitas AI adalah sekitar 5000 A100
Falcon-40B dilatih pada 384 A100
Mengenai hal ini, Musk juga berpartisipasi dalam diskusi, menurut Musk, pelatihan GPT-5 dapat memakan waktu antara 30.000 dan 50.000 H100.
Sebelumnya, Morgan Stanley juga mengatakan prediksi serupa, tetapi jumlah keseluruhannya sedikit kurang dari yang dikatakan Musk, sekitar 25.000 GPU.
Tentu saja, gelombang menempatkan GPT-5 di atas meja untuk berbicara, Sam Altman harus keluar untuk membantah rumor tersebut, menunjukkan bahwa OpenAI tidak melatih GPT-5.
Beberapa netizen yang berani berspekulasi bahwa alasan mengapa OpenAI membantahnya mungkin hanya mengubah nama model generasi berikutnya, bukan GPT-5.
Bagaimanapun, menurut Sam Altman, itu karena kurangnya GPU sehingga banyak rencana tertunda. Dia bahkan mengatakan bahwa dia tidak ingin terlalu banyak orang menggunakan GPT-4.
Keinginan untuk GPU di seluruh industri adalah sama. Menurut statistik, jumlah total GPU yang dibutuhkan oleh semua raksasa teknologi harus lebih dari 430.000. Itu jumlah uang yang sangat besar, hampir $ 15 miliar.
Tapi itu agak terlalu bundaran untuk mendorong GPT-5 mundur melalui jumlah GPU, jadi Suleyman, pendiri DeepMind, langsung "memukul" dalam sebuah wawancara, mengatakan bahwa OpenAI diam-diam melatih GPT-5, jangan sembunyikan.
Tentu saja, dalam wawancara lengkapnya, Suleyman juga berbicara tentang banyak gosip besar di industri, seperti mengapa DeepMind tertinggal dalam persaingan dengan OpenAI, jelas tidak terlalu tertinggal dalam waktu.
Ada juga banyak informasi orang dalam, seperti apa yang terjadi ketika Google mengakuisisinya pada saat itu. Tetapi ini tidak ada hubungannya dengan GPT-5, dan teman-teman yang tertarik dapat mengetahuinya sendiri.
Secara keseluruhan, gelombang ini adalah kemajuan terbaru GPT-5 oleh petinggi industri, yang membuat semua orang curiga.
Setelah itu, Sam Altman mengatakan dalam koneksi satu-satu, "Saya pikir sebelum 2030, AGI akan muncul, yang disebut GPT-10, yang lebih dari jumlah semua kecerdasan manusia."
Di satu sisi, ia dengan berani memprediksi, dan di sisi lain, ia menyangkal bahwa ia melatih GPT-5, yang menyulitkan orang lain untuk benar-benar mengetahui apa yang dilakukan OpenAI.
Dalam hubungan ini, Altman membayangkan banyak skenario masa depan. Misalnya, bagaimana dia memahami AGI, kapan AGI akan muncul, apa yang akan dilakukan OpenAI jika AGI benar-benar muncul, dan apa yang harus dilakukan seluruh umat manusia.
Tetapi dalam hal kemajuan aktual, Altman merencanakannya seperti ini, "Saya memberi tahu orang-orang di perusahaan bahwa tujuan kami adalah untuk meningkatkan kinerja prototipe kami sebesar 10 persen setiap 12 bulan."
"Jika Anda menetapkan target itu pada 20%, itu mungkin agak terlalu tinggi."
Itu pengaturan yang konkret. Tetapi hubungan antara 10% dan 20% dan GPT-5 tidak jelas.
Yang paling berharga adalah sebagai berikut - model multimodal Gobi OpenAI.
Fokusnya adalah pada persaingan panas antara Google dan OpenAI, pada tahap apa.
Sebelum berbicara tentang Gobi, kita harus berbicara tentang visi GPT. Model generasi ini sangat kuat. Ambil foto sketsa, kirimkan langsung ke GPT, dan situs web akan membuatnya untuk Anda dalam hitungan menit.
Belum lagi menulis kode.
Setelah GPT-vision selesai, OpenAI dapat meluncurkan model besar multimodal yang lebih kuat, dengan nama kode Gobi.
Tidak seperti GPT-4, Gobi dibangun dari bawah ke atas pada model multimodal.
Ini juga membangkitkan minat para penonton - apakah Gobi GPT-5 yang legendaris?
Tentu saja, kita belum tahu dari mana Gobi datang, dan tidak ada kabar pasti.
Suleyman bersikeras bahwa Sam Altman mungkin tidak mengatakan yang sebenarnya ketika dia baru-baru ini mengatakan bahwa mereka tidak melatih GPT-5.
Pemandangan Marcus
Untuk memulai dengan mengatakan bahwa sangat mungkin bahwa tidak ada produk pra-rilis dalam sejarah teknologi (dengan kemungkinan pengecualian iPhone) yang diharapkan lebih dari GPT-5.
Bukan hanya karena konsumen antusias tentang hal itu, itu bukan hanya karena sejumlah besar perusahaan berencana untuk memulai dari awal di sekitarnya, dan bahkan beberapa kebijakan luar negeri dibangun di sekitar GPT-5.
Selain itu, munculnya GPT-5 juga dapat memperburuk perang chip yang baru saja meningkat lebih lanjut.
Marcus mengatakan ada juga orang yang secara khusus menargetkan model skala yang diharapkan GPT-5 dan memintanya untuk menangguhkan produksi.
Tentu saja, ada beberapa orang yang sangat optimis, dan beberapa yang membayangkan bahwa GPT-5 dapat menghilangkan, atau setidaknya sangat menghilangkan, banyak kekhawatiran yang dimiliki orang tentang model yang ada, seperti tidak dapat diandalkan, kecenderungan bias mereka, dan kecenderungan mereka untuk menuangkan omong kosong otoritatif.
Tetapi Marcus percaya bahwa tidak pernah jelas baginya apakah hanya membangun model yang lebih besar benar-benar akan menyelesaikan masalah ini.
Hari ini, beberapa media asing menyampaikan berita bahwa proyek OpenAI lainnya, Arrakis, bertujuan untuk membuat model yang lebih kecil dan lebih efisien, tetapi dibatalkan oleh manajemen puncak karena tidak memenuhi tujuan yang diharapkan.
Marcus mengatakan bahwa hampir semua dari kita berpikir bahwa GPT-4 akan meluncurkan GPT-5 sesegera mungkin, dan bahwa GPT-5 sering dibayangkan jauh lebih kuat daripada GPT-4, jadi Sam mengejutkan semua orang ketika dia menyangkalnya.
Ada banyak spekulasi tentang hal ini, seperti masalah GPU yang disebutkan di atas, dan OpenAI mungkin tidak memiliki cukup uang tunai untuk melatih model-model ini (yang terkenal mahal untuk dilatih).
Tapi sekali lagi, OpenAI hampir tidak didanai dengan baik seperti startup mana pun. Untuk perusahaan yang baru saja mengumpulkan $ 10 miliar, bahkan $ 500 juta dalam pelatihan bukanlah hal yang mustahil.
Cara lain untuk mengatakannya adalah bahwa OpenAI menyadari bahwa biaya pelatihan model atau menjalankannya akan sangat tinggi, dan mereka tidak yakin apakah mereka dapat menghasilkan keuntungan dengan biaya tersebut.
Itu sepertinya masuk akal.
Argumen ketiga, dan pendapat Marcus, adalah bahwa OpenAI telah melakukan beberapa tes proof-of-concept selama presentasi Altman pada bulan Mei, tetapi mereka tidak senang dengan hasilnya.
Pada akhirnya, mereka dapat menyimpulkan bahwa jika GPT-5 hanyalah versi GPT-4 yang diperbesar, maka itu tidak akan memenuhi harapan dan jauh dari tujuan yang telah ditetapkan.
Jika hasilnya hanya mengecewakan atau bahkan lelucon, maka pelatihan GPT-5 tidak layak menghabiskan ratusan juta dolar.
Faktanya, LeCun berpikir dengan cara yang sama.
GPT berubah dari 4 menjadi 5, yang lebih dari sekadar 4plus. 4 hingga 5 harus menjadi jenis pembuat zaman.
Yang dibutuhkan di sini adalah paradigma baru, bukan hanya meningkatkan model.
Jadi, dalam hal perubahan paradigma, tentu saja, semakin kaya perusahaan, semakin besar kemungkinan untuk mencapai tujuan ini. Tetapi perbedaannya adalah bahwa itu tidak harus OpenAI lagi. Karena perubahan paradigma adalah jalur baru, pengalaman atau akumulasi masa lalu mungkin tidak banyak berguna.
Demikian pula, dari sudut pandang ekonomi, jika benar seperti yang disarankan Marcus, maka pengembangan GPT-5 setara dengan ditunda tanpa batas waktu. Tidak ada yang tahu kapan teknologi baru akan tiba.
Seperti sekarang kendaraan energi baru umumnya memiliki jangkauan ratusan kilometer, dan jika Anda ingin bertahan ribuan mil, Anda memerlukan teknologi baterai baru. Selain pengalaman dan modal, mungkin juga perlu sedikit keberuntungan dan kesempatan untuk menerobos teknologi baru.
Tetapi bagaimanapun juga, jika Marcus benar, maka nilai komersial GPT-5 pasti akan menyusut banyak di masa depan.
Sumber daya:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Marcus mengulas GPT-5! Paradigma baru sangat dibutuhkan, dan OpenAI tidak memiliki keuntungan
Sumber asli: Zhiyuan Baru
Berita tentang GPT-5 baru-baru ini menjadi viral lagi.
Dari awal pengungkapan bahwa OpenAI diam-diam melatih GPT-5, hingga klarifikasi kemudian oleh Sam Altman; Kemudian, ketika sampai pada berapa banyak GPU H100 yang dibutuhkan untuk melatih GPT-5, CEO DeepMind Suleyman mewawancarai OpenAI, yang diam-diam melatih GPT-5.
Dan kemudian ada babak baru spekulasi.
Diselingi dengan prediksi berani Altman bahwa GPT-10 akan muncul sebelum 2030, lebih dari jumlah semua kecerdasan manusia, adalah awan AGI nyata.
dan kemudian ke model multimodal OpenAI baru-baru ini yang disebut Gobi, dan panggilan kuat untuk model Gimini Google, persaingan antara dua raksasa akan segera dimulai.
Untuk sementara, kemajuan terbaru dalam model bahasa besar telah menjadi topik terpanas di lingkaran.
Mengutip puisi kuno, "masih memegang pipa dan setengah menutupi wajah" untuk menggambarkannya, itu cukup tepat. Saya hanya tidak tahu kapan saya benar-benar bisa "keluar setelah waktu yang lama".
Rekap Timeline
Apa yang akan kita bicarakan hari ini berhubungan langsung dengan GPT-5, dan ini adalah analisis oleh teman lama kita Gary Marcus.
Poin intinya hanya satu kalimat: GPT-4 hingga 5 tidak sesederhana memperluas ukuran model, tetapi perubahan dalam seluruh paradigma AI. Dan dari sudut pandang ini, OpenAI, yang mengembangkan GPT-4, belum tentu perusahaan yang mencapai 5 pertama.
Dengan kata lain, ketika paradigma perlu diubah, akumulasi sebelumnya tidak terlalu dapat dipindahtangankan.
Tetapi sebelum kita masuk ke sudut pandang Marcus, mari kita tinjau secara singkat apa yang terjadi pada GPT-5 yang legendaris baru-baru ini dan apa yang dikatakan bidang opini publik.
Pada awalnya, Karpathy, salah satu pendiri OpenAI, tweeted bahwa H100 adalah topik hangat yang dicari oleh raksasa, dan semua orang peduli tentang siapa yang memiliki benda ini dan berapa banyak yang ada.
GPT-4 mungkin telah dilatih pada sekitar 10.000-25.000 A100
Meta sekitar 21000 A100
Tesla sekitar 7000 A100
Stabilitas AI adalah sekitar 5000 A100
Falcon-40B dilatih pada 384 A100
Mengenai hal ini, Musk juga berpartisipasi dalam diskusi, menurut Musk, pelatihan GPT-5 dapat memakan waktu antara 30.000 dan 50.000 H100.
Sebelumnya, Morgan Stanley juga mengatakan prediksi serupa, tetapi jumlah keseluruhannya sedikit kurang dari yang dikatakan Musk, sekitar 25.000 GPU.
Tentu saja, gelombang menempatkan GPT-5 di atas meja untuk berbicara, Sam Altman harus keluar untuk membantah rumor tersebut, menunjukkan bahwa OpenAI tidak melatih GPT-5.
Beberapa netizen yang berani berspekulasi bahwa alasan mengapa OpenAI membantahnya mungkin hanya mengubah nama model generasi berikutnya, bukan GPT-5.
Keinginan untuk GPU di seluruh industri adalah sama. Menurut statistik, jumlah total GPU yang dibutuhkan oleh semua raksasa teknologi harus lebih dari 430.000. Itu jumlah uang yang sangat besar, hampir $ 15 miliar.
Tapi itu agak terlalu bundaran untuk mendorong GPT-5 mundur melalui jumlah GPU, jadi Suleyman, pendiri DeepMind, langsung "memukul" dalam sebuah wawancara, mengatakan bahwa OpenAI diam-diam melatih GPT-5, jangan sembunyikan.
Tentu saja, dalam wawancara lengkapnya, Suleyman juga berbicara tentang banyak gosip besar di industri, seperti mengapa DeepMind tertinggal dalam persaingan dengan OpenAI, jelas tidak terlalu tertinggal dalam waktu.
Ada juga banyak informasi orang dalam, seperti apa yang terjadi ketika Google mengakuisisinya pada saat itu. Tetapi ini tidak ada hubungannya dengan GPT-5, dan teman-teman yang tertarik dapat mengetahuinya sendiri.
Secara keseluruhan, gelombang ini adalah kemajuan terbaru GPT-5 oleh petinggi industri, yang membuat semua orang curiga.
Setelah itu, Sam Altman mengatakan dalam koneksi satu-satu, "Saya pikir sebelum 2030, AGI akan muncul, yang disebut GPT-10, yang lebih dari jumlah semua kecerdasan manusia."
Dalam hubungan ini, Altman membayangkan banyak skenario masa depan. Misalnya, bagaimana dia memahami AGI, kapan AGI akan muncul, apa yang akan dilakukan OpenAI jika AGI benar-benar muncul, dan apa yang harus dilakukan seluruh umat manusia.
Tetapi dalam hal kemajuan aktual, Altman merencanakannya seperti ini, "Saya memberi tahu orang-orang di perusahaan bahwa tujuan kami adalah untuk meningkatkan kinerja prototipe kami sebesar 10 persen setiap 12 bulan."
"Jika Anda menetapkan target itu pada 20%, itu mungkin agak terlalu tinggi."
Yang paling berharga adalah sebagai berikut - model multimodal Gobi OpenAI.
Fokusnya adalah pada persaingan panas antara Google dan OpenAI, pada tahap apa.
Sebelum berbicara tentang Gobi, kita harus berbicara tentang visi GPT. Model generasi ini sangat kuat. Ambil foto sketsa, kirimkan langsung ke GPT, dan situs web akan membuatnya untuk Anda dalam hitungan menit.
Belum lagi menulis kode.
Tidak seperti GPT-4, Gobi dibangun dari bawah ke atas pada model multimodal.
Ini juga membangkitkan minat para penonton - apakah Gobi GPT-5 yang legendaris?
Suleyman bersikeras bahwa Sam Altman mungkin tidak mengatakan yang sebenarnya ketika dia baru-baru ini mengatakan bahwa mereka tidak melatih GPT-5.
Pemandangan Marcus
Untuk memulai dengan mengatakan bahwa sangat mungkin bahwa tidak ada produk pra-rilis dalam sejarah teknologi (dengan kemungkinan pengecualian iPhone) yang diharapkan lebih dari GPT-5.
Bukan hanya karena konsumen antusias tentang hal itu, itu bukan hanya karena sejumlah besar perusahaan berencana untuk memulai dari awal di sekitarnya, dan bahkan beberapa kebijakan luar negeri dibangun di sekitar GPT-5.
Selain itu, munculnya GPT-5 juga dapat memperburuk perang chip yang baru saja meningkat lebih lanjut.
Marcus mengatakan ada juga orang yang secara khusus menargetkan model skala yang diharapkan GPT-5 dan memintanya untuk menangguhkan produksi.
Tentu saja, ada beberapa orang yang sangat optimis, dan beberapa yang membayangkan bahwa GPT-5 dapat menghilangkan, atau setidaknya sangat menghilangkan, banyak kekhawatiran yang dimiliki orang tentang model yang ada, seperti tidak dapat diandalkan, kecenderungan bias mereka, dan kecenderungan mereka untuk menuangkan omong kosong otoritatif.
Tetapi Marcus percaya bahwa tidak pernah jelas baginya apakah hanya membangun model yang lebih besar benar-benar akan menyelesaikan masalah ini.
Hari ini, beberapa media asing menyampaikan berita bahwa proyek OpenAI lainnya, Arrakis, bertujuan untuk membuat model yang lebih kecil dan lebih efisien, tetapi dibatalkan oleh manajemen puncak karena tidak memenuhi tujuan yang diharapkan.
Marcus mengatakan bahwa hampir semua dari kita berpikir bahwa GPT-4 akan meluncurkan GPT-5 sesegera mungkin, dan bahwa GPT-5 sering dibayangkan jauh lebih kuat daripada GPT-4, jadi Sam mengejutkan semua orang ketika dia menyangkalnya.
Ada banyak spekulasi tentang hal ini, seperti masalah GPU yang disebutkan di atas, dan OpenAI mungkin tidak memiliki cukup uang tunai untuk melatih model-model ini (yang terkenal mahal untuk dilatih).
Tapi sekali lagi, OpenAI hampir tidak didanai dengan baik seperti startup mana pun. Untuk perusahaan yang baru saja mengumpulkan $ 10 miliar, bahkan $ 500 juta dalam pelatihan bukanlah hal yang mustahil.
Cara lain untuk mengatakannya adalah bahwa OpenAI menyadari bahwa biaya pelatihan model atau menjalankannya akan sangat tinggi, dan mereka tidak yakin apakah mereka dapat menghasilkan keuntungan dengan biaya tersebut.
Itu sepertinya masuk akal.
Argumen ketiga, dan pendapat Marcus, adalah bahwa OpenAI telah melakukan beberapa tes proof-of-concept selama presentasi Altman pada bulan Mei, tetapi mereka tidak senang dengan hasilnya.
Pada akhirnya, mereka dapat menyimpulkan bahwa jika GPT-5 hanyalah versi GPT-4 yang diperbesar, maka itu tidak akan memenuhi harapan dan jauh dari tujuan yang telah ditetapkan.
Jika hasilnya hanya mengecewakan atau bahkan lelucon, maka pelatihan GPT-5 tidak layak menghabiskan ratusan juta dolar.
Faktanya, LeCun berpikir dengan cara yang sama.
GPT berubah dari 4 menjadi 5, yang lebih dari sekadar 4plus. 4 hingga 5 harus menjadi jenis pembuat zaman.
Yang dibutuhkan di sini adalah paradigma baru, bukan hanya meningkatkan model.
Jadi, dalam hal perubahan paradigma, tentu saja, semakin kaya perusahaan, semakin besar kemungkinan untuk mencapai tujuan ini. Tetapi perbedaannya adalah bahwa itu tidak harus OpenAI lagi. Karena perubahan paradigma adalah jalur baru, pengalaman atau akumulasi masa lalu mungkin tidak banyak berguna.
Demikian pula, dari sudut pandang ekonomi, jika benar seperti yang disarankan Marcus, maka pengembangan GPT-5 setara dengan ditunda tanpa batas waktu. Tidak ada yang tahu kapan teknologi baru akan tiba.
Seperti sekarang kendaraan energi baru umumnya memiliki jangkauan ratusan kilometer, dan jika Anda ingin bertahan ribuan mil, Anda memerlukan teknologi baterai baru. Selain pengalaman dan modal, mungkin juga perlu sedikit keberuntungan dan kesempatan untuk menerobos teknologi baru.
Tetapi bagaimanapun juga, jika Marcus benar, maka nilai komersial GPT-5 pasti akan menyusut banyak di masa depan.
Sumber daya: