Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
GPT-5 ile ilgili haberler son zamanlarda yeniden viral oldu.
OpenAI'nin GPT-5'i gizlice eğittiğinin ortaya çıkmasının en başından Sam Altman'ın daha sonraki açıklamasına kadar; Daha sonra, GPT-5'i eğitmek için kaç H100 GPU'ya ihtiyaç duyulduğu söz konusu olduğunda, DeepMind'ın CEO'su Suleyman, GPT-5'i gizlice eğiten OpenAI ile röportaj yaptı.
Ve sonra yeni bir spekülasyon turu oldu.
Altman'ın GPT-10'un 2030'dan önce ortaya çıkacağına dair cesur tahmininin arasına, tüm insan zekasının toplamından daha fazlası gerçek bir AGI bulutu serpiştirilmiştir.
ve ardından Gobi adlı son OpenAI multimodal modeline ve Google'ın Gimini modeline yönelik güçlü çağrıya, iki dev arasındaki rekabet başlamak üzere.
Bir süredir, büyük dil modellerindeki en son gelişmeler, çemberdeki en sıcak konu haline geldi.
Eski bir şiiri başka kelimelerle ifade etmek gerekirse, onu tanımlamak için "hala pipayı tutmak ve yüzü yarı örtmek" oldukça uygundur. Sadece ne zaman gerçekten "uzun bir süre sonra ortaya çıkabileceğimi" bilmiyorum.
Zaman Çizelgesi Özeti
Bugün bahsedeceğimiz şey doğrudan GPT-5 ile ilgili ve eski dostumuz Gary Marcus'un bir analizi.
Temel nokta sadece bir cümledir: GPT-4'ten 5'e, modelin boyutunu genişletmek kadar basit değil, tüm yapay zeka paradigmasında bir değişikliktir. Ve bu açıdan bakıldığında, GPT-4'ü geliştiren OpenAI, mutlaka 5'e ilk ulaşan şirket değil.
Başka bir deyişle, paradigmanın değişmesi gerektiğinde, önceki birikim çok fazla aktarılamaz.
Ancak Marcus'un bakış açısına girmeden önce, efsanevi GPT-5'e son zamanlarda neler olduğunu ve kamuoyu alanının neler söylediğini kısaca gözden geçirelim.
İlk başta, OpenAI'nin kurucu ortağı Karpathy, H100'ün devler tarafından aranan sıcak bir konu olduğunu ve herkesin bu şeye kimin sahip olduğunu ve kaç tane olduğunu umursadığını tweetledi.
Ardından, her şirketin eğitmek için kaç tane H100 GPU'ya ihtiyacı olduğu konusunda çok fazla tartışma yapıldı.
Hepsi bu kadar.
GPT-4, yaklaşık 10.000-25.000 A100 üzerinde eğitilmiş olabilir
21000 A100 hakkında meta
Tesla yaklaşık 7000 A100
Kararlılık AI yaklaşık 5000 A100'dür
Falcon-40B, 384 A100 üzerinde eğitildi
Bununla ilgili olarak Musk da tartışmaya katıldı, Musk'a göre GPT-5 eğitimi 30.000 ila 50.000 H100 arasında sürebilir.
Daha önce, Morgan Stanley de benzer bir tahminde bulundu, ancak toplam sayı Musk'ın söylediğinden biraz daha az, yaklaşık 25.000 GPU.
Tabii ki, GPT-5'i konuşmak için masaya koyma dalgası, Sam Altman'ın söylentileri çürütmek için ortaya çıkması gerekiyor ve OpenAI'nin GPT-5'i eğitmediğini gösteriyor.
Bazı cesur netizenler, OpenAI'nin bunu reddetmesinin nedeninin muhtemelen GPT-5'in değil, yeni nesil modelin adını değiştirmek olduğunu iddia etti.
Her neyse, Sam Altman'a göre, GPU'ların olmaması nedeniyle birçok plan ertelendi. Hatta çok fazla insanın GPT-4 kullanmasını istemediğini söyledi.
Sektördeki GPU'lara duyulan özlem aynıdır. İstatistiklere göre, tüm teknoloji devlerinin ihtiyaç duyduğu toplam GPU sayısı 430.000'den fazla olmalıdır. Bu astronomik bir para, neredeyse 15 milyar dolar.
Ancak GPT-5'i GPU miktarında geriye doğru itmek biraz fazla dolambaçlıydı, bu nedenle DeepMind'ın kurucusu Süleyman, bir röportajda OpenAI'nin GPT-5'i gizlice eğittiğini, bunu saklamayın diyerek doğrudan "dövüldü".
Tabii ki, röportajın tamamında Süleyman, DeepMind'ın OpenAI ile rekabette neden geride kaldığı gibi sektördeki birçok büyük dedikodudan da bahsetti, açıkçası zaman içinde çok fazla gecikmiyor.
Ayrıca, o sırada Google tarafından satın alındığında ne olduğu gibi birçok içeriden bilgi de vardı. Ancak bunların GPT-5 ile pek ilgisi yoktur ve ilgilenen arkadaşlar kendileri öğrenebilirler.
Sonuç olarak, bu dalga, GPT-5'in endüstri kodamanlarının en son ilerlemesidir ve bu da herkesi şüphelendirir.
Bundan sonra Sam Altman bire bir bağlantıda, "Sanırım 2030'dan önce, tüm insan zekasının toplamından daha fazlası olan GPT-10 adlı AGI ortaya çıkacak" dedi.
Bir yandan cesurca tahmin ediyor, diğer yandan GPT-5'i eğittiğini reddediyor, bu da başkalarının OpenAI'nin ne yaptığını gerçekten bilmesini zorlaştırıyor.
Bu bağlamda, Altman birçok gelecek senaryosu öngördü. Örneğin, AGI'yi nasıl anlıyor, AGI ne zaman ortaya çıkacak, AGI gerçekten ortaya çıkarsa OpenAI ne yapacak ve tüm insanlık ne yapmalı.
Ancak gerçek ilerleme açısından, Altman bunu şu şekilde planlıyor: "Şirketteki insanlara hedefimizin prototiplerimizin performansını her 12 ayda bir yüzde 10 artırmak olduğunu söyledim."
"Bu hedefi %20 olarak belirlerseniz, biraz fazla yüksek olabilir."
Bu somut bir düzenleme. Ancak %10 ile %20 ile GPT-5 arasındaki bağlantı net değil.
En değerlisi şudur - OpenAI'nin Gobi multimodal modeli.
Odak noktası, Google ve OpenAI arasındaki beyaz-sıcak rekabetin hangi aşamada olduğudur.
Gobi hakkında konuşmadan önce GPT vizyonundan bahsetmeliyiz. Bu nesil modeller çok güçlü. Bir eskiz fotoğrafı çekin, doğrudan GPT'ye gönderin ve web sitesi bunu sizin için dakikalar içinde yapacaktır.
Kod yazmaktan bahsetmiyorum bile.
GPT vizyonu sona erdikten sonra OpenAI, kod adı Gobi olan daha güçlü bir çok modlu büyük model başlatabilir.
GPT-4'ten farklı olarak Gobi, sıfırdan çok modlu bir model üzerine inşa edildi.
Bu aynı zamanda izleyicilerin de ilgisini çekti - Gobi efsanevi GPT-5 mi?
Tabii ki, Gobi'nin henüz nereye geldiğini bilmiyoruz ve kesin bir haber yok.
Süleyman, Sam Altman'ın yakın zamanda GPT-5'i eğitmediklerini söylediğinde doğruyu söylemiyor olabileceği konusunda kararlı.
Marcus Görünümü
Başlangıç olarak, teknoloji tarihinde hiçbir yayın öncesi ürünün (iPhone hariç) GPT-5'ten daha fazla beklenmemesinin oldukça olası olduğunu söyleyerek başlamak gerekirse.
Bunun nedeni sadece tüketicilerin bu konuda hevesli olması değil, sadece bir sürü şirketin bu konuda sıfırdan başlamayı planlaması ve hatta bazı dış politikaların GPT-5 etrafında inşa edilmesi değil.
Ek olarak, GPT-5'in ortaya çıkışı, daha da tırmanan çip savaşlarını daha da şiddetlendirebilir.
Marcus, GPT-5'in beklenen ölçek modelini özellikle hedef alan ve üretimi askıya almasını isteyen insanlar da olduğunu söyledi.
Tabii ki, çok iyimser olan epeyce insan var ve bazıları GPT-5'in insanların güvenilmezlikleri, önyargılı eğilimleri ve otoriter saçmalıklar dökme eğilimleri gibi mevcut modellerle ilgili endişelerinin çoğunu ortadan kaldırabileceğini veya en azından büyük ölçüde ortadan kaldırabileceğini hayal ediyor.
Ancak Marcus, daha büyük bir model inşa etmenin bu sorunları gerçekten çözüp çözmeyeceğinin kendisi için hiçbir zaman net olmadığına inanıyor.
Bugün bazı yabancı medya organları, OpenAI'nin bir başka projesi olan Arrakis'in daha küçük ve daha verimli modeller yapmayı hedeflediği, ancak beklenen hedefleri karşılamadığı için üst yönetim tarafından iptal edildiği haberini verdi.
Marcus, neredeyse hepimizin GPT-4'ün GPT-5'i mümkün olan en kısa sürede piyasaya süreceğini düşündüğünü ve GPT-5'in genellikle GPT-4'ten çok daha güçlü olduğunun hayal edildiğini, bu yüzden Sam'in bunu reddettiğinde herkesi şaşırttığını söyledi.
Bu konuda, yukarıda bahsedilen GPU sorunları gibi pek çok spekülasyon yapıldı ve OpenAI'nin bu modelleri eğitmek için yeterli parası olmayabilir (ki bunların eğitilmesi çok pahalıdır).
Ancak yine de OpenAI, herhangi bir girişim kadar iyi finanse edilmiyor. 10 milyar dolar yatırım alan bir şirket için 500 milyon dolarlık eğitim bile imkansız değil.
Başka bir deyişle, OpenAI'nin bir modeli eğitmenin veya çalıştırmanın maliyetlerinin çok yüksek olacağını fark etmesi ve bu maliyetlerden kar elde edip edemeyeceklerinden emin olmamalarıdır.
Bu biraz mantıklı görünüyor.
Üçüncü argüman ve Marcus'un görüşü, OpenAI'nin Altman'ın Mayıs ayındaki sunumu sırasında bazı kavram kanıtı testleri yaptığı, ancak sonuçlardan memnun olmadıklarıdır.
Sonunda, GPT-5'in GPT-4'ün yalnızca büyütülmüş bir versiyonu olması durumunda beklentileri karşılamayacağı ve önceden belirlenmiş hedeflerin çok gerisinde kalacağı sonucuna varabilirler.
Sonuçlar yalnızca hayal kırıklığı yaratıyorsa veya hatta bir şakaysa, GPT-5'i eğitmek yüz milyonlarca dolar harcamaya değmez.
Aslında LeCun da aynı şekilde düşünüyor.
GPT 4'ten 5'e çıkıyor, bu da 4plus'tan daha fazlası. 4 ila 5 çığır açan tür olmalıdır.
Burada ihtiyaç duyulan şey, sadece modeli büyütmek değil, yeni bir paradigmadır.
Dolayısıyla, paradigma değişikliği açısından, elbette, şirket ne kadar zenginse, bu hedefe ulaşma olasılığı o kadar yüksektir. Ancak aradaki fark, artık OpenAI olmak zorunda olmamasıdır. Paradigma değişikliği yeni bir yol olduğu için, geçmiş deneyim veya birikim pek işe yaramayabilir.
Benzer şekilde, ekonomik açıdan bakıldığında, Marcus'un önerdiği gibi doğruysa, GPT-5'in geliştirilmesi süresiz olarak ertelenmeye eşdeğerdir. Yeni teknolojinin ne zaman geleceğini kimse bilmiyor.
Artık yeni enerji araçları genellikle yüzlerce kilometre menzile sahip ve binlerce mil dayanmak istiyorsanız yeni pil teknolojisine ihtiyacınız var. Tecrübe ve sermayeye ek olarak, yeni teknolojileri kırmak için biraz şans ve şans da gerekebilir.
Ancak her halükarda, Marcus haklıysa, GPT-5'in ticari değeri gelecekte kesinlikle çok küçülecektir.
Kaynaklar:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Marcus, GPT-5'i inceliyor! Acilen yeni bir paradigmaya ihtiyaç var ve OpenAI'nin hiçbir avantajı yok
Orijinal kaynak: Yeni Zhiyuan
GPT-5 ile ilgili haberler son zamanlarda yeniden viral oldu.
OpenAI'nin GPT-5'i gizlice eğittiğinin ortaya çıkmasının en başından Sam Altman'ın daha sonraki açıklamasına kadar; Daha sonra, GPT-5'i eğitmek için kaç H100 GPU'ya ihtiyaç duyulduğu söz konusu olduğunda, DeepMind'ın CEO'su Suleyman, GPT-5'i gizlice eğiten OpenAI ile röportaj yaptı.
Ve sonra yeni bir spekülasyon turu oldu.
Altman'ın GPT-10'un 2030'dan önce ortaya çıkacağına dair cesur tahmininin arasına, tüm insan zekasının toplamından daha fazlası gerçek bir AGI bulutu serpiştirilmiştir.
ve ardından Gobi adlı son OpenAI multimodal modeline ve Google'ın Gimini modeline yönelik güçlü çağrıya, iki dev arasındaki rekabet başlamak üzere.
Bir süredir, büyük dil modellerindeki en son gelişmeler, çemberdeki en sıcak konu haline geldi.
Eski bir şiiri başka kelimelerle ifade etmek gerekirse, onu tanımlamak için "hala pipayı tutmak ve yüzü yarı örtmek" oldukça uygundur. Sadece ne zaman gerçekten "uzun bir süre sonra ortaya çıkabileceğimi" bilmiyorum.
Zaman Çizelgesi Özeti
Bugün bahsedeceğimiz şey doğrudan GPT-5 ile ilgili ve eski dostumuz Gary Marcus'un bir analizi.
Temel nokta sadece bir cümledir: GPT-4'ten 5'e, modelin boyutunu genişletmek kadar basit değil, tüm yapay zeka paradigmasında bir değişikliktir. Ve bu açıdan bakıldığında, GPT-4'ü geliştiren OpenAI, mutlaka 5'e ilk ulaşan şirket değil.
Başka bir deyişle, paradigmanın değişmesi gerektiğinde, önceki birikim çok fazla aktarılamaz.
Ancak Marcus'un bakış açısına girmeden önce, efsanevi GPT-5'e son zamanlarda neler olduğunu ve kamuoyu alanının neler söylediğini kısaca gözden geçirelim.
İlk başta, OpenAI'nin kurucu ortağı Karpathy, H100'ün devler tarafından aranan sıcak bir konu olduğunu ve herkesin bu şeye kimin sahip olduğunu ve kaç tane olduğunu umursadığını tweetledi.
GPT-4, yaklaşık 10.000-25.000 A100 üzerinde eğitilmiş olabilir
21000 A100 hakkında meta
Tesla yaklaşık 7000 A100
Kararlılık AI yaklaşık 5000 A100'dür
Falcon-40B, 384 A100 üzerinde eğitildi
Bununla ilgili olarak Musk da tartışmaya katıldı, Musk'a göre GPT-5 eğitimi 30.000 ila 50.000 H100 arasında sürebilir.
Daha önce, Morgan Stanley de benzer bir tahminde bulundu, ancak toplam sayı Musk'ın söylediğinden biraz daha az, yaklaşık 25.000 GPU.
Tabii ki, GPT-5'i konuşmak için masaya koyma dalgası, Sam Altman'ın söylentileri çürütmek için ortaya çıkması gerekiyor ve OpenAI'nin GPT-5'i eğitmediğini gösteriyor.
Bazı cesur netizenler, OpenAI'nin bunu reddetmesinin nedeninin muhtemelen GPT-5'in değil, yeni nesil modelin adını değiştirmek olduğunu iddia etti.
Sektördeki GPU'lara duyulan özlem aynıdır. İstatistiklere göre, tüm teknoloji devlerinin ihtiyaç duyduğu toplam GPU sayısı 430.000'den fazla olmalıdır. Bu astronomik bir para, neredeyse 15 milyar dolar.
Ancak GPT-5'i GPU miktarında geriye doğru itmek biraz fazla dolambaçlıydı, bu nedenle DeepMind'ın kurucusu Süleyman, bir röportajda OpenAI'nin GPT-5'i gizlice eğittiğini, bunu saklamayın diyerek doğrudan "dövüldü".
Tabii ki, röportajın tamamında Süleyman, DeepMind'ın OpenAI ile rekabette neden geride kaldığı gibi sektördeki birçok büyük dedikodudan da bahsetti, açıkçası zaman içinde çok fazla gecikmiyor.
Ayrıca, o sırada Google tarafından satın alındığında ne olduğu gibi birçok içeriden bilgi de vardı. Ancak bunların GPT-5 ile pek ilgisi yoktur ve ilgilenen arkadaşlar kendileri öğrenebilirler.
Sonuç olarak, bu dalga, GPT-5'in endüstri kodamanlarının en son ilerlemesidir ve bu da herkesi şüphelendirir.
Bundan sonra Sam Altman bire bir bağlantıda, "Sanırım 2030'dan önce, tüm insan zekasının toplamından daha fazlası olan GPT-10 adlı AGI ortaya çıkacak" dedi.
Bu bağlamda, Altman birçok gelecek senaryosu öngördü. Örneğin, AGI'yi nasıl anlıyor, AGI ne zaman ortaya çıkacak, AGI gerçekten ortaya çıkarsa OpenAI ne yapacak ve tüm insanlık ne yapmalı.
Ancak gerçek ilerleme açısından, Altman bunu şu şekilde planlıyor: "Şirketteki insanlara hedefimizin prototiplerimizin performansını her 12 ayda bir yüzde 10 artırmak olduğunu söyledim."
"Bu hedefi %20 olarak belirlerseniz, biraz fazla yüksek olabilir."
En değerlisi şudur - OpenAI'nin Gobi multimodal modeli.
Odak noktası, Google ve OpenAI arasındaki beyaz-sıcak rekabetin hangi aşamada olduğudur.
Gobi hakkında konuşmadan önce GPT vizyonundan bahsetmeliyiz. Bu nesil modeller çok güçlü. Bir eskiz fotoğrafı çekin, doğrudan GPT'ye gönderin ve web sitesi bunu sizin için dakikalar içinde yapacaktır.
Kod yazmaktan bahsetmiyorum bile.
GPT-4'ten farklı olarak Gobi, sıfırdan çok modlu bir model üzerine inşa edildi.
Bu aynı zamanda izleyicilerin de ilgisini çekti - Gobi efsanevi GPT-5 mi?
Süleyman, Sam Altman'ın yakın zamanda GPT-5'i eğitmediklerini söylediğinde doğruyu söylemiyor olabileceği konusunda kararlı.
Marcus Görünümü
Başlangıç olarak, teknoloji tarihinde hiçbir yayın öncesi ürünün (iPhone hariç) GPT-5'ten daha fazla beklenmemesinin oldukça olası olduğunu söyleyerek başlamak gerekirse.
Bunun nedeni sadece tüketicilerin bu konuda hevesli olması değil, sadece bir sürü şirketin bu konuda sıfırdan başlamayı planlaması ve hatta bazı dış politikaların GPT-5 etrafında inşa edilmesi değil.
Ek olarak, GPT-5'in ortaya çıkışı, daha da tırmanan çip savaşlarını daha da şiddetlendirebilir.
Marcus, GPT-5'in beklenen ölçek modelini özellikle hedef alan ve üretimi askıya almasını isteyen insanlar da olduğunu söyledi.
Tabii ki, çok iyimser olan epeyce insan var ve bazıları GPT-5'in insanların güvenilmezlikleri, önyargılı eğilimleri ve otoriter saçmalıklar dökme eğilimleri gibi mevcut modellerle ilgili endişelerinin çoğunu ortadan kaldırabileceğini veya en azından büyük ölçüde ortadan kaldırabileceğini hayal ediyor.
Ancak Marcus, daha büyük bir model inşa etmenin bu sorunları gerçekten çözüp çözmeyeceğinin kendisi için hiçbir zaman net olmadığına inanıyor.
Bugün bazı yabancı medya organları, OpenAI'nin bir başka projesi olan Arrakis'in daha küçük ve daha verimli modeller yapmayı hedeflediği, ancak beklenen hedefleri karşılamadığı için üst yönetim tarafından iptal edildiği haberini verdi.
Marcus, neredeyse hepimizin GPT-4'ün GPT-5'i mümkün olan en kısa sürede piyasaya süreceğini düşündüğünü ve GPT-5'in genellikle GPT-4'ten çok daha güçlü olduğunun hayal edildiğini, bu yüzden Sam'in bunu reddettiğinde herkesi şaşırttığını söyledi.
Bu konuda, yukarıda bahsedilen GPU sorunları gibi pek çok spekülasyon yapıldı ve OpenAI'nin bu modelleri eğitmek için yeterli parası olmayabilir (ki bunların eğitilmesi çok pahalıdır).
Ancak yine de OpenAI, herhangi bir girişim kadar iyi finanse edilmiyor. 10 milyar dolar yatırım alan bir şirket için 500 milyon dolarlık eğitim bile imkansız değil.
Başka bir deyişle, OpenAI'nin bir modeli eğitmenin veya çalıştırmanın maliyetlerinin çok yüksek olacağını fark etmesi ve bu maliyetlerden kar elde edip edemeyeceklerinden emin olmamalarıdır.
Bu biraz mantıklı görünüyor.
Üçüncü argüman ve Marcus'un görüşü, OpenAI'nin Altman'ın Mayıs ayındaki sunumu sırasında bazı kavram kanıtı testleri yaptığı, ancak sonuçlardan memnun olmadıklarıdır.
Sonunda, GPT-5'in GPT-4'ün yalnızca büyütülmüş bir versiyonu olması durumunda beklentileri karşılamayacağı ve önceden belirlenmiş hedeflerin çok gerisinde kalacağı sonucuna varabilirler.
Sonuçlar yalnızca hayal kırıklığı yaratıyorsa veya hatta bir şakaysa, GPT-5'i eğitmek yüz milyonlarca dolar harcamaya değmez.
Aslında LeCun da aynı şekilde düşünüyor.
GPT 4'ten 5'e çıkıyor, bu da 4plus'tan daha fazlası. 4 ila 5 çığır açan tür olmalıdır.
Burada ihtiyaç duyulan şey, sadece modeli büyütmek değil, yeni bir paradigmadır.
Dolayısıyla, paradigma değişikliği açısından, elbette, şirket ne kadar zenginse, bu hedefe ulaşma olasılığı o kadar yüksektir. Ancak aradaki fark, artık OpenAI olmak zorunda olmamasıdır. Paradigma değişikliği yeni bir yol olduğu için, geçmiş deneyim veya birikim pek işe yaramayabilir.
Benzer şekilde, ekonomik açıdan bakıldığında, Marcus'un önerdiği gibi doğruysa, GPT-5'in geliştirilmesi süresiz olarak ertelenmeye eşdeğerdir. Yeni teknolojinin ne zaman geleceğini kimse bilmiyor.
Artık yeni enerji araçları genellikle yüzlerce kilometre menzile sahip ve binlerce mil dayanmak istiyorsanız yeni pil teknolojisine ihtiyacınız var. Tecrübe ve sermayeye ek olarak, yeni teknolojileri kırmak için biraz şans ve şans da gerekebilir.
Ancak her halükarda, Marcus haklıysa, GPT-5'in ticari değeri gelecekte kesinlikle çok küçülecektir.
Kaynaklar: