Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Yaklaşan AI çip hesaplaşması karşısında, birçok çip girişimi, NVIDIA'nın tekelini tek bir hamlede kırmaya çalışmak ve ummak için can atıyor. Ve AMD'nin MI300'ü, GPT-100 modelini 100K bağlam penceresiyle dağıtırken aslında H42'den daha iyi çalışıyor mu?
Tenstorrent CEO'su David Bennett, sektörümüzde çoğu girişimin iflas ettiğini açıkça belirtti.
Nasıl hayatta kalırsın? Startup'lara esnek kalmalarını ve kendilerini dar kullanım durumlarıyla sınırlamaktan kaçınmalarını tavsiye ediyor.
Bennett niş bir pazardan değil, SiMa.ai'dan Cerebras'a kadar düzinelerce şirketten oluşan geniş bir gruptan bahsediyor. Birlikte, pazar lideri Nvidia'yı ele geçirmek için milyarlarca dolarlık risk sermayesi topladılar.
Bennett bunu biliyor. On yıldan fazla bir süre AMD'de satış alanında çalıştı.
Ve şu anki işvereni, Tenstorrent'in CEO'su, bir donanım efsanesi olan Jim Keller. Apple'ın iPhone 4 ve iPad 2'yi destekleyen A4 ve A4 işlemcilerini geliştirdi ve 2016'dan 2018'e kadar Tesla'nın sürücüsüz arabalarındaki donanım çalışmalarından sorumluydu.
Fidelity Ventures ve Hyundai Motor gibi yatırımcılardan 300 milyon dolardan fazla para toplayan Tenstorrent, çiplerden bulut bilişime kadar her şeyi sağlamak için Bennett'in tavsiyesine uydu.
Bennett, günümüzün çip girişimlerinin kabaca "yapay zeka için özel donanım yapmak" ile "hakim modele güvenmek" arasında kaldığını söyledi.
NVIDIA'nın Dezavantajları: Sıfırdan çip yapmak zordur
NVIDIA'nın AI çip GPU girişiminin hikayesi aslında günümüzün çip girişimlerine bir avantaj sağlıyor.
Grafik işleme birimi başlangıçta bilgisayar grafiklerine güç sağlamak için tasarlandı, ancak yalnızca paralel olarak birden fazla hesaplama yapabilme yeteneği nedeniyle AI uygulamalarında iz bıraktı.
Bununla birlikte, sürpriz aynı zamanda Nvidia'yı da olumsuz etkiledi - Nvidia'nın mevcut GPU işini etkilemeden sıfırdan çip oluşturması artık zor, bu da gelişmekte olan girişimlere yapay zeka için özel olarak oluşturulmuş yeni donanımlar oluşturma fırsatı veriyor.
Örneğin, Tenstorrent mühendisleri Grayskull çipini, gereksiz bilgilerin kaldırılabileceği gelecekteki seyrek sinir ağları için tasarladılar.
Yine de Bennett, büyük dil modelleri için çip oluşturmaya odaklanan girişimlerin Transformer mimarisine çok sıkı bir şekilde bağlı olduğunu savunuyor.
Bu mimaride, Transformer tabanlı modeller esasen ortaya çıkma olasılığı en yüksek olan bir sonraki kelimeyi tahmin ediyor, bu nedenle akıl yürütmeden ziyade olasılığa dayalı yanıtlar ürettikleri için eleştirildiler.
Bu, bu model mimarilerinin mevcut AI patlamasından sağ çıkamayacağı anlamına gelir.
Sonuçta, günümüzün LLM'leri, hızlı gelişme hızı nedeniyle nispeten kısa ömürlüdür. Dün sıcak olan modeller bir veya iki hafta içinde kaybolabilir.
Donanım firmaları için oldukça riskli olan bir diğer alan ise özellikle çıkarım amaçlı çip üretimidir.
Bunun bir temsilcisi, gelecek yılın ilk yarısında çıkarım için özel bir çip yayınlamayı planlayan çip geliştiricisi D-Matrix'tir.
İlk bakışta, bu strateji iyi görünüyor. Üretken yapay zeka uygulamalarının kullanıcıları artık kendi modellerini sıfırdan oluşturmak yerine mevcut tescilli veya açık kaynaklı modellerden giderek daha fazla yararlanıyor.
Bu nedenle, birçok kişi model eğitiminden ziyade model çıkarımına daha fazla para harcanması gerektiğine inanıyor.
Bu, iş açısından akıllıca bir hareket olsa da, Bennett, çıkarıma çok dar bir şekilde odaklanmanın, donanım geliştiricilerini daha popüler olabilecek diğer kullanım durumlarına hizmet etmekten caydırabileceğini savunuyor.
Örneğin, modeli çalıştırmak için gereken düşük hassasiyetli hesaplamalar için saf bir çıkarım yongası yeterlidir.
Bununla birlikte, geliştiriciler büyük modellere ince ayar yapmak istiyorlarsa, büyük olasılıkla daha yüksek hassasiyetli hesaplamaları işleyebilecek yongalara ihtiyaç duyacaklardır.
GPU ve CPU'yu bir araya getiren son teknoloji çipler
Yaklaşan AI çip hesaplaşmasında hayatta kalabilmek için çip geliştiricilerinin çiplerinin mimarisini değiştirmesi gerekiyor.
Günümüzde çoğu yonga GPU'yu CPU'dan ayırıyor. İlki, aynı anda birden fazla hesaplama yapabilirken, ikincisi daha genel talimatların yürütülmesinden ve daha geniş bir sistem operasyonu yelpazesinin yönetilmesinden sorumludur.
Bununla birlikte, Nvidia'nın Grace Hopper süper çipi ve AMD'nin yakında çıkacak olan MI300A'sı gibi giderek artan sayıda son teknoloji çip, GPU'ları ve CPU'ları bir araya getiriyor.
Bu düzen, CPU'nun verileri daha hızlı hazırlamasına ve verileri GPU'ya yüklemesine olanak tanıyarak modelin eğitimini hızlandırır.
Ayrıca, Nvidia'nın pazar hakimiyetini kırmak isteyen donanım girişimlerinin karşılaştığı en büyük engellerden biri de yazılım avantajıdır.
Nvidia'nın makine öğrenimi uygulamaları yazmak için kullandığı Cuda yazılımı sadece kendi çipleri üzerinde çalışabiliyor. Bu da geliştiricileri etkili bir şekilde Nvidia GPU'lara kilitler.
AMD MI300, GPT-4'ü daha 6 çalıştırıyor
Nvidia'nın hegemonyasını sarsmak çok mu zor?
Yarı analiz muhabirleri Dylan Patel ve Myron Xie kısa süre önce AMD'nin MI300'ünün maliyet performansı açısından NVIDIA'nın H100'ünden önemli ölçüde daha iyi olacağını yayınladı!
Yeni MI300'ün piyasaya sürülmesiyle AMD, LLM çıkarımı alanında Nvidia ve Google'ın tek rakibi olmanın eşiğinde olduğunu söylediler.
Buna karşılık, Groq, SambaNova, Intel, Amazon, Microsoft ve diğerleri gibi şirketler hala onunla rekabet edemiyor.
Ayrıca AMD, NVIDIA'nın CUDA tabanlı hendeğine yanıt olarak kendi RoCM yazılımına, PyTorch ekosistemine ve OpenAI'nin Triton'una büyük yatırımlar yapıyor.
Databricks, AI21, Lamini ve Moreph gibi şirketler çıkarım/eğitim için AMD GPU'ları kullanmaya başladıkça, AMD'nin kendi ekosistemi giderek daha eksiksiz hale geldi.
Sektörün içindekilere göre, daha fazla video belleğine sahip olan MI300, GPT-4 modelini 32K bağlam penceresiyle dağıtırken daha iyi çalışıyor.
Özellikle, MI300'ün H100'e göre performans avantajı, bağlam uzunluğuna ve sorgu başına istem uzunluğuna/belirteç çıktısı sayısına bağlı olarak %20 ile %25 arasındadır.
Daha düşük bir fiyatla birleştiğinde, MI300, maliyet performansı açısından NVIDIA'nın H100'ünden ve hatta H200'den önemli ölçüde daha iyi olacaktır.
###
Büyük üreticiler sipariş verdi
Şu anda Microsoft, Meta, Oracle, Google, Supermicro/Quantadirect, Amazon ve diğer şirketler AMD'ye yaklaşık 205.000 MI300 adet sipariş verdi.
Bunlardan 120.000'i Microsoft'a, 25.000'i Meta'ya, 12.000'i Oracle'a, 8.000'i Google'a, 5.000'i Amazon'a ve 35.000'i diğerlerine adanmıştır.
Ve büyük hacim nedeniyle, Microsoft'un MI300'ün satın alma fiyatının diğer müşterilerden çok daha düşük olması bekleniyor.
MI300'ün önümüzdeki yıl AMD'ye getireceği geliri hesaplamak için iki açıdan analiz edilmesi gerekiyor: AMD'nin ne kadar tedarik sağlayabileceği ve büyük müşterilerin ne kadar sipariş vereceği.
Arz tarafında, MI300 üretim kapasitesi yıl boyunca kademeli olarak artacak, ancak Nvidia B100 ikinci çeyrekte sevkiyata başlayacağından ve üçüncü çeyrekte daha uygun maliyetli hava soğutmalı versiyonun piyasaya sürülmesiyle önemli ölçüde artacağından, bu AMD'nin dördüncü çeyrekteki sevkiyatlarını büyük ölçüde etkileyecektir.
Aynı zamanda, Nvidia, AMD, Google/Broadcom, Meta/Broadcom, Intel/Al Chip, Amazon/Al Chip, Amazon/Marvell, Microsoft/GUC vb. dahil olmak üzere bellek üreticileri tarafından HBM üretimini, CoWoS üretimini, ambalaj üretimini ve CoWoS kullanılarak üretilen her bir hızlandırıcıyı da dikkate almak gerekir.
Buna rağmen, endüstri hala MI300X'in dördüncü çeyrekte 110.000 adet sevk etmesini bekliyor.
Müşteri tarafında, Microsoft, Meta, Oracle, Google, Supermicro/Quantadirect ve Amazon ana sipariş kaynaklarıdır, ancak HPC tabanlı uygulamalar için bazı MI300A dahil olmak üzere tedarik zincirinin diğer bölümlerinden de bazı siparişler vardır.
Kâr açısından, Nvidia fiyatları düşürme belirtisi göstermiyor, ancak fiyat aynı kalırken yalnızca HBM kapasitesini/bant genişliğini artırdı. Nvidia'nın %80'den fazla kar marjıyla karşılaştırıldığında, AMD'nin MI300'deki kar marjı %50'nin biraz üzerinde.
AMD CEO'su Lisa Su, şirketin yapay zeka alanındaki hızlı ilerlemesine ve bulut bilişim müşterilerinin satın alma taahhüdüne bağlı olarak, veri merkezi GPU gelirinin dördüncü çeyrekte 400 milyon dolara ulaşmasının ve 2024'te 2 milyar doları aşmasının beklendiğini söyledi.
Bu artış aynı zamanda MI300'ü AMD tarihinde 1 milyar dolarlık satışa ulaşan en hızlı ürün yapacak.
Bu bağlamda, 3,5 milyar dolara ulaşması beklenen MI300X'in satışları konusunda sektör daha iyimser.
AMD'nin LLM eğitim ve çıkarım alanındaki mevcut pazar payına bakılırsa, AMD'nin veri merkezi alanındaki pazar payı istikrarlı bir şekilde büyümeye devam edecek.
Kaynaklar:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
AMD MI300 lore Nvidia H100? GPT-4'ün performansı %25'i aşıyor ve AI çip hesaplaşması başlamak üzere
Makale kaynağı: Yeni Zhiyuan
AI çip hesaplaşması geliyor!
Yapay zeka donanım geliştiricisi girişimleri gelecekte neler bekliyor?
Tenstorrent CEO'su David Bennett, sektörümüzde çoğu girişimin iflas ettiğini açıkça belirtti.
Nasıl hayatta kalırsın? Startup'lara esnek kalmalarını ve kendilerini dar kullanım durumlarıyla sınırlamaktan kaçınmalarını tavsiye ediyor.
Bennett niş bir pazardan değil, SiMa.ai'dan Cerebras'a kadar düzinelerce şirketten oluşan geniş bir gruptan bahsediyor. Birlikte, pazar lideri Nvidia'yı ele geçirmek için milyarlarca dolarlık risk sermayesi topladılar.
Bennett bunu biliyor. On yıldan fazla bir süre AMD'de satış alanında çalıştı.
Ve şu anki işvereni, Tenstorrent'in CEO'su, bir donanım efsanesi olan Jim Keller. Apple'ın iPhone 4 ve iPad 2'yi destekleyen A4 ve A4 işlemcilerini geliştirdi ve 2016'dan 2018'e kadar Tesla'nın sürücüsüz arabalarındaki donanım çalışmalarından sorumluydu.
Bennett, günümüzün çip girişimlerinin kabaca "yapay zeka için özel donanım yapmak" ile "hakim modele güvenmek" arasında kaldığını söyledi.
NVIDIA'nın Dezavantajları: Sıfırdan çip yapmak zordur
NVIDIA'nın AI çip GPU girişiminin hikayesi aslında günümüzün çip girişimlerine bir avantaj sağlıyor.
Grafik işleme birimi başlangıçta bilgisayar grafiklerine güç sağlamak için tasarlandı, ancak yalnızca paralel olarak birden fazla hesaplama yapabilme yeteneği nedeniyle AI uygulamalarında iz bıraktı.
Bununla birlikte, sürpriz aynı zamanda Nvidia'yı da olumsuz etkiledi - Nvidia'nın mevcut GPU işini etkilemeden sıfırdan çip oluşturması artık zor, bu da gelişmekte olan girişimlere yapay zeka için özel olarak oluşturulmuş yeni donanımlar oluşturma fırsatı veriyor.
Örneğin, Tenstorrent mühendisleri Grayskull çipini, gereksiz bilgilerin kaldırılabileceği gelecekteki seyrek sinir ağları için tasarladılar.
Bu mimaride, Transformer tabanlı modeller esasen ortaya çıkma olasılığı en yüksek olan bir sonraki kelimeyi tahmin ediyor, bu nedenle akıl yürütmeden ziyade olasılığa dayalı yanıtlar ürettikleri için eleştirildiler.
Bu, bu model mimarilerinin mevcut AI patlamasından sağ çıkamayacağı anlamına gelir.
Sonuçta, günümüzün LLM'leri, hızlı gelişme hızı nedeniyle nispeten kısa ömürlüdür. Dün sıcak olan modeller bir veya iki hafta içinde kaybolabilir.
Donanım firmaları için oldukça riskli olan bir diğer alan ise özellikle çıkarım amaçlı çip üretimidir.
Bunun bir temsilcisi, gelecek yılın ilk yarısında çıkarım için özel bir çip yayınlamayı planlayan çip geliştiricisi D-Matrix'tir.
Bu nedenle, birçok kişi model eğitiminden ziyade model çıkarımına daha fazla para harcanması gerektiğine inanıyor.
Bu, iş açısından akıllıca bir hareket olsa da, Bennett, çıkarıma çok dar bir şekilde odaklanmanın, donanım geliştiricilerini daha popüler olabilecek diğer kullanım durumlarına hizmet etmekten caydırabileceğini savunuyor.
Örneğin, modeli çalıştırmak için gereken düşük hassasiyetli hesaplamalar için saf bir çıkarım yongası yeterlidir.
Bununla birlikte, geliştiriciler büyük modellere ince ayar yapmak istiyorlarsa, büyük olasılıkla daha yüksek hassasiyetli hesaplamaları işleyebilecek yongalara ihtiyaç duyacaklardır.
GPU ve CPU'yu bir araya getiren son teknoloji çipler
Yaklaşan AI çip hesaplaşmasında hayatta kalabilmek için çip geliştiricilerinin çiplerinin mimarisini değiştirmesi gerekiyor.
Günümüzde çoğu yonga GPU'yu CPU'dan ayırıyor. İlki, aynı anda birden fazla hesaplama yapabilirken, ikincisi daha genel talimatların yürütülmesinden ve daha geniş bir sistem operasyonu yelpazesinin yönetilmesinden sorumludur.
Bununla birlikte, Nvidia'nın Grace Hopper süper çipi ve AMD'nin yakında çıkacak olan MI300A'sı gibi giderek artan sayıda son teknoloji çip, GPU'ları ve CPU'ları bir araya getiriyor.
Bu düzen, CPU'nun verileri daha hızlı hazırlamasına ve verileri GPU'ya yüklemesine olanak tanıyarak modelin eğitimini hızlandırır.
Ayrıca, Nvidia'nın pazar hakimiyetini kırmak isteyen donanım girişimlerinin karşılaştığı en büyük engellerden biri de yazılım avantajıdır.
Nvidia'nın makine öğrenimi uygulamaları yazmak için kullandığı Cuda yazılımı sadece kendi çipleri üzerinde çalışabiliyor. Bu da geliştiricileri etkili bir şekilde Nvidia GPU'lara kilitler.
AMD MI300, GPT-4'ü daha 6 çalıştırıyor
Nvidia'nın hegemonyasını sarsmak çok mu zor?
Yarı analiz muhabirleri Dylan Patel ve Myron Xie kısa süre önce AMD'nin MI300'ünün maliyet performansı açısından NVIDIA'nın H100'ünden önemli ölçüde daha iyi olacağını yayınladı!
Buna karşılık, Groq, SambaNova, Intel, Amazon, Microsoft ve diğerleri gibi şirketler hala onunla rekabet edemiyor.
Ayrıca AMD, NVIDIA'nın CUDA tabanlı hendeğine yanıt olarak kendi RoCM yazılımına, PyTorch ekosistemine ve OpenAI'nin Triton'una büyük yatırımlar yapıyor.
Databricks, AI21, Lamini ve Moreph gibi şirketler çıkarım/eğitim için AMD GPU'ları kullanmaya başladıkça, AMD'nin kendi ekosistemi giderek daha eksiksiz hale geldi.
Sektörün içindekilere göre, daha fazla video belleğine sahip olan MI300, GPT-4 modelini 32K bağlam penceresiyle dağıtırken daha iyi çalışıyor.
Daha düşük bir fiyatla birleştiğinde, MI300, maliyet performansı açısından NVIDIA'nın H100'ünden ve hatta H200'den önemli ölçüde daha iyi olacaktır.
Büyük üreticiler sipariş verdi
Şu anda Microsoft, Meta, Oracle, Google, Supermicro/Quantadirect, Amazon ve diğer şirketler AMD'ye yaklaşık 205.000 MI300 adet sipariş verdi.
Bunlardan 120.000'i Microsoft'a, 25.000'i Meta'ya, 12.000'i Oracle'a, 8.000'i Google'a, 5.000'i Amazon'a ve 35.000'i diğerlerine adanmıştır.
Ve büyük hacim nedeniyle, Microsoft'un MI300'ün satın alma fiyatının diğer müşterilerden çok daha düşük olması bekleniyor.
Arz tarafında, MI300 üretim kapasitesi yıl boyunca kademeli olarak artacak, ancak Nvidia B100 ikinci çeyrekte sevkiyata başlayacağından ve üçüncü çeyrekte daha uygun maliyetli hava soğutmalı versiyonun piyasaya sürülmesiyle önemli ölçüde artacağından, bu AMD'nin dördüncü çeyrekteki sevkiyatlarını büyük ölçüde etkileyecektir.
Aynı zamanda, Nvidia, AMD, Google/Broadcom, Meta/Broadcom, Intel/Al Chip, Amazon/Al Chip, Amazon/Marvell, Microsoft/GUC vb. dahil olmak üzere bellek üreticileri tarafından HBM üretimini, CoWoS üretimini, ambalaj üretimini ve CoWoS kullanılarak üretilen her bir hızlandırıcıyı da dikkate almak gerekir.
Buna rağmen, endüstri hala MI300X'in dördüncü çeyrekte 110.000 adet sevk etmesini bekliyor.
Kâr açısından, Nvidia fiyatları düşürme belirtisi göstermiyor, ancak fiyat aynı kalırken yalnızca HBM kapasitesini/bant genişliğini artırdı. Nvidia'nın %80'den fazla kar marjıyla karşılaştırıldığında, AMD'nin MI300'deki kar marjı %50'nin biraz üzerinde.
Bu artış aynı zamanda MI300'ü AMD tarihinde 1 milyar dolarlık satışa ulaşan en hızlı ürün yapacak.
Bu bağlamda, 3,5 milyar dolara ulaşması beklenen MI300X'in satışları konusunda sektör daha iyimser.
AMD'nin LLM eğitim ve çıkarım alanındaki mevcut pazar payına bakılırsa, AMD'nin veri merkezi alanındaki pazar payı istikrarlı bir şekilde büyümeye devam edecek.