記事のソース: New Zhiyuan
画像ソース: Unbounded AIによって生成
迫り来るAIチップ対決に直面して、多くのチップスタートアップは、NVIDIAの独占を一挙に打ち破ろうとし、望んでいます。 そして、AMDのMI300は、32KのコンテキストウィンドウでGPT-4モデルを展開する場合、実際にはH100よりもうまく機能しますか?
AIチップ対決がやってくる!
AIハードウェア開発スタートアップの将来はどうなるのでしょうか?
Tenstorrent の CEO である David Bennett 氏は、私たちの業界では、ほとんどのスタートアップが廃業してしまうと率直に述べています。
どうやって生き延びるのですか? 彼は、スタートアップ企業に対して、柔軟性を保ち、狭いユースケースに限定しないようにアドバイスしています。
ベネットが言っているのはニッチ市場ではなく、SiMa.ai からCerebrasまで、数十社からなる幅広いグループだ。 彼らは協力して数十億ドルのベンチャーキャピタルを調達し、マーケットリーダーであるエヌビディアに対抗しました。
ベネットはそれを知っています。 AMDで10年以上営業に携わりました。
そして、彼の現在の雇用主であるTenstorrentのCEOは、ハードウェアのレジェンドであるジム・ケラーです。 iPhone 4とiPad 2をサポートするAppleのA4およびA4プロセッサを開発し、2016年から2018年までTeslaの自動運転車のハードウェア作業を担当しました。
Fidelity VenturesやHyundai Motorなどの投資家から3億ドル以上を調達したTenstorrentは、Bennett氏のアドバイスに従い、チップからクラウドコンピューティングまであらゆるものを提供している。
Bennett氏によると、今日のチップスタートアップは「AI専用のハードウェアを作る」か「一般的なモデルに頼る」かでおおむね悩んでいるという。
NVIDIAのAIチップGPUスタートアップの話は、実際に今日のチップスタートアップに優位性を与えています。
グラフィックス・プロセッシング・ユニットは、もともとコンピューター・グラフィックスを動かすために設計されましたが、複数の計算を並行して実行できるという理由で、AIアプリケーションでその名を馳せました。
しかし、このサプライズはNvidiaにマイナス面ももたらしました - Nvidiaが既存のGPUビジネスに影響を与えずにチップをゼロから構築することは現在困難であり、新興のスタートアップはAI専用に構築された新しいハードウェアを構築する機会が与えられています。
たとえば、Tenstorrentのエンジニアは、冗長な情報を削除できる将来のスパースニューラルネットワーク向けにGrayskullチップを設計しました。
それでもBennett氏は、大規模言語モデル用のチップ開発に注力するスタートアップは、Transformerアーキテクチャに縛られすぎていると主張する。
このアーキテクチャでは、Transformerベースのモデルは基本的に、次に出現する可能性が最も高い単語を予測しているため、推論ではなく確率に基づいて応答を生成すると批判されています。
つまり、これらのモデルアーキテクチャは、現在のAIブームに耐えられない可能性があるということです。
結局のところ、今日のLLMは、開発のペースが速いため、比較的短命です。 昨日熱かったモデルは、1、2週間で消えてしまうかもしれません。
ハードウェア企業にとって非常にリスクの高いもう一つの分野は、推論専用のチップの製造です。
その代表がチップ開発のD-Matrixで、来年上半期に推論専用チップをリリースする予定です。
一見すると、この戦略は良さそうに見えます。 ジェネレーティブAIアプリケーションのユーザーは、独自のモデルをゼロから構築するのではなく、既存のプロプライエタリモデルやオープンソースモデルを活用する傾向が強まっています。
このため、多くの人は、モデルのトレーニングよりもモデルの推論により多くのお金を費やすべきだと考えています。
これはビジネスの観点からは賢明な動きかもしれませんが、Bennett氏は、推論に焦点を絞りすぎると、ハードウェア開発者がより人気のある他のユースケースを提供するのを思いとどまらせる可能性があると主張しています。
たとえば、モデルの実行に必要な低精度の計算では、純粋な推論チップで十分です。
ただし、開発者が大規模なモデルを微調整する場合は、より精度の高い計算を処理できるチップが必要になる可能性が高くなります。
来るべきAIチップ対決を生き残るために、チップ開発者はチップのアーキテクチャを変更する必要があります。
現在、ほとんどのチップはGPUとCPUを分離しています。 前者は複数の計算を同時に実行することができ、後者はより一般的な命令を実行し、より広い範囲のシステム操作を管理する責任があります。
しかし、Nvidia の Grace Hopper スーパーチップや AMD の近日公開予定の MI300A など、GPU と CPU を組み合わせる最先端チップが増えています。
このレイアウトにより、CPU はデータをより高速に準備し、データを GPU に読み込むことができるため、モデルのトレーニングが高速化されます。
さらに、ハードウェアスタートアップがNvidiaの市場支配を打ち破りたい場合に直面する最大のハードルの1つは、ソフトウェアの優位性です。
機械学習アプリケーションの作成に使用されるNvidiaのCudaソフトウェアは、独自のチップでのみ実行できます。 そして、これは開発者を事実上Nvidia GPUに閉じ込めます。
エヌビディアの覇権は揺るぎない?
SemianalysisのレポーターであるDylan Patel氏とMyron Xie氏は最近、AMDのMI300はNVIDIAのH100よりもコストパフォーマンスの点で大幅に優れていると投稿しました。
新しいMI300の発売により、AMDはLLM推論の分野でNvidiaとGoogleの唯一の競争相手になる寸前だという。
対照的に、Groq、SambaNova、Intel、Amazon、Microsoftなどの企業はまだそれに対抗できません。
さらに、AMDは、NVIDIAのCUDAベースの堀に対応して、独自のRoCMソフトウェア、PyTorchエコシステム、OpenAIのTritonに多額の投資を行っています。
Databricks、AI21、Lamini、Morephなどの企業が推論/トレーニングにAMD GPUを使用し始めたため、AMD独自のエコシステムはますます充実しています。
業界関係者によると、ビデオメモリが多いMI300は、32KのコンテキストウィンドウでGPT-4モデルを展開すると、より適切に機能します。
具体的には、H100 に対する MI300 のパフォーマンス上の利点は、コンテキストの長さとプロンプトの長さ/クエリごとに出力されるトークンの数に応じて、20% から 25% の間です。
低価格と相まって、MI300はコストパフォーマンスの点でNVIDIAのH100やH200よりも大幅に優れています。
###
現在、Microsoft、Meta、Oracle、Google、Supermicro/Quantadirect、AmazonなどがAMDに約20万5000台のMI300を発注している。
このうち、120,000 は Microsoft 専用、25,000 は Meta、12,000 は Oracle 専用、8,000 は Google、5,000 は Amazon 専用、35,000 はその他専用です。
また、膨大な量であるため、MicrosoftのMI300の購入価格は、他の顧客の購入価格よりもはるかに低いと予想されます。
MI300が来年AMDにもたらす収益を計算するには、AMDがどれだけの供給を確保できるか、そして主要顧客がどれだけ注文するかという2つの視点から分析する必要があります。
供給面では、MI300の生産能力は年内に徐々に増加しますが、Nvidia B100は第2四半期に出荷を開始し、より費用対効果の高い空冷バージョンの導入により第3四半期に大幅に増加するため、これはAMDの第4四半期の出荷に大きな影響を与えます。
同時に、Nvidia、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUCなどのメモリメーカーがCoWoSを使用して製造するHBM生産、CoWoS生産、パッケージング生産、および各アクセラレータも考慮する必要があります。
それでも、業界はMI300Xが第4四半期に110,000台を出荷すると予想しています。
顧客側では、Microsoft、Meta、Oracle、Google、Supermicro/Quantadirect、Amazonが主な受注元ですが、HPCベースのアプリケーション用のMI300Aなど、サプライチェーンの他の部分からの受注もあります。
利益の面では、Nvidiaは値下げの兆候を示していませんが、価格は変わらないままでHBMの容量/帯域幅を増やしただけです。 また、Nvidiaの利益率が80%以上であるのに対し、AMDのMI300の利益率は50%をわずかに超えています。
AMDのCEOであるLisa Su氏は、AIにおける同社の急速な進歩とクラウドコンピューティングの顧客の購入コミットメントに基づいて、データセンターGPUの収益は第4四半期に4億ドルに達し、2024年には20億ドルを超えると予想されていると述べています。
また、この増額により、MI300はAMD史上最速で10億ドルの売上を達成した製品となります。
この点で、業界はMI300Xの売上高についてより楽観的であり、35億ドルに達すると予想されています。
LLMトレーニングおよび推論分野でのAMDの現在の市場シェアは0.1%未満であることから判断すると、データセンター分野におけるAMDの市場シェアは着実に成長し続けるでしょう。
リソース：
28772 人気度
37162 人気度
18975 人気度
7788 人気度
1404 人気度
AMD MI300の伝承Nvidia H100? GPT-4の性能は25%を超え、AIチップ対決が始まろうとしています
記事のソース: New Zhiyuan
AIチップ対決がやってくる!
AIハードウェア開発スタートアップの将来はどうなるのでしょうか?
Tenstorrent の CEO である David Bennett 氏は、私たちの業界では、ほとんどのスタートアップが廃業してしまうと率直に述べています。
どうやって生き延びるのですか? 彼は、スタートアップ企業に対して、柔軟性を保ち、狭いユースケースに限定しないようにアドバイスしています。
ベネットが言っているのはニッチ市場ではなく、SiMa.ai からCerebrasまで、数十社からなる幅広いグループだ。 彼らは協力して数十億ドルのベンチャーキャピタルを調達し、マーケットリーダーであるエヌビディアに対抗しました。
ベネットはそれを知っています。 AMDで10年以上営業に携わりました。
そして、彼の現在の雇用主であるTenstorrentのCEOは、ハードウェアのレジェンドであるジム・ケラーです。 iPhone 4とiPad 2をサポートするAppleのA4およびA4プロセッサを開発し、2016年から2018年までTeslaの自動運転車のハードウェア作業を担当しました。
Bennett氏によると、今日のチップスタートアップは「AI専用のハードウェアを作る」か「一般的なモデルに頼る」かでおおむね悩んでいるという。
NVIDIAのデメリット:チップをゼロから作るのは難しい
NVIDIAのAIチップGPUスタートアップの話は、実際に今日のチップスタートアップに優位性を与えています。
グラフィックス・プロセッシング・ユニットは、もともとコンピューター・グラフィックスを動かすために設計されましたが、複数の計算を並行して実行できるという理由で、AIアプリケーションでその名を馳せました。
しかし、このサプライズはNvidiaにマイナス面ももたらしました - Nvidiaが既存のGPUビジネスに影響を与えずにチップをゼロから構築することは現在困難であり、新興のスタートアップはAI専用に構築された新しいハードウェアを構築する機会が与えられています。
たとえば、Tenstorrentのエンジニアは、冗長な情報を削除できる将来のスパースニューラルネットワーク向けにGrayskullチップを設計しました。
このアーキテクチャでは、Transformerベースのモデルは基本的に、次に出現する可能性が最も高い単語を予測しているため、推論ではなく確率に基づいて応答を生成すると批判されています。
つまり、これらのモデルアーキテクチャは、現在のAIブームに耐えられない可能性があるということです。
結局のところ、今日のLLMは、開発のペースが速いため、比較的短命です。 昨日熱かったモデルは、1、2週間で消えてしまうかもしれません。
ハードウェア企業にとって非常にリスクの高いもう一つの分野は、推論専用のチップの製造です。
その代表がチップ開発のD-Matrixで、来年上半期に推論専用チップをリリースする予定です。
このため、多くの人は、モデルのトレーニングよりもモデルの推論により多くのお金を費やすべきだと考えています。
これはビジネスの観点からは賢明な動きかもしれませんが、Bennett氏は、推論に焦点を絞りすぎると、ハードウェア開発者がより人気のある他のユースケースを提供するのを思いとどまらせる可能性があると主張しています。
たとえば、モデルの実行に必要な低精度の計算では、純粋な推論チップで十分です。
ただし、開発者が大規模なモデルを微調整する場合は、より精度の高い計算を処理できるチップが必要になる可能性が高くなります。
GPUとCPUを融合させた最先端チップ
来るべきAIチップ対決を生き残るために、チップ開発者はチップのアーキテクチャを変更する必要があります。
現在、ほとんどのチップはGPUとCPUを分離しています。 前者は複数の計算を同時に実行することができ、後者はより一般的な命令を実行し、より広い範囲のシステム操作を管理する責任があります。
しかし、Nvidia の Grace Hopper スーパーチップや AMD の近日公開予定の MI300A など、GPU と CPU を組み合わせる最先端チップが増えています。
このレイアウトにより、CPU はデータをより高速に準備し、データを GPU に読み込むことができるため、モデルのトレーニングが高速化されます。
さらに、ハードウェアスタートアップがNvidiaの市場支配を打ち破りたい場合に直面する最大のハードルの1つは、ソフトウェアの優位性です。
機械学習アプリケーションの作成に使用されるNvidiaのCudaソフトウェアは、独自のチップでのみ実行できます。 そして、これは開発者を事実上Nvidia GPUに閉じ込めます。
AMD MI300 は GPT-4 以上を実行します 6
エヌビディアの覇権は揺るぎない?
SemianalysisのレポーターであるDylan Patel氏とMyron Xie氏は最近、AMDのMI300はNVIDIAのH100よりもコストパフォーマンスの点で大幅に優れていると投稿しました。
対照的に、Groq、SambaNova、Intel、Amazon、Microsoftなどの企業はまだそれに対抗できません。
さらに、AMDは、NVIDIAのCUDAベースの堀に対応して、独自のRoCMソフトウェア、PyTorchエコシステム、OpenAIのTritonに多額の投資を行っています。
Databricks、AI21、Lamini、Morephなどの企業が推論/トレーニングにAMD GPUを使用し始めたため、AMD独自のエコシステムはますます充実しています。
業界関係者によると、ビデオメモリが多いMI300は、32KのコンテキストウィンドウでGPT-4モデルを展開すると、より適切に機能します。
低価格と相まって、MI300はコストパフォーマンスの点でNVIDIAのH100やH200よりも大幅に優れています。
大手メーカーが注文した
現在、Microsoft、Meta、Oracle、Google、Supermicro/Quantadirect、AmazonなどがAMDに約20万5000台のMI300を発注している。
このうち、120,000 は Microsoft 専用、25,000 は Meta、12,000 は Oracle 専用、8,000 は Google、5,000 は Amazon 専用、35,000 はその他専用です。
また、膨大な量であるため、MicrosoftのMI300の購入価格は、他の顧客の購入価格よりもはるかに低いと予想されます。
供給面では、MI300の生産能力は年内に徐々に増加しますが、Nvidia B100は第2四半期に出荷を開始し、より費用対効果の高い空冷バージョンの導入により第3四半期に大幅に増加するため、これはAMDの第4四半期の出荷に大きな影響を与えます。
同時に、Nvidia、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUCなどのメモリメーカーがCoWoSを使用して製造するHBM生産、CoWoS生産、パッケージング生産、および各アクセラレータも考慮する必要があります。
それでも、業界はMI300Xが第4四半期に110,000台を出荷すると予想しています。
利益の面では、Nvidiaは値下げの兆候を示していませんが、価格は変わらないままでHBMの容量/帯域幅を増やしただけです。 また、Nvidiaの利益率が80%以上であるのに対し、AMDのMI300の利益率は50%をわずかに超えています。
また、この増額により、MI300はAMD史上最速で10億ドルの売上を達成した製品となります。
この点で、業界はMI300Xの売上高についてより楽観的であり、35億ドルに達すると予想されています。
LLMトレーニングおよび推論分野でのAMDの現在の市場シェアは0.1%未満であることから判断すると、データセンター分野におけるAMDの市場シェアは着実に成長し続けるでしょう。