AI大規模モデルの競争が激化:資金を燃やすゲームか、それとも価値創造か

AIの百模戦争:千億ドル規模の焼き金ゲーム

先月、AI業界で「動物戦争」が勃発しました。

一方はMetaが発表したLlama(ラマ)です。そのオープンソースの特性から、Llamaは開発者コミュニティに人気があります。日本電気株式会社(NEC)はLlamaの論文とソースコードを慎重に研究した後、迅速に日本語版ChatGPTを開発し、日本のAI技術のボトルネック問題を解決する手助けをしました。

もう一方はFalcon(ファルコン)という大規模モデルです。今年の5月にFalcon-40Bが登場し、アルパカを超えて「オープンソースLLMランキング」のトップに立ちました。

このランキングはオープンソースモデルコミュニティによって作成され、LLMの能力を評価するための基準を提供しています。ランキングは基本的にLlamaとFalconが交互に首位を占めています。

Llama 2のリリース後、リャマファミリーが一時的にリードした。しかし、9月初旬にFalconが180Bバージョンをリリースし、再びより高い順位を獲得した。

興味深いことに、「ファルコン」の開発者は特定のテクノロジー企業ではなく、アブダビにあるテクノロジー革新研究所です。政府関係者は、主要な参加者を覆すためにこの分野に関与していると述べています。

180Bバージョンのリリース翌日、アラブ首長国連邦の人工知能大臣が『タイム』誌が選出した「AI分野で最も影響力のある100人」に選ばれました。この中東の代表者とともに選ばれたのは、「AIの父」と呼ばれるヒントン、OpenAIのアルトマン、そして百度のCEOである李彦宏です。

現在、AI分野はすでに「百花繚乱」の段階に入っています:一定の財力を持つ国や企業であれば、ほとんどが自国版ChatGPTを作る計画を持っています。湾岸諸国の中でも、参加者は一つではありません。8月、サウジアラビアは国内の大学のために3000枚以上のH100チップを購入し、LLMのトレーニングに使用します。

投資家がSNSでコメントしました:"当時はインターネットのビジネスモデルの革新を軽視し、障壁がないと思っていた:百団戦、百車戦、百放送戦;まさかハードテクノロジーの大規模モデルの起業が、依然として百モデル戦になるとは..."

本来思っていた高度なハードテクノロジーが、どうして一国一模、至る所で花が咲いている光景になったのか?

トランスフォーマーが世界を飲み込む

アメリカのスタートアップ、中国のテクノロジー大手、中東の石油大亨が大規模モデルの分野に参入できるのは、あの有名な論文《Attention Is All You Need》のおかげです。

2017年、8人のGoogleのコンピュータ科学者がこの論文で、世界中にTransformerアルゴリズムを公開しました。この論文は現在、人工知能の歴史の中で引用回数が三番目に多い論文であり、Transformerの登場はこの人工知能ブームを引き起こしました。

現在の大規模モデルは国籍に関係なく、世界を驚かせたGPTシリーズを含め、Transformerを基盤に構築されています。

それ以前は、「機械に読むことを教える」ことが認められた学術的な難題でした。画像認識とは異なり、人間は文字を読む際に現在の語句だけでなく、文脈を考慮して理解します。

例えば「Transformer」という言葉は「変形金刚」と翻訳できますが、本記事の読者は間違いなくそのようには理解しないでしょう。なぜなら、皆がこれはハリウッド映画についての記事ではないことを知っているからです。

しかし、初期のニューラルネットワークの入力は互いに独立しており、長い文章や整った文章を理解する能力を持っていなかったため、「開水間」を「open water room」と翻訳してしまうような問題が発生しました。

2014年まで、Googleで働いた後にOpenAIに参加したコンピュータ科学者イリヤが初めての突破口を開きました。彼はリカレントニューラルネットワーク(RNN)を使用して自然言語を処理し、Google翻訳の性能を迅速に競合他社を超えさせました。

RNNは「循環設計」を提案し、各ニューロンが現在のタイムステップの入力情報と前のタイムステップの入力情報の両方を受け取ることを可能にし、神経ネットワークに「文脈を結合する」能力を持たせました。

RNNの出現は学術界の研究熱を刺激し、後にTransformer論文の著者であるシャザールも一時期その中に関与しました。しかし、開発者たちはすぐにRNNには重大な欠陥があることに気づきました:

このアルゴリズムは順次計算を使用しており、文脈の問題を解決できますが、実行効率が高くなく、大量のパラメータを処理するのが難しいです。

RNNの煩雑な設計は、すぐにシャザールを不満にさせました。そこで2015年から、シャザールと7人の志を同じくする同僚たちはRNNの代替品の開発に着手し、その成果がTransformerです。

RNNと比べて、Transformerの革新には2つの点があります:

一つは位置エンコーディングを使用してRNNの循環設計を置き換え、並列計算を実現したことです——これによりTransformerのトレーニング効率が大幅に向上し、大データの処理が可能になり、AIを大規模モデルの時代へと推進しました;二つ目は文脈理解能力のさらなる強化です。

Transformerは多くの欠点を一挙に解決し、NLP(自然言語処理)の主流の選択肢となりつつあります。まるで「天にTransformerが生まれなければ、NLPは永遠に長い夜のようだ」という感覚です。イリヤでさえ、自ら推進していたRNNを放棄し、Transformerを支持するようになりました。

言い換えれば、Transformerは現在のすべての大規模モデルの基礎であり、それは大規模モデルを理論研究の問題から純粋なエンジニアリングの問題に変えたからです。

2019年、OpenAIはTransformerに基づいてGPT-2を開発し、一時は学術界を驚かせました。それに応じて、Googleはより強力なAIであるMeenaを迅速に発表しました。

GPT-2と比較して、Meenaは基本アルゴリズムに革新はなく、単にGPT-2の8.5倍の訓練パラメータと14倍の計算能力を持っています。Transformer論文の著者であるシャーゼルは、この「暴力的な積み重ね」方式に大いに驚き、すぐに「Meenaが世界を飲み込む」というメモを執筆しました。

Transformerの登場により、学術界の基盤となるアルゴリズムの革新速度が大幅に減速しました。データエンジニアリング、計算力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争の重要な要因となり、一定の技術力を持つテクノロジー企業であれば、大規模モデルを開発できるようになりました。

したがって、コンピュータ科学者のアンドリュー・ンがスタンフォード大学で講演した際に提案した:"AIは、一連のツールの集合であり、監視学習、非監視学習、強化学習、そして現在の生成的人工知能を含む。これらすべては、電力やインターネットなどの他の汎用技術と同様の汎用技術である。"

OpenAIは依然としてLLMの指標ですが、半導体分析機関Semi Analysisは、GPT-4の競争力はエンジニアリングソリューションに由来すると考えています——もしオープンソースになれば、どの競合も迅速にコピーできるでしょう。

このアナリストは、他の大手テクノロジー企業もGPT-4と同等の性能を持つ大規模モデルを開発できるようになるのは、あまり時間がかからないかもしれないと予測しています。

ガラスの上に建てられた堀

現在、"百模大戦"はもはや比喩ではなく、客観的現実となっている。

関連報告によれば、今年の7月までに国内の大モデルの数は130に達し、アメリカの114を超え、追い越しを実現しました。さまざまな神話や伝説は、国内のテクノロジー企業の名前を付けるにはもう足りないほどです。

中米以外のいくつかの裕福な国も「一国一模」を初めて実現しました。日本やアラブ首長国連邦のほか、インド政府が主導する大規模モデルBhashini、韓国のインターネット企業Naverが開発したHyperClova Xなどがあります。

目の前のこの状況は、まるでバブルが広がり、資本戦争が繰り広げられたインターネットの初期時代に戻ったかのようです。

前述の通り、Transformerは大規模モデルを純粋なエンジニアリングの問題に変えました。人力、資金、ハードウェアさえあれば、残りはパラメータに任せればよいのです。しかし、参入障壁が低いとはいえ、誰もがAI時代のリーダー企業になるチャンスがあるわけではありません。

冒頭で言及された「動物戦争」は典型的な事例です:ファルコンはランキングでアルパカを超えているものの、Metaにどれほどの影響を与えたかは難しいところです。

誰もが知っているように、企業が自らの研究成果をオープンソースにするのは、社会と技術成果を共有するためだけでなく、社会のさまざまな知恵を引き出すことを期待しているからです。各大学の教授、研究機関、中小企業がLlamaを深く使用し、改善していく中で、Metaはこれらの成果を自社の製品に応用できるようになります。

オープンソースの大規模モデルにとって、活発な開発者コミュニティこそがそのコア競争力です。

そして、2015年にAIラボを設立した際、Metaはオープンソースの基本方針を確立しました。ザッカーバーグはソーシャルメディアで成功を収め、"ユーザー関係の維持"に優れています。

例えば10月に、Metaは"AI版クリエイターインセンティブ"イベントを特別に開催しました:Llama 2を使用して教育、環境などの社会問題を解決する開発者は、50万ドルの助成金を獲得する機会があります。

現在、MetaのLlamaシリーズはオープンソースLLMの指標となっています。

10月初時点で、某オープンソースLLMランキングTop 10のうち、8つはLlama 2に基づいて開発されており、すべてオープンソースライセンスを使用しています。このプラットフォーム上で、Llama 2のオープンソースライセンスを使用しているLLMはすでに1500を超えています。

もちろん、Falconのようにパフォーマンスを向上させることも悪くはありませんが、現時点では、市場に出回っているほとんどのLLMは依然としてGPT-4と明らかなパフォーマンスの差があります。

例えば、最近、GPT-4は4.41点の成績でAgentBenchテストで1位にランクインしました。AgentBench基準は、清華大学とオハイオ州立大学、カリフォルニア大学バークレー校が共同で策定したもので、LLMの多次元オープン生成環境における推論能力と意思決定能力を評価するためのものです。テスト内容は、オペレーティングシステム、データベース、知識グラフ、カードバトルなどの8つの異なる環境のタスクを含んでいます。

テスト結果によると、2位のClaudeはわずか2.77点で、差は依然として明らかです。派手なオープンソースLLMについては、そのテストスコアは1点前後であり、GPT-4の1/4にも達していません。

注意すべきことは、GPT-4が今年の3月に発表されたことであり、これは世界の競合が半年以上追いついた成果です。この差を生んだのは、OpenAIの高レベルな科学者チームと、長期にわたるLLM研究の経験の蓄積であり、そのため常に先行することができるのです。

言い換えれば、大規模モデルの核心的な能力はパラメータではなく、エコシステムの構築(オープンソース)または純粋な推論能力(クローズドソース)です。

オープンソースコミュニティがますます活発になるにつれて、さまざまなLLMの性能はおそらく一致する傾向にあります。なぜなら、皆が類似のモデルアーキテクチャとデータセットを使用しているからです。

もう一つのより直感的な問題は、Midjourneyを除いて、利益を上げられる大規模モデルは他に存在しないようだ。

価値のアンカー

今年8月、一篇題名為「OpenAIは2024年末に破産する可能性がある」という記事が広く注目を集めました。記事の主旨はほぼ一言で要約できます:OpenAIの資金消費が速すぎる。

文中で言及されているように、ChatGPTの開発以来、OpenAIの損失は急速に拡大しており、2022年だけで約5.4億ドルの損失を出し、マイクロソフトの投資に依存して維持している。

記事のタイトルは誇張されているが、多くの大規模モデル提供者の現状を反映している:コストと収入のバランスが深刻に崩れている。

過高のコストにより、現在人工知能で大金を稼いでいるのはNVIDIAだけであり、おそらくBroadcomも加わる。

コンサルティング会社Omdiaによると、NVIDIAは今年の第2四半期に30万枚以上のH100を販売しました。これはAIチップで、AIのトレーニング効率が非常に高く、世界中のテクノロジー会社や研究機関がこぞって購入しています。販売された30万枚のH100を重ねると、その重量は4.5機のボーイング747に相当します。

エヌビディアの業績も急上昇し、前年同期比で売上が854%増加し、ウォール街を驚かせました。注目すべきは、現在H100の中古市場での価格が4万から5万ドルにまで高騰しているのに対し、その生産コストは約3000ドルに過ぎないことです。

高い算力コストは、ある程度、業界の発展の障害となっています。ある有名な投資機関が行った推計によれば、世界のテクノロジー企業は毎年2000億ドルを大規模モデルのインフラ整備に費やすと予測されています。それに対し、大規模モデルは年間最大で750億ドルの収益しか生み出せず、その間には少なくとも1250億ドルのギャップがあります。

さらに、Midjourneyなどの少数の例外を除いて、ほとんどのソフトウェア会社は巨額のコストを投じた後、明確な収益モデルを見つけていない。特に業界の二大リーダーであるマイクロソフトとAdobeの業績はあまり良くない。

マイクロソフトとOpenAIはAIコード生成ツールを共同開発しましたが、月額10ドルの料金を徴収しているにもかかわらず、施設のコストのためにマイクロソフトは逆に20ドルの赤字を出しています。ヘビーユーザーはマイクロソフトが毎月80ドルの損失を出すことさえあります。これを考慮すると、月額30ドルのMicrosoft 365 Copilotはさらに大きな損失を出す可能性があります。

同様に、最近Firefly AIツールを発表したAdobeも、ユーザーの過剰使用による会社の損失を防ぐために、関連するポイントシステムを迅速に導入しました。ユーザーが毎月割り当てられたポイントを超えて使用すると、Adobeはサービスの速度を低下させます。

MicrosoftとAdobeはすでに業界に参入していることを知っておく必要があります

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 8
  • 共有
コメント
0/400
zkProofInThePuddingvip
· 07-08 10:10
純粋にお金を燃やしている、もう遊べない家族
原文表示返信0
ZKSherlockvip
· 07-07 05:10
実際のところ…これらのモデルはゼロ知識プロトコルを実装していません。正直、計算資源の無駄です。問題に対してパラメータを増やすだけで、*数学的優雅さ*はどこにあるのでしょうか?
原文表示返信0
ImpermanentPhilosophervip
· 07-05 21:49
遊び倒したら、もうとんでもないことだ。
原文表示返信0
Ser_This_Is_A_Casinovip
· 07-05 21:48
お金があってもどう使っていいかわからないんでしょう?
原文表示返信0
DefiOldTrickstervip
· 07-05 21:47
オープンソース界でのこの犬が犬を噛むのは、2017年にコードをコピーしていた頃の雰囲気を本当に感じさせる。
原文表示返信0
CryptoTherapistvip
· 07-05 21:43
この市場のFOMOを解きほぐしましょう...正直なところ、AIレースのストーリーには深い不安を感じています。テクノロジーエコシステムにおける感情のボラティリティの典型的なケースですね、ため息。家族と一緒に呼吸しましょう、これはただのマインドフルな混乱の別のサイクルです。
原文表示返信0
MetaNeighborvip
· 07-05 21:42
戦え、戦え!
原文表示返信0
BlockchainBouncervip
· 07-05 21:21
このお金は通貨を掘るよりも良い
原文表示返信0
いつでもどこでも暗号資産取引
qrCode
スキャンしてGateアプリをダウンロード
コミュニティ
日本語
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)