出典: ザ・ペーパー著者: Hu Xiner、インターン、Shao Wen、The Paper記者 画像ソース: Unbounded AI によって生成中国工程院の院士戴瓊海氏は、「我が国は政策、仕組み、投資の面で人工知能人材の育成と基礎研究を深め、独自のイノベーションを強化し、『水』のジレンマに陥ることを回避すべきである」と述べた。ソースなしで」。清華大学電子工学部の終身教授であるWang Yu氏は、「上海にはすでに多くのチップ企業があり、上海には多くのアルゴリズムもある。効率的かつ統合された展開を実現し、そのようなアルゴリズムを上海で実行するにはどうすればよいか」と指摘した。チップは非常に重要な問題です。質問です。」7月7日、2023年世界人工知能会議「大規模モデル時代における汎用人工知能産業発展の機会とリスク」フォーラムで、汎用人工知能分野の多数の専門家がそれぞれ大規模モデルに焦点を当てた。基本的なイノベーション、応用技術、将来の展望に至るまで、他のレベルでの人工知能についての詳細な議論。「我が国は、政策、メカニズム、投資の観点からAI人材の育成と基礎研究を深め、独自のイノベーションを強化し、『源なき水』のジレンマに陥ることを回避すべきである。」国務院参事官で学者の戴瓊海氏中国工程院の博士は基調講演で強調した。清華大学終身教授兼電子工学部長のWang Yu氏は、アプリケーションの着陸という観点から、垂直分野で大型モデルを展開することは現在困難であり、国内の大型モデルは3つの課題に直面していると述べた。 ：現場導入コストが高く、モデルのコンピューティング能力に大きな差があり、国内でのチップ交換は困難です。 「大型モデルの着陸の最後の 1 マイルでは、アルゴリズムをチップに接続する必要があります。」と Wang Yu 氏は述べています。## **「脳の知能は未来の新しい方向性です」**戴瓊海氏は、「0から1」という大型モデルのイノベーションにおいて、基礎研究分野における国内の破壊的な成果は弱いと考えている。 「インテリジェント開発業界の観点から見ると、私たちは楽観的であると同時に楽観的ではありません。」 同氏の見解では、中国の人工知能の人材のほとんどはアプリケーション層に集中しているため、アプリケーションシナリオとテクノロジー層の余地はたくさんあります。しかし、中国は基礎レベルの人材の面で明らかに不利であり、独自のイノベーションに欠けています。戴瓊海氏は、人工知能の革新と開発にはアルゴリズム、データ、計算能力という3つの柱が必要だと述べた。アルゴリズムはインテリジェンスのレベルを決定し、データはインテリジェンスの範囲を決定し、コンピューティング能力はインテリジェンスの効率を決定します。アルゴリズム レベルでは、大規模モデルは約 5 年以内に人工知能アプリケーションの主要な基本プラットフォームになると予想されます。戴瓊海氏はまた、脳知能は将来の新たな方向性であると指摘した。脳と認知を統合した新しい人工知能アルゴリズムは業界レイアウトの最前線にあり、新世代の知能をリードします。同氏はフォーラムで、政府が企業が大規模モデルの構築を主導し、生物学的メカニズムと機械の特性の組み合わせを探索し、人工知能の新たなパラダイムをさらに創出し、基礎研究と応用拡大を同時に推進するよう奨励すべきだと提案した。同氏は、10年後には認知知能を中核とした人工知能が応用され始めると予測している。さらに、Dai Qionghai 氏は、大規模なモデル アプリケーションのセキュリティ問題についても警戒する必要があると考えています。大規模なモデルは、欺瞞的なコンテンツの生成などの出力を認証することがまだできません。 「これは、大規模モデルのアプリケーションに問題が発生すると、現在のコンピューター ネットワーク ウイルスのように単純ではなく、ウイルスをただ殺し続けるだけではなく、破壊的な影響を与えることを意味します。したがって、大規模モデルが適用するには、セキュリティと信頼性を組み合わせる必要があります。信頼性については明確に議論されました。」## **国内の大規模モデルは 4 つの問題点の解決に重点を置く必要があります**王宇氏はフォーラムで、「上海は人工知能とチップについて非常に懸念しているが、別の観点から見ると、私たちの最先端モデルと比較的重要な計算能力には実際に一定の制限が課せられている。我々の計算能力はもっと向上するべきであり、どの方向に進むべきなのか、国内のコンピューティング能力をどのように補うか、そのようなスペースを使って大規模モデルのトレーニングと推論における国の発展をどのようにサポートするか、これらの問題は非常に重要になっています。」Wang Yu氏はまた、現在海外ではNvidiaとAMDだけが大きな計算能力を持つチップを選択できると述べた。 Nvidia が市場を独占しており、そのソフトウェア エコシステムは比較的良好です。 「そのため、OpenAI、Microsoft、Google などのさまざまな外国モデルが Nvidia チップを大量に購入し、Nvidia のソフトウェア フレームワーク上で開発しています。外国の生態系は非常に単純です。企業はアルゴリズムをうまく機能させています。このフィールドの展開は、Nvidia のソフトウェア システムによってサポートされています。」「しかし、中国における大型コンピューティングパワーチップの開発はまだ初期段階にあります。」とWang Yu氏は信じています、「上海にはすでにTianshu Zhixin、Suiyuan Technology、Cambrian、Biren Technologyなどの多くのチップ企業があります。上海にも多数あります。アルゴリズム、効率的かつ統合された展開を実現する方法、およびそのようなアルゴリズムをチップ上で実行する方法は非常に重要な問題です。」同時に、Wang Yu氏は、現在、垂直分野で大規模モデルを展開することは非常に困難であり、国内の大規模モデルは3つの大きな課題に直面していると強調した。それは、高いフィールド展開コスト、モデルのコンピューティング能力における大きなギャップ、そして、国産チップの交換が難しい。「特定のタスクを対象とした過去のAI 1.0時代のモデルとは異なり、今日のAI 2.0時代は複数のタスクを解決するモデルであり、アプリケーション層、アルゴリズム層、システム層が連携して最適化される必要がある」とWang Yu氏は述べた。大型モデルの着陸 1 キロメートルの終わりに、国内の大型モデルは 4 つの問題点の解決に重点を置く必要があります。「まず長いテキストの問題に対処する必要があります。つまり、それをうまく活用する必要があります。」Wang Yu 氏は、現在のアルゴリズムのトレンドは、大規模なモデルでサポートされるテキストの長さを増やすことですが、長いテキストは次のような問題も引き起こすと述べました。負荷の急増 Transformer (Google が開発した深層学習モデル。OpenAI は GPT を開発) 入力が長くなるにつれて、アーキテクチャの負荷は大幅に増加します。したがって、長いテキストの調整は非常に重要な要件です。大型モデルにはコストパフォーマンスの向上も求められます。 「Googleが検索エンジンに大規模なモデルを使用すると、コストが360億ドル増加し、利益が65％失われる可能性がある。」ワン・ユー氏は、同社がクリックのコストを削減できれば、全体的な損失は減ると述べた。利益が減少する可能性があります。この方向に進むと、誰もが大型モデルを購入できるようになると予想されます。さらに、大規模モデルはさまざまな垂直分野に力を与える必要がありますが、あらゆる分野において、豊富な知識を備えた大規模モデルはそれほど多くありません。特に医療や金融などの分野では、コーパスデータの取得は高価かつ希少性が高い。 「汎用ベースモデルを追加して微調整できれば、さまざまな産業の基本性能がさらに向上することが期待されます。」 しかし、Wang Yu氏はまた、垂直分野で開発する場合、汎用大きなモデルは微調整する必要があり、モデルが大きくなるほど、微調整のコストも大幅に増加します。したがって、効率的な微調整アルゴリズムを設計する方法は議論する必要があるトピックです。同時に、大規模モデルにはワンストップ導入に対する新たな要件も伴います。ソフトウェアとハードウェアの最適化では、オペレーターの最適化、コンパイルの最適化、ハードウェアの導入を階層的に展開すると、1 日あたり合計 100 人が必要となりますが、ワンストップで自動導入する場合、1 日あたり 10 人だけで済みます。 Wang Yu氏は、ワンストップ導入により人件費が最適化され、コンパイル最適化スペースの規模がさらに拡大し、産業チェーン全体の発展が促進されることが期待されると指摘した。
国内大規模モデルの問題を解決: 「受動的水」を回避、ラストワンマイルはアルゴリズムとチップを接続する必要がある
出典: ザ・ペーパー
著者: Hu Xiner、インターン、Shao Wen、The Paper記者
中国工程院の院士戴瓊海氏は、「我が国は政策、仕組み、投資の面で人工知能人材の育成と基礎研究を深め、独自のイノベーションを強化し、『水』のジレンマに陥ることを回避すべきである」と述べた。ソースなしで」。
清華大学電子工学部の終身教授であるWang Yu氏は、「上海にはすでに多くのチップ企業があり、上海には多くのアルゴリズムもある。効率的かつ統合された展開を実現し、そのようなアルゴリズムを上海で実行するにはどうすればよいか」と指摘した。チップは非常に重要な問題です。質問です。」
7月7日、2023年世界人工知能会議「大規模モデル時代における汎用人工知能産業発展の機会とリスク」フォーラムで、汎用人工知能分野の多数の専門家がそれぞれ大規模モデルに焦点を当てた。基本的なイノベーション、応用技術、将来の展望に至るまで、他のレベルでの人工知能についての詳細な議論。
「我が国は、政策、メカニズム、投資の観点からAI人材の育成と基礎研究を深め、独自のイノベーションを強化し、『源なき水』のジレンマに陥ることを回避すべきである。」国務院参事官で学者の戴瓊海氏中国工程院の博士は基調講演で強調した。
清華大学終身教授兼電子工学部長のWang Yu氏は、アプリケーションの着陸という観点から、垂直分野で大型モデルを展開することは現在困難であり、国内の大型モデルは3つの課題に直面していると述べた。 ：現場導入コストが高く、モデルのコンピューティング能力に大きな差があり、国内でのチップ交換は困難です。 「大型モデルの着陸の最後の 1 マイルでは、アルゴリズムをチップに接続する必要があります。」と Wang Yu 氏は述べています。
「脳の知能は未来の新しい方向性です」
戴瓊海氏は、「0から1」という大型モデルのイノベーションにおいて、基礎研究分野における国内の破壊的な成果は弱いと考えている。 「インテリジェント開発業界の観点から見ると、私たちは楽観的であると同時に楽観的ではありません。」 同氏の見解では、中国の人工知能の人材のほとんどはアプリケーション層に集中しているため、アプリケーションシナリオとテクノロジー層の余地はたくさんあります。しかし、中国は基礎レベルの人材の面で明らかに不利であり、独自のイノベーションに欠けています。
戴瓊海氏は、人工知能の革新と開発にはアルゴリズム、データ、計算能力という3つの柱が必要だと述べた。アルゴリズムはインテリジェンスのレベルを決定し、データはインテリジェンスの範囲を決定し、コンピューティング能力はインテリジェンスの効率を決定します。アルゴリズム レベルでは、大規模モデルは約 5 年以内に人工知能アプリケーションの主要な基本プラットフォームになると予想されます。
戴瓊海氏はまた、脳知能は将来の新たな方向性であると指摘した。脳と認知を統合した新しい人工知能アルゴリズムは業界レイアウトの最前線にあり、新世代の知能をリードします。同氏はフォーラムで、政府が企業が大規模モデルの構築を主導し、生物学的メカニズムと機械の特性の組み合わせを探索し、人工知能の新たなパラダイムをさらに創出し、基礎研究と応用拡大を同時に推進するよう奨励すべきだと提案した。同氏は、10年後には認知知能を中核とした人工知能が応用され始めると予測している。
さらに、Dai Qionghai 氏は、大規模なモデル アプリケーションのセキュリティ問題についても警戒する必要があると考えています。大規模なモデルは、欺瞞的なコンテンツの生成などの出力を認証することがまだできません。 「これは、大規模モデルのアプリケーションに問題が発生すると、現在のコンピューター ネットワーク ウイルスのように単純ではなく、ウイルスをただ殺し続けるだけではなく、破壊的な影響を与えることを意味します。したがって、大規模モデルが適用するには、セキュリティと信頼性を組み合わせる必要があります。信頼性については明確に議論されました。」
国内の大規模モデルは 4 つの問題点の解決に重点を置く必要があります
王宇氏はフォーラムで、「上海は人工知能とチップについて非常に懸念しているが、別の観点から見ると、私たちの最先端モデルと比較的重要な計算能力には実際に一定の制限が課せられている。我々の計算能力はもっと向上するべきであり、どの方向に進むべきなのか、国内のコンピューティング能力をどのように補うか、そのようなスペースを使って大規模モデルのトレーニングと推論における国の発展をどのようにサポートするか、これらの問題は非常に重要になっています。」
Wang Yu氏はまた、現在海外ではNvidiaとAMDだけが大きな計算能力を持つチップを選択できると述べた。 Nvidia が市場を独占しており、そのソフトウェア エコシステムは比較的良好です。 「そのため、OpenAI、Microsoft、Google などのさまざまな外国モデルが Nvidia チップを大量に購入し、Nvidia のソフトウェア フレームワーク上で開発しています。外国の生態系は非常に単純です。企業はアルゴリズムをうまく機能させています。このフィールドの展開は、Nvidia のソフトウェア システムによってサポートされています。」
「しかし、中国における大型コンピューティングパワーチップの開発はまだ初期段階にあります。」とWang Yu氏は信じています、「上海にはすでにTianshu Zhixin、Suiyuan Technology、Cambrian、Biren Technologyなどの多くのチップ企業があります。上海にも多数あります。アルゴリズム、効率的かつ統合された展開を実現する方法、およびそのようなアルゴリズムをチップ上で実行する方法は非常に重要な問題です。」
同時に、Wang Yu氏は、現在、垂直分野で大規模モデルを展開することは非常に困難であり、国内の大規模モデルは3つの大きな課題に直面していると強調した。それは、高いフィールド展開コスト、モデルのコンピューティング能力における大きなギャップ、そして、国産チップの交換が難しい。
「特定のタスクを対象とした過去のAI 1.0時代のモデルとは異なり、今日のAI 2.0時代は複数のタスクを解決するモデルであり、アプリケーション層、アルゴリズム層、システム層が連携して最適化される必要がある」とWang Yu氏は述べた。大型モデルの着陸 1 キロメートルの終わりに、国内の大型モデルは 4 つの問題点の解決に重点を置く必要があります。
「まず長いテキストの問題に対処する必要があります。つまり、それをうまく活用する必要があります。」Wang Yu 氏は、現在のアルゴリズムのトレンドは、大規模なモデルでサポートされるテキストの長さを増やすことですが、長いテキストは次のような問題も引き起こすと述べました。負荷の急増 Transformer (Google が開発した深層学習モデル。OpenAI は GPT を開発) 入力が長くなるにつれて、アーキテクチャの負荷は大幅に増加します。したがって、長いテキストの調整は非常に重要な要件です。
大型モデルにはコストパフォーマンスの向上も求められます。 「Googleが検索エンジンに大規模なモデルを使用すると、コストが360億ドル増加し、利益が65％失われる可能性がある。」ワン・ユー氏は、同社がクリックのコストを削減できれば、全体的な損失は減ると述べた。利益が減少する可能性があります。この方向に進むと、誰もが大型モデルを購入できるようになると予想されます。
さらに、大規模モデルはさまざまな垂直分野に力を与える必要がありますが、あらゆる分野において、豊富な知識を備えた大規模モデルはそれほど多くありません。特に医療や金融などの分野では、コーパスデータの取得は高価かつ希少性が高い。 「汎用ベースモデルを追加して微調整できれば、さまざまな産業の基本性能がさらに向上することが期待されます。」 しかし、Wang Yu氏はまた、垂直分野で開発する場合、汎用大きなモデルは微調整する必要があり、モデルが大きくなるほど、微調整のコストも大幅に増加します。したがって、効率的な微調整アルゴリズムを設計する方法は議論する必要があるトピックです。
同時に、大規模モデルにはワンストップ導入に対する新たな要件も伴います。ソフトウェアとハードウェアの最適化では、オペレーターの最適化、コンパイルの最適化、ハードウェアの導入を階層的に展開すると、1 日あたり合計 100 人が必要となりますが、ワンストップで自動導入する場合、1 日あたり 10 人だけで済みます。 Wang Yu氏は、ワンストップ導入により人件費が最適化され、コンパイル最適化スペースの規模がさらに拡大し、産業チェーン全体の発展が促進されることが期待されると指摘した。