Tengyan インタビュー | 学者 Wu Hequan: 中国の大規模モデル開発の利点、課題、革新の道筋

画像の出典: Unbounded AI ツールによって生成

ChatGPT が世界的な大流行を引き起こすと、その背後にある AI モデルが突然急増しました。誰もが知りたいのですが、大規模モデルのレベルを評価するための寸法と基準は何ですか?

ChatGPTの登場でAIGCにおける中国と米国の差が見えてきた では、中国の大型モデルの開発状況はどうなっているのだろうか?中国の大規模モデル開発は今後どのような機会と課題に直面するのでしょうか?

私たちは現在、一般的な人工知能の開発にとって重要な時期にあり、さまざまな機関による大規模モデルの独立した研究の開発傾向に直面して、計算能力の効率を向上させ、低レベルの重複を効果的に回避するにはどうすればよいでしょうか?

業界関係者の中には、AIが人類を滅ぼすのではないかと心配する人もいますが、これは杞憂なのでしょうか?問題が発生する前に防止し、AI の予測可能な結果と制御可能な動作を実現するにはどうすればよいでしょうか?

AIGC に関するさまざまな質問のため、**Tencent Research Institute は、中国工程院の学者であり、我が国の通信分野の権威ある専門家である呉和泉氏に独占的にインタビューしました。 **

【インタビュアー】

牛福蓮 テンセント研究所主任研究員

Wu Chunling テンセント研究所主任研究員

王強 テンセント研究所上級専門家

(以下Tといいます)

米国と比較した中国の既存のコンピューティング能力の合計規模: 差はあるが大きくはない

**T: 中国の大型模型の開発は諸外国に比べて1~2年遅れているという人もいますが、現在の中国の大型模型の開発についてどう思いますか。 **

**Wu Hequan: **中国は大規模モデルの開発において米国より遅れてスタートしました。ChatGPT の登場後、多くの国内ユニットが生成大規模モデルを開発していると表明しました。現在、数社しかありません。大規模モデルの研究と比較すると、我が国は米国よりも大規模モデルを開発する単位が多いが、研究対象が多いからといって中国の研究開発力が高いというわけではない。大規模モデルの研究開発レベル。国内の大型モデルのパラメータ数はGPT-4を上回る1兆7,500億個に達するといわれているが、適用された報告はない。 **一部の中国企業はChatGPTに類似したチャットボットを投入すると主張しているが、現状では多言語対応の点でChatGPTに及ばず、中国語の対話能力の点で応答速度の面でもまだ差がある。 **

**今注目しているのは、生成的なタスクをターゲットにし、主にチャットやライティングなどの言語生成を完了する ChatGPT だけです。Google の BERT モデルは、判断と意思決定により注意を払い、質問応答や意味関係の抽出などの言語理解に重点を置いています。タスク、 BERT モデルのテクノロジーも注目に値します。 **大規模モデルのレベルの評価は、網羅性、合理性、使いやすさ、応答速度、コスト、エネルギー効率などの多面的である必要があります。 **一般的に、大規模モデルの開発間のギャップ私の国でも外国でも1~2年である根拠はまだ不明であり、今この結論を出すことに意味はありません。 **

中国企業は、中国語コーパスの取得や中国文化の理解において、当然のことながら外国企業に比べて有利です **中国には最も完全な製造カテゴリーがあり、実際の産業向けの AIGC を訓練するのに有利な条件が整っています。コンピューティング能力の点では、中国はすでに優れた基盤を持っています。 **OpenAI のレポートによると、GPT3 モデルのトレーニングに必要な計算能力は 3.64EFlops/日と高く、これは Pengcheng Cloud Brain II の 3 ~ 4 個に相当します (Pengcheng Cloud Brain II は 1Eflops、つまり数十個) 1 秒あたり数十億回の浮動小数点計算)。 **2022年末時点のデータによると、世界のコンピューティング能力は米国が36%、中国が31%を占めており、中でも中国が米国を大きく上回っている(発表資料による) 2021 年末時点で、米国のインテリジェント コンピューティングの規模は世界のインテリジェント コンピューティングの総規模の 15% を占め、中国は 26% を占めています。私の国は、かなりのコンピューティング能力を持つ大規模なインターネット企業であるだけでなく、国立研究所や一部の都市政府が支援する研究所にも大規模な計算能力リソースがあり、中国でも大規模モデルの学習に必要な計算能力サポートを実現できると言える。 **Pengcheng Lab は、GPT-3 の 3 倍である 16EFlops のコンピューティング能力を持つ Pengcheng Cloud Brain III を設計していることがわかっており、コストは 60 億元と推定されており、引き続き強力なコンピューティングを提供します人工知能トレーニングのための強力なサポート。

中国 AIGC 研究開発: ギャップを認識し、課題に焦点を当て、革新する必要がある

**T: コンピューティング能力の優れた基盤に加えて、中国で大規模モデルを構築するにはどのような課題があると思いますか? **

Wu Hequan: コンピューティング能力だけでは十分ではありません。次の側面でまだ多くの課題に直面しています。

**まずビッグモデルの根幹となるのはディープラーニングフレームワークであり、ディープラーニングフレームワークの生態系は米国のTensorflowやPyTorchが長年培ってきたものであり、国内企業も独自にディープラーニングフレームワークを開発しているが、市場テストだけでは十分ではなく、エコロジーを構築する必要があります。

**第二に、AIGC を産業アプリケーションに拡張するには、複数の大規模モデルが必要となる場合があり、複数の大規模モデルを効率的に統合する方法には、標準化とデータ融合という課題があります。

第三に、大規模なモデルには大規模なデータ トレーニングが必要です。中国には数千年の文明がありますが、豊かな文化遺産のほとんどはデジタル化されていません。中国語は ChatGPT トレーニングで使用されるコーパスの 0.1% 未満です。我が国のインターネット企業は、電子商取引、ソーシャル ネットワーキング、検索などのネットワーク データを大量に保有していますが、それぞれのデータ タイプは十分に包括的ではなく、オンライン知識の信頼性が厳密に保証されていません。トレーニングに使用される場合は、まだ多くのマイニング作業が必要です。

第 4 に、大規模モデルのトレーニングが依存する GPU チップは Nvidia の A100 チップに代表されますが、このチップは米国によって中国への輸出が制限されており、国内の GPU のパフォーマンスにはさらなるテストが必要です。効率にはまだギャップがあります。

第五に、中国ではAI研究に携わる技術者は少なくありませんが、アーキテクチャ設計能力やAIGCデータトレーニングプロンプターを備えた人材が依然として不足しています。 ChatGPT が登場する前は、中国の AI に関する論文や特許の数は米国に匹敵すると考える人もいました **ChatGPT の登場により、AIGC における中国と米国の差が明らかになりました。私たちは直面している課題を明確に理解し、注意を払い、真のイノベーションを起こし、課題をチャンスに変え、AIトラックの新ラウンドへの中国の貢献を実現する必要がある。 **

さまざまな大規模モデルのトレーニングをサポートするために国家コンピューティング パワー プラットフォームをオープンすることをお勧めします

**T: ChatGPT は間違いなく巨大なイノベーションですが、中国は今後このようなイノベーションをどのように奨励すべきでしょうか、また、取り組みのどのような側面を行うべきですか? **

**Wu Hequan: **識別型から生成型への人工知能の開発は画期的な革新であり、一般的な人工知能の軌道に入り始めています。 GPT-3からGPT-4にかけて、テキスト入力から部分的なグラフィック入力へと発展し、つまりグラフィックを理解する能力が向上し、これに基づいて深層学習アーキテクチャと一般的なモデルを実装するのはそう遠くありません。マルチモーダル データ入力をサポートするための機能はありますが、大規模モデルのタスクの一般化と大規模モデルのオンデマンド呼び出しの改良には、依然として大きな投資とイノベーションが必要です。グラフィックスやビデオのラベルなしおよび教師なしのデータ学習は、言語よりもはるかに困難です。そして文字入力。

私たちは現在、汎用人工知能に向けた発展の重要な時期にあり、我が国にとってこれは飛躍的な発展を遂げる稀有な機会であると同時に、厳しい挑戦でもあります。 ChatGPTの成功にはコンピューティングパワー、モデル、データが必要な条件であり、一般的な人工知能の成功にも不可欠な要素であり、最も革新的な生態、メカニズム、人材が鍵となります。中国はコンピューティング能力の総規模という点では米国に匹敵しますが、データセンター間のコンピューティング能力の調整には依然として制度上の課題があり、多くのインテリジェントコンピューティングセンターにおけるコンピューティング能力の利用率と効率は高くありません。 **多くの部隊が独立して大規模モデルを研究しており、低レベルでの繰り返しは避けられない **国家科学技術計画と産業計画の調整の下、合理的な分業で統合部隊を結成することが推奨される。さまざまな大規模モデルのトレーニングをサポートするために、国立研究所の計算能力プラットフォームを公開することが推奨されます ** たとえば、Pengcheng Cloud Brain の計算能力は総容量の 3/4 に達しており、 GPT-3 に匹敵する 2,000 億パラメータ、オープンソースの中国語の事前トレーニング済み言語の大規模モデル。 **同時に、既存のハイエンド GPU の計算能力リソースを集中し、大規模なモデル データのトレーニングに必要な計算能力を提供するために、計算能力アライアンスを形成することをお勧めします。 **現在、彭城研究所が中心となって構築した「中国計算力ネットワーク(C2NET)」は20以上の大規模インテリジェントコンピューティング、スーパーコンピューティング、データセンターに接続されており、ヘテロジニアスコンピューティングパワーの合計は3EFlopsに達しています。自社開発した AI の計算能力は 1.8EFlops を超えています。また、チャットボットの適用は AIGC のトレーニングとテストのための直感的な方法にすぎませんが、チャットだけが必要なわけではなく、大規模モデルを業界で有効にするには、大規模モデルに基づいて業界アプリケーション向けのさまざまなモデルを開発する必要があります。あらゆる分野で応用できる才能をさらに育成してください。 **

大規模モデルの業界アプリケーションには、業界テクノロジーと AI トレーニングの両方を理解する包括的な人材が必要です

**T: これまでのところ、チャットボット、テキスト生成、音声認識などのいくつかの分野で ChatGPT が応用されているのを見てきました。将来的には、物理産業や分野での応用機会はあるのでしょうか?物理産業における大規模モデルの適用において、依然としてどのような障害に直面していますか? **

**Wu Hequan: **既存の ChatGPT チャットボットに基づいて、関連する業界および企業の知識トレーニングを補完した後、従業員に代わって企業内でインテリジェントなカスタマー サービス業務に従事し、顧客にプリセールスおよびアフターサービスを提供することができます。ソフトウェア プログラミングが必要な設計および製造プロセスにおいて、ChatGPT はプログラマーに代わってプログラミング タスクを完了し、ソフトウェアのバグをチェックすることができます。デザインや制作に必要な書類や資料の収集、翻訳、手配を承ります。専門的なトレーニングを受けた後、AIGC のような大きなモデルを使用して、IC 設計用のツール ソフトウェアなどの EDA ソフトウェアを設計できます。アニメーション会社やゲーム会社では、AIGC のような大規模モデルに基づいてトレーニングされたロボットが、プロンプトに従ってスクリプトを作成し、ゲーム スクリプトを作成してプログラムし、3D アニメーションのレンダリングを完了できます。

ただし、ChatGPT は一般的なモデルではないため、実際の産業の製造プロセスに直接適用することは困難ですが、ChatGPT のトレーニング原理に基づいて、業界や企業のナレッジ グラフを活用することで、実際の産業の製造プロセスに直接適用することができます。深度トレーニング. これを完了するには、企業専用の大規模なモデルを開発することが可能です. 最初の仕事の課題は、企業のアップロードプロセスとキーリンクテクノロジーに精通しているだけでなく、人工知能ビッグデータトレーニングをマスターする人材が必要であることですテクノロジー。

結果重視からプロセス重視まで、テクノロジーと法制度の統合が AIGC の推論プロセスを支配しています

**T:ChatGPT もさまざまな間違いを犯し、倫理、セキュリティ、プライバシーの問題ももたらします。将来的に大規模なモデルを適用する場合、包括的で安全な開発環境をどのように作成できますか? **

**Wu Hequan:**生成 AI の出現により、人工知能に対する社会の注目は前例のないほど高まっています。科学界や産業界で AI 研究の高まりを引き起こす一方で、多くの専門家は、人工知能が人間と人間を破壊するのではないかと懸念しています。 GPT-5の研究の中止を求める。 「ChatGPT ロボットの思考プロセスは現時点では不透明であるため、一部の専門家の懸念は杞憂ではない。ChatGPT は人間が作成したが、現時点ではその推論プロセスを完全に把握できていない。未知のものは制御不能となり、ロボットに異常が発生するリスクがある」 、倫理的アノミー、制御不能な行動。

**解決策は、人工知能の研究を止めることではなく、結果に焦点を当てるのではなく AIGC 研究に焦点を当て、その推論プロセスを設計して主導し、結果を期待して行動を制御できるようにすることです。 **将来の大規模モデルの推進と適用には、資格のある機関による安全で信頼できる評価が必要であり、大規模モデルの推論プロセスは検査後に追跡可能です。同時に、誤解を招くAIGCトレーニングを防止し、AIGCトレーニング対象者の責任を追及し、犯罪教唆や教唆を厳しく処罰するために、対応するAIガバナンス法規制を確立する必要がある。テクノロジーと法制度の相補性により、人工知能は人間にとって真に忠実な助手になりました。

原文表示
内容は参考用であり、勧誘やオファーではありません。 投資、税務、または法律に関するアドバイスは提供されません。 リスク開示の詳細については、免責事項 を参照してください。
  • 報酬
  • コメント
  • 共有
コメント
0/400
コメントなし
  • ピン
いつでもどこでも暗号資産取引
qrCode
スキャンしてGateアプリをダウンロード
コミュニティ
日本語
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)