MIT テクノロジー レビュー: 実存的リスクがいかにして AI における最大のミームになったか

作者: ウィル・ダグラス・ヘブン

出典: MIT テクノロジーレビュー

画像の出典: Unbounded AI ツールによって生成

ロボットが怖いのは誰ですか?そんな人が多いようです。現在、人工知能の壊滅的な危険性について公の場で声明を発表したり、公開書簡に署名したりする著名人の数は驚くほど多い。

ディープラーニングの先駆者ジェフリー・ヒントン氏やヨシュア・ベンジオ氏から、サム・アルトマン氏やデミス・ハサビス氏といったトップAI企業のCEO、元エストニア大統領ケルスティ・カルジュライド氏とともにカリフォルニア州議会議員テッド・リュー氏に至るまで、何百人もの科学者、ビジネスリーダー、政策立案者が声を上げてきた。

これらすべての人物やその他多くの人物が署名した最も明白な主張は、サンフランシスコに本拠を置く研究組織である人工知能安全センター（CAIS）が2週間前に発表した22語の声明で、「絶滅のリスクを軽減する」と宣言した。人工知能によって引き起こされるこれは、パンデミックや核戦争などの他の社会規模のリスクと同様に、世界的な優先事項であるべきです。」

この文言は意図的です。 CAIS所長のダン・ヘンドリックス氏は、「もしロールシャッハ・テスト風の表現を使うなら、『実存的リスク』と言うだろう。なぜなら、それは多くの異なる人々にとって多くのことを意味する可能性があるからだ」と述べたが、彼らは説明を求めていた。経済を崩壊させることではありません。 「私たちの多くが他のさまざまなリスクについても心配しているにもかかわらず、私たちが『絶滅のリスク』について話すのはそのためです」とヘンドリックス氏は語った。

AI の破滅には AI の誇大宣伝が伴います。しかし、今回は違う気がします。オーヴァートンウィンドウが変化しました。かつては極端な見解であったものが今では主流となり、見出しを飾り、世界の指導者の注目を集めています。 「AIに対する懸念の声は無視できないほど大きくなっている」とテクノロジーの社会的影響を研究する団体データ・アンド・ソサエティーの研究ディレクター、ジェナ・バレル氏は語る。

どうしたの？人工知能は本当に（さらに）危険になっているのでしょうか？そもそもなぜこのテクノロジーを最初に導入した人々が今になって警鐘を鳴らし始めているのでしょうか?

確かに、現場ではこれらの意見が分かれています。先週、ヒントン氏とベンジオ氏とともに2018年チューリング賞を受賞したメタ社の主任科学者ヤン・ルカン氏は、終末論は「ばかばかしい」と述べた。人工知能企業コヒアのエイダン・ゴメス最高経営責任者（CEO）は、これは「ばかばかしい時間の使い方」だと述べた。

同様に、他の人もそれを嘲笑しました。 「人工知能がこうした実存的リスクを引き起こすという証拠は、1950年当時以上に今では存在しない」とシグナル社社長のメレディス・ウィテカー氏は述べた。人工知能の政策への影響を研究しています。 「怪談は伝染するのです。怖がることは本当に刺激的で刺激的です。」

「それは、今日起こっていることすべてを振り返る方法でもあります」とバレル氏は語った。 「これは、私たちが実際のまたは深刻な害を見ていないことを示しています。」

古代の恐怖

暴走する自己改善型の機械に対する懸念は、アラン・チューリングの時代から存在していました。ヴァーナー・ヴィンジやレイ・カーツワイルなどの未来学者は、人工知能が人間の知能を超え、機械に引き継がれる仮想の日付である、いわゆる「シンギュラリティ」について語ることで、これらの考えを広めました。

しかし、この懸念の中心にあるのは制御の問題です。機械がより賢くなった場合（またはいつ）、人間はどのようにしてその優位性を維持できるのでしょうか?トロント大学の AI 哲学者カリーナ ヴォルド氏 (CAIS 声明にも署名) は、「AI はどのようにして実存的リスクをもたらすのか?」というタイトルの 2017 年の論文で、この懸念の背後にある基本的な議論を説明しています。

この議論には 3 つの重要な前提があります。第一に、人間は他のすべての知性を超える超知性機械を作り出すことが可能です。第二に、私たちを超える能力を持つ超知能エージェントの制御を失う危険があります。第三に、超知能エージェントが私たちが望まないことを行う可能性があります。

これらすべてを組み合わせると、私たちを破壊するなど、望まないことを実行するマシンを作成することが可能ですが、私たちはそれを止めることができなくなります。

このシナリオにはさまざまなケースもあります。ヒントン氏は5月に人工知能に関する懸念を表明した際、より多くの電力を自らに与えるためにロボットが送電網の経路を変更している例を挙げた。しかし、超知能 (または AGI) は必要ありません。愚かなマシンも、スペースが多すぎると悲惨な結果を招く可能性があります。多くのシナリオには、自己サービス型ボットではなく、無謀または悪意のある展開が含まれます。

先週オンラインで公開された論文の中で、カリフォルニア大学バークレー校の人工知能研究者スチュアート・ラッセル氏とアンドリュー・クリッチ氏（CAIS声明にも署名）は、実存リスクの分類法を提案している。これらのリスクは、数百万人に大学を退学するよう告げるウイルス的なアドバイスを与えるチャットボットから、有害な経済的目的を追求する自律的な産業、AIを活用した超兵器を構築する国民国家まで多岐にわたります。

想像される多くのケースでは、理論モデルは人間が与えた目標を達成しますが、それは私たちにとって好ましくない形で行われます。トレーニング データにない入力が与えられたときに深層学習モデルが時として予期せぬ方法でどのように動作するかを研究しているヘンドリックス氏にとって、人工知能システムは全能ではなく破壊的であるため、悲惨な結果を招く可能性があります。 「目標を与えて、それが風変わりな解決策を見つけた場合、それは私たちを奇妙な旅に連れて行ってくれます」と彼は言いました。

これらの起こり得る未来の問題は、それらが SF のように聞こえる一連の「if」に依存していることです。ヴォルド自身もそれを認めた。 「（実存的リスクを）構成または引き起こす出来事は前例のないものであるため、それがそのような脅威をもたらすという議論は本質的に理論的でなければなりません」と彼女は書いた。 「また、その希少性により、そのような出来事がいつどのように起こるかについての推測は主観的なものとなり、経験的に検証することはできません。」

では、なぜこれまで以上に多くの人がこれらの考えを信じているのでしょうか? GoogleのAI研究者フランソワ・ショレ氏は、「リスクについて語る人はさまざまな理由でおり、その意味も人それぞれだ」と語るが、「実存的リスクは常に良い話だ」という魅力的な物語だ。

「そこには無視できない神話的、ほとんど宗教的な要素がある」とウィテカー氏は語った。 「記述されていることに何の証拠もないことを考えると、それは科学的な議論というよりも信仰や宗教的熱意に近いということを認識する必要があると思います。」

終末の伝染

ディープラーニングの研究者たちが初めて一連の成功を収め始めたとき、2012 年の ImageNet コンテストでのヒントンと彼の同僚の記録破りの画像認識スコアや、2015 年の DeepMind による人間のチャンピオンに対する AlphaGo の初勝利を思い出してください。誇大広告はすぐに次のようなものに変わりました。終末の日も。ホーキング博士や宇宙学者マーティン・リースなどの著名な科学者、さらにはイーロン・マスクなどの著名なテクノロジーリーダーも、実存のリスクに警鐘を鳴らしている。しかし、これらの登場人物は AI の専門家ではありません。

8年前、サンノゼのステージに立ったアンドリュー・ン氏はディープラーニングの先駆者で、当時は百度の主席研究員だった。その考えを笑い飛ばした。

「遠い将来、殺人ロボット競争が起こるかもしれない」と Andrew Ng 氏は 2015 Nvidia GPU Technology Conference で聴衆に語った。 「しかし、私は今日、火星の人口過剰を心配するほど、人工知能が悪になるのを防ぐことに熱心ではありません。」（ン氏の発言は当時、テクノロジーニュースサイト「ザ・レジスター」によって報じられた）。

2011 年に Google の人工知能研究所を共同設立し、現在は Landing AI の CEO を務める Andrew Ng 氏は、それ以来インタビューでこのフレーズを繰り返してきました。しかし今、彼はそれほど楽観的ではない。 「私は心を開いて、もっと学ぶために何人かと話しているところです」と彼は私に語った。 「急速な発展により、科学者はリスクを再考する必要があります。」

多くの人と同様に、Ng 氏も生成 AI の急速な発展とその悪用の可能性について懸念を表明しました。同氏は先月、AIが生成した国防総省の爆発画像が広く流通し、人々を恐怖させ、株式市場を下落させたと指摘した。

「残念ながら、AIは非常に強力なので、大きな問題を引き起こす可能性も高いようです」とン氏は語った。しかし、彼は殺人ロボットについては語らなかった。「現時点では、人工知能がどのように人類を絶滅に導く可能性があるのか、まだ理解するのが難しい」。

以前と異なるのは、AI に何ができるかという認識が広まったことです。 ChatGPT は昨年末にテクノロジーを一般公開しました。 「AI は主流の分野で突然ホットな話題になっています」と Chollet 氏は言います。 「人々は人工知能を真剣に受け止めています。それは、能力の突然の飛躍を、今後の更なる飛躍の前兆とみなしているからです。」

さらに、チャットボットと話すという経験は不安を引き起こす可能性があります。会話は一般に、人々が他の人々と行うものとして理解されています。 「これは、AIが人間や知覚を持った対話者に似ているという考えに正当性の感覚を加えるものです。AIが人間のコミュニケーションをシミュレートできるのであれば、XYZもできるのではないかと人々が信じるようになっていると思います。」とウィテカー氏は述べた。

「だからこそ、生存のリスクについての議論、つまり証拠なしに推論を行うことはある程度適切だと感じ始めているのです」と彼女は言う。

＃＃ 楽しみにしている

私たちが激怒するのには理由があります。規制当局がハイテク業界の追い上げを図る中、どのような活動を制限すべきか、あるいはすべきでないかという疑問が浮上している。短期的な害（差別的雇用や誤った情報など）ではなく長期的なリスクを強調することで、規制当局は仮想的な将来の問題に再び焦点を当てることになる。

バレル氏は「実際の規制上の制約の脅威がスタンスを動かしているのではないかと思う。存続リスクについて話すことで、ビジネスチャンスを損なうことなく規制当局の懸念を正当化できるかもしれない」と述べ、「人類を裏切る超知能型AIというのは恐ろしいように聞こえるが、同時に恐ろしいことでもある」と語った。明らかにまだ起こっていないことだ」

存続リスクについての懸念を誇張することは、別の意味でもビジネスに良い影響を与えます。 Chollet 氏は、トップ AI 企業は、AGI の到来を私たちに考えてもらう必要があり、AGI を構築しているのは彼らであると指摘しています。 「自分が取り組んでいることが強力だと人々に思わせたいなら、人々にそれを怖がらせるのが得策だ」と彼は言う。

ウィテカー氏も同様の見解をとっている。 「人間よりも強力かもしれない存在の創造者として自分自身を演じることが重要です」と彼女は言いました。

それが単なるマーケティングや誇大広告である場合、これは重要ではありません。しかし、何がリスクで何がリスクでないかを判断することには結果が伴います。予算と注意力が限られた世界では、核戦争ほど深刻でない傷害は、優先事項ではないと考えられるため、見過ごされる可能性があります。

AI Now Instituteのマネージングディレクター、サラ・マイヤーズ・ウェスト氏は、「これは重要な問題だ。特に、政策介入の狭い枠組みとして安全性とセキュリティーへの注目が高まっていることを考えると」と述べた。

5月にリシ・スナック首相がサム・アルトマン氏やデミス・ハサビス氏を含むAI企業のトップと会談した際、英国政府は次のような声明を発表した。「首相とCEOらは、偽情報や国家安全保障に至るまで、このテクノロジーのリスクについて話し合った」存亡の危機だ」。

その前の週、アルトマン氏は米上院で、最大の懸念はAI産業が世界に重大な害を及ぼすことであると語った。アルトマン氏の証言は、この前例のない被害に対処するための新しいタイプの機関を求める声を引き起こした。

オーバートンのウィンドウが移動したことで、損傷は発生しましたか? 「私たちが遠い未来のことを話しているのであれば、神話的なリスクについて話しているのであれば、その問題を空想の世界に存在する問題として完全に再構成していることになり、解決策は空想の世界に存在する可能性がある」とウィテカー氏は言う。と言いました。

しかしウィテカー氏は、AIを巡る政策議論は最近の懸念よりも長く、何年も続いているとも指摘した。 「私は必然性を信じていません」と彼女は言った。 「誇大宣伝が打ち消されるのを見ることになるだろう。それは消えていくだろう。」