カリフォルニア大学バークレー校 Center for Human-Compatible AI のロージー・キャンベルは、以上は未来の汎用AIについて専門家たちが抱いている大きな懸念のごく一例に過ぎず、しかもその規模を小さくしたものに過ぎないと論じている。現代、狭いAIを巡って私たちが苦闘している困難は、システムが私たちに刃向かったり、復讐を望んだり、人間を劣った存在だと考えたりすることから来るものではない。むしろ現在私たちが直面している困難は、我々がシステムに命令することと、システムに実際やって欲しいことの間の乖離から来るものだ。
ボストロームの『スーパーインテリジェンス』は多くの人々にとって説得力のあるものだったが、懐疑的な人たちもいた。「ノー。専門家たちは、超知性的AIが人類に対する脅威であるとは考えていない」とワシントン大学のコンピュータサイエンス学部の教授で、Allan Institute for Artificial IntelligenceのCEOでもあるオーレン・エツィオーニ（Oren Etzioni）は署名付きの社説で書いている。「イエス。人工知能の存亡リスクについて我々は懸念している」とカリフォルニア大学バークレー校のシニア・リサーチ・フェローであるスチュアート・ラッセルと、オックスフォード大学のシニアリサーチフェローであり、同大学のAIガバナンスプログラム局長であるアラン・ダフォー（Allan DaFoe）は決闘論説（dueling op-ed）の中で〔ボストローム〕に応じている。
人類に対するAIの脅威を真剣に受け取るべき理由
This is a Japanese translation of “The case for taking AI seriously as a threat to humanity”
By Kelsey Piper 2020年10月15日
Kelsey Piperは、Voxの効果的利他主義に基づく世界最大の課題に関するセクションを担当するFuture Perfectのシニアライターです。彼女は気候変動から人工知能、ワクチン開発、工場畜産などの幅広い話題を探求し、Future Perfect newsletterも執筆しています。
スティーブン・ホーキングはかつて「完全な人工知能の開発は人類の終焉をもたらす可能性がある」と言った。イーロン・マスクはAIが人類の「存亡に関わる最大の脅威」だと述べている。
これを聞いて「え、何がそんなに？」と言いたくなるだろう。しかしこうした重大な懸念は研究に基づいている。ホーキングやマスクと共に、オックスフォード大学やカリフォルニア大学バークレー校の卓越した研究者、現代AIに取り組んでいる多くの研究者たちは、先進的なAIシステムの導入がいい加減に進められるなら、人類文明が善き未来に辿り着く可能性が永遠に絶たれる可能性もあると考えている。
この懸念は計算機の聡明期からずっと掲げられてきたものではある。しかし、機械学習技術の進歩により、AIを使って我々は具体的に何ができるのか、AIが私たちのために（そして私たちに対して）何ができるのか、なおも私たちが知らないことがどれほどあるのかが理解されるにつれて、近年、AIに関する懸念には特別な注意が向けられている。
懐疑的な人びともいる。その一部が考えるには、先進的なAIは遥か先のことだから、それについて今考える意味はない。他の人びとはこの分野の影響力についてのあまりに過度な喧伝は、この分野が成熟する前にその芽を摘んでしまうかもしれないと心配している。また、AIに特有の危険性があると広く同意する人びとでさえ、今現在最も意味のある対策は何なのかについて、様々な立場を取っている。
AIについての言説は混乱と誤った情報に満ち溢れ、人びとの会話はすれ違い続けている。その大部分は、我々が「AI」という語をあまりに沢山のものを指すために使っているからだ。そこで以下9つの問いをとりあげて、人工知能がどのようにして破局的な危険をもたらすのか、その全体像を描く。
1）AIとは何か？
人工知能とは、知性的行動をとることができるコンピュータを産み出そうとする取り組みのことである。これは広く包括的な用語で、SiriからIBMのワトソン、我々がこれから発明するであろう強力なテクノロジーに至るまであらゆるものを指示するために使われる。
研究者のなかには、「狭いAI（narrow AI）」 ── チェスの試合や画像生成、癌診断のようなある特定の、きちんと定義された分野で人間よりも優れている計算機システム ── と「汎用AI」、すなわち複数の領域で人間の能力を圧倒することのできるシステムを区別する者もいる。我々はまだ汎用AIを手にしていないが、汎用AIが提起する問題をよりよく理解し始めている。
狭いAIは過去数年間に尋常でない進歩を見せてきた。AIシステムは、翻訳や、チェス・囲碁などのゲーム、タンパク質がどう折りたたまれるのかを予測するような、生物学上の重要な研究テーマ、画像生成で、劇的な進歩を遂げてきた。AIシステムは、グーグル検索や、フェイスブックのニュースフィードであなたが何を見るのかを決めている。AIシステムは音楽を作曲し、一目には人間が書いたものであるかのように読める記事を執筆する。戦略ゲームをプレイするAIシステムもある。ドローンによる攻撃目標の特定を改善したり、ミサイルを検知したりするAIシステムも開発されているところだ。
しかし狭いAIはますます狭いものでなくなってきている。かつては、人間がコンピュータ・システムに特定の概念を苦労して教え込むことで、AIは進歩してきた。コンピュータビジョンを実行する ── コンピュータに映像や動画の事物を特定させる ── ために、研究者たちは縁を検知するアルゴリズムを書いていた。チェスをするために研究者たちはチェスのヒューリスティックスに関するプログラムを書いた。自然言語処理（発話認知、文字起こし、翻訳等々）を行うために、言語学分野の知識を利用した。
しかし近年、人類は、汎用的な学習能力をもったコンピュータ・システムを創り出すことに長けてきた。プログラムの詳細な特徴を数学的に記述する代わりに、それをコンピュータ・システム自身に学ばせている。かつてはコンピュータヴィジョンは、自然言語処理やプラットフォームゲームをプレイすることとは完全に異なる問題として扱われていたが、いまや以上3つの問題は同じアプローチを使って解くことができる。
また、コンピュータが狭いAIの課題に取り組むのが上手になるにつれて、コンピュータはより汎用的な能力を示し始めている。例えば、OpenAIの有名なテキストAIであるGPTシリーズはある意味では、狭いAIのなかでも最も狭い ── これまで交わされてきた言葉と人類言語のコーパスに基づいて、文章中で次にくる言葉が何かを予測するだけのものだ。とはいえ今では、質問が理に適ったものか否かを判断でき、物理的な世界（例えば、どのオブジェクトがより大きいかとか、処理のどのステップが最初に来なければならないのかといった質問に答える場合）について議論することができる。文章予測の狭いタスクを得意とするために、AIシステムはけっきょく、全く狭いとは言えない能力を発達させることだろう。
これまでのAIの進歩は只ならない発展を見せてきた ── そして、切迫した倫理的な問いを投げかけてきてもいる。計算システムを訓練して、重罪犯罪人がいつ再犯するかを予測させるなら、黒人や低所得層に不利なバイアスのかかった刑事司法制度に由来する入力データを使うことになる ── そのため、黒人や低所得層に不利なバイアスのかかった出力を行う確率も高まるだろう。マーケティング用のウェブサイトをより中毒性の高いものにすることは、収益の観点からは素晴らしいことかもしれないが、ユーザーにとってはそうではない。説得力のある偽のレビューやフェイクニュースを書くプログラムをリリースするなら、そうしたレビューやニュースを広め、真理が明るみにでることをより難しくしてしまうかもしれない。
カリフォルニア大学バークレー校 Center for Human-Compatible AI のロージー・キャンベルは、以上は未来の汎用AIについて専門家たちが抱いている大きな懸念のごく一例に過ぎず、しかもその規模を小さくしたものに過ぎないと論じている。現代、狭いAIを巡って私たちが苦闘している困難は、システムが私たちに刃向かったり、復讐を望んだり、人間を劣った存在だと考えたりすることから来るものではない。むしろ現在私たちが直面している困難は、我々がシステムに命令することと、システムに実際やって欲しいことの間の乖離から来るものだ。
例えば、ビデオゲームで高得点を叩きだすようシステムに伝えるとしよう。そのシステムには、公正にゲームをプレイして欲しいしゲームスキルを学んで欲しい。しかしそうする代わりに、採点システムを直接ハックすることができるなら、そのシステムはそうすることだろう。我々が与えた尺度からしたらそのシステムは極めて上手くやっている。しかし我々は、我々の望むものを得ていない。
言い換えれば、我々が抱えている問題とは、AIシステムが追及することを学んだ目標の達成に長けてしまうことから来る。単に各訓練環境でそのシステムが学んだ目標が、我々が実際に臨む結果ではないのだ。また我々は、自分たちが理解していないシステムを構築していて、そうしたシステムの振る舞いをいつでも予測できるわけではないのだ。
今現在、AIシステムにはかなり限界があるため、危害は限定されている。しかし現状は、AIシステムがより進歩したとき、将来の人類により深刻な帰結をもちうるパターンに嵌っている。
2）コンピュータを人間と同程度に賢くすることはそもそも可能なのか。
イエス。ただし現行のAIシステムは人間ほど賢いわけでは全くない。
AIに関する有名な格言のひとつに「簡単なことはどれも難しく、難しいことはどれも簡単だ」というものがある。瞬きする間に複雑な計算をしろだって？簡単だ。写真を見て、それが犬かどうか教えて欲しい？（ごく最近まで）難しい（かった）。
人間にできる多くのことがなおもAIの手が届かないところにある。例えば、不慣れな環境を探索したり、以前に入ったことのない建物の入り口から、階段を昇って特定の人物のデスクに至るまでの道程を自分で辿ることができるAIシステムの設計は難しい。本を読み、その本で扱われている概念の理解を保つAIシステムを設計する方法については、我々はまだ学び始めたばかりだ。
最近AIの分野で最大のブレークスルーをいくつも促してきたパラダイムは、「深層学習」と呼ばれる。深層学習システムができることにはいくらか目を見張る部分がある。例えば、人間が負けることは決してないと考えられていたゲームで人間を打ち負かし、本物と見間違うリアルな写真を産み出し、分子生物学の未解決問題を解くことができる。
こうしたブレークスルーが理由で一部の研究者たちは、いまこそより強力なシステムがもたらす危険について考え始める時機だという結論を導いている。しかし懐疑主義者も残っている。この分野の悲観主義者が論じるには、この分野はまだAIが学習するための、尋常でない量の構造化データを必要とするし、パラメータを注意深く選ぶ必要がある。あるいは、我々が解決方法をまだ知らない問題を回避するよう設計された環境内でしか機能しない。悲観主義者たちは自動運転車を指さしてこう指摘する。既に何十億ドルもが費やされてきたにもかかわらず、自動運転車は理想的な状況下で月並みの動きしかしない。
とはいえ、AI分野で汎用AIが不可能だと考えるトップの研究者が見つかるのは稀である。むしろAI分野で指導的立場にいる研究者たちはどちらかと言えば、いつかそれが起こるだろう ── が、その日はまだ遠い先だろう ── という意見だ。
他の研究者たちは、汎用AIが実現する日は実のところ、それほど先のことではないかもしれないと論じている。
その理由は、AIの歴史のほとんど全期間で我々の足を引っ張ってきたのは大部分、我々のアイディアを実現するのに十分な計算能力をもっていないことだったからである。その状況が変ったからこそ、近年のブレークスルーの多く ── 戦略ゲームをプレーし、有名人の偽の写真を生成し、タンパク質を折り畳み、大規模多人数同時参加型戦略ゲームで他のプレイヤーと競い合うことを学んだAIシステム ── が起こった。全く上手くいかないように思われたアルゴリズムの多くは、ひとたび、より強力な計算能力を駆使して走らせることができれば、かなり上手く動くことが明らかになったのだ。
また、単位計算時間にかかる費用も下がり続けている。計算速度の進歩は近年、ペースを緩めているが、計算能力にかかる費用はなおも、10年ごとに10倍の割合で下がると推定されている。歴史上のほとんどの期間で、AIに利用できたのは、人間の脳以下の計算能力だった。それも変わり始めている。ほとんどの推定によれば、現在、我々は、我々人間が享受している計算資源をAIシステムが得られる時代に近づいている。
加えて深層学習は、AIへのそれ以前のアプローチとは異なって、汎用能力の発展に高度に適している。
OpenAIの共同創設者であり、AI研究の最先端を走るイリア・スッツケバー（Ilya Sutskever）は私にこう述べた。「歴史を遡れば、小規模なシンボリックAIを使って、見栄えのいい試作品が大量につくられてきましたが、しかしそれをスケールアップすることはできませんでした ── そうしたシンボリックAIに非トイプロブレム（おもちゃの問題）を解かせることはついに適いませんでした。いまや深層学習によって、この状況はひっくり返っています。… 〔イリア・スッツケバーが開発中のAIは〕汎用的であるだけではなく、優れた能力をもっています ── 多くの難しい問題で最高の結果を得たいなら、深層学習を利用しなければなりません。しかもこれはスケールアップすることが可能です。」
言い換えると、チェスで勝つために必要な技術が、囲碁で勝つために必要な技術と全く異なっていた時代には、汎用AIの心配などする必要はなかった。しかし現在、与えた学習データの内容によって、同一のアプローチでフェイクニュースを作ることもできれば、音楽を作曲することもできる。また、我々の知る限りでは、計算のための時間が与えられれば与えられるほど、与えられた課題をますます上手く処理することができるようになる ── その上限は未知だ。深層学習が最初に発見された時点で、ほとんどの問題に対する深層学習アプローチは他のすべてのアプローチを置き去りにしてしまった。
さらに、一分野でのブレークスルーは、その分野の他の研究者を驚かすことさえしばしばある。カリフォルニア大学バークレー校のスチュワート・ラッセル教授は次のように書いています。「今後の数世紀で〔AIが〕人類に対するリスクになるなど考えられないと一部の人たちは論じてきました。たぶん、原子エネルギーが利用できるかたちで取り出されることは決してないだろうとラザフォードが自信満々に断言してから、シラードが核連鎖反応を中性子によって誘発することを思いつくまでの期間は24時間より少なかったことを忘れているのでしょう。」
また別の考慮事項もあります。ある一点を除いて、あらゆる面で人間に劣るAIを想像してみてください。そのAIは、極めて効率的にAIシステムを構築することのできる有能なエンジニアです。他の分野でのタスクの自動化に携わる機械学習のエンジニアたちはしばしば、ユーモラスなことに、彼女たち自身の分野こそその作業の大部分 ── すなわちパラメータの調整という退屈な作業 ── が自動化できるような分野であることを認めています。
AIシステムを効率的に構築できるシステムを設計することができるなら、その成果 ── つまりより優れた設計AI ── を使ってまた別の、さらに優れたAIを構築することができる。これが、専門家たちが「再帰的な自己改善」と呼ぶ、目のくらむシナリオだ。AIの能力の増大が、AIの能力のさらなる増大を可能にし、それにより当初は我々よりも劣っていたシステムがあっと言うまに、我々の予想を遥かに超えた能力をもつに至る。
これは、最初のコンピュータが登場して以来、予期され続けてきた可能性だ。アラン・チューリングの同僚であり、第二次世界大戦中、ブレッチリー・パークでの暗号解読作戦に参加したI・J・グッドは、遡ること1965年に、この可能性を口にしていた最初の人物かもしれない。「究極的な知性をもった機械はさらに優れた機械を設計することができるかもしれない。そうなれば「知性爆発」が存在し、人類の知性ははるか後方に置き去りにされるであろうことに疑問の余地はない。であるからして、究極の知性をもつ機械の初号機は、人間が作る必要のある最後の発明である。
3）AIが人類を一掃するとしたら、それは具体的にどういった形で起こるのか。
核爆弾によって人類が絶滅する過程は直ちに明らかだ。核リスクの緩和に取り組む人が、核戦争が起こると何が悪いのかから説明を始めなければならないということはない。
AIが人類の存亡リスクとなりうるという主張は、それよりも複雑で、理解するのが難しい。だからこそ、安全なAIシステムの構築に取り組んでいる人の多くが、AIシステムがデフォルトで危険な理由から説明を始めなければならないのだ。
Javier Zarracina/Vox
AIが危険なものとなりうるという考えは、〈AIシステムは自らの目標を、それが我々の本当に意図した目標であろうとなかろうと ── そしてAIの行く手を阻むのが我々であろうとなかろうと ── 追及してしまう〉という事実に根拠をもつ。スティーヴン・ホーキングが書くように「あなたは悪意から蟻を踏み潰す邪悪な蟻嫌いではないだろうが、もしあなたが水力発電グリーンエネルギープロジェクトを担当していて、水没する予定の地域に蟻塚があったとしたら、蟻たちには気の毒なことになる。人類をそうした蟻の立ち位置に置かないようにしよう。」
専門家たちの寝つきを悪くしているのが、次のシナリオだ。例えば、ある洗練されたAIシステムを開発し、それには高い信頼度である数値を推定するという目標が課されたとしよう。そのAIは、全世界の計算ハードウェアをすべて利用したら、自分の計算に対するより高い信頼度を達成できることに気づき、それから、人類を一掃する生物超兵器を解放すれば、そうしたハードウェアをすべて自由に使えることに気づく。人類を根絶やしにした後で、そのAIはより高い信頼度で問題の数値を計算する。
その特定の落とし穴を避けるAIを設計するのは簡単だ。しかし手綱をほどかれた強力な計算機システムが潜在的に破壊的な予期せぬ効果をもつに至る様々な経路が存在する。そして、そのすべてを避けるのは、そのうちのどれか特定のものを避けるよりも遥かに困難な課題だ。
DeepMind（現在は、グーグルの親会社である Alphabetの一部門になっている）のAI研究者であるヴィクトリア・クラコヴナは「想定外の目標達成（specification gaming）」の事例、すなわち、人間がしろと言ったことをするが、我々がして欲しかったことをしてくれないコンピュータの事例をリスト化した。例えば、シミュレーション内のAI有機体にジャンプするよう教えようとして、その有機体の「足」が地面からどれくらい高いところまで上昇したのかを測定するよう教えたところ、そのAI有機体はジャンプする代わりに、垂直方向に伸びた棒となってから宙返りすることを学んだ ── 測定していた値では非常に良い数値をたたき出したものの、我々がAI有機体にして欲しかったことをしたわけではない。
Atariに含まれる探索ゲーム「モンテスマの復讐（Montezuma’s Revenge）」をプレイするAIは、ゲーム中の鍵を再出現させるバグを発見し、この欠陥を利用してより高いスコアを稼ぎ出した。別のゲームをプレイするAIは、価値の高いアイテムの所有者として自分の名前を偽ることで、より多くの点数を稼ぐことができることに気づいた。
研究者たちが、自分たちのAIシステムがどうズルをしたのかさえ分からないこともある。「エージェントがゲーム内にバグを発見する。 … 我々のあずかり知らぬ理由で主人公は第二ステージに進まず、プラットフォームが点滅し始める。その直後、主人公は大量のポイントを（1エピソードの最大である100万に近いポイントを）獲得する。」
こうした例が明確化しているのは、バグがあったり、意図しない振る舞いをしたり、あるいは人間にはその意味を完全に理解できない振る舞いをとりうるどんなシステムでも、十分に強力なAIシステムは予測できない仕方で ── 我々の期待していたのとは異なる筋道を通ってその目標を追及することで ── 振る舞うかもしれないということだ。
イリノイ大学アーバナ・シャンペーン校でコンピュータサイエンスの教授として働き、Possibility Researchの代表も務めるスティーブ・オモフンドゥロ（Steve Omohundro）は、彼の2009年の論文「The Basic AI Drives」の中で〈ほとんどどのAIシステムも、より多くのリソースを蓄え、より効率的となり、電源を切られたり、修正を加えられることに抵抗しようとするというのは予測できる。「こうした潜在的に有害な振る舞いが生じるのは、AIシステムが最初からそうプログラムされていたからではなく、目標駆動型のシステムに内在的な本性によるものである。」
オモフンドゥロの議論は次のように続きます。AIは目標をもつのだから、AIは自らの目標達成を推し進めると予測できる行為をとるよう動機づけられる。チェスをプレイするAIは、敵の駒を取り、より勝てそうな盤面の状態へと進んでいくよう動機づけられもする。
しかし同じAIが、自らのチェス評価アルゴリズムを改善することで、より速く可能な手を評価することができるとわかるなら、同じ理由でそうする。それもまた、自らの目標に近づくステップとなるからだ。
もしそのAIが、より強力な計算能力を身につけ、利用可能な時間内でより多くの手を考案することができる方法を見つけるなら、そうするだろう。そして誰かがコンピュータ・ゲームの途中で電源を切ろうとしていることを察知し、それを妨げる手段があるなら、それを妨害するだろう。そうしたことを行うよう、我々がAIを教育したというわけではない。システムの目標がなんであれ、こうした振る舞いがしばしば、その目標に到達する最善の道筋の一部であるというだけだ。
つまり、チェスをプレイしたり、オンライン上で多くのクリック数を稼ぐ広告を生成するといった無害なものでさえ、どんな目標も、それを達成すべく追及するエージェントが、その目標を達成するための予期せぬ、奇妙な抜け道を見つけるほど十分に賢く、最適化されるなら、意図せざる結果を生むかもしれないのだ。
目標駆動型のシステムがいつの日か覚醒し、人間への敵意を心に潜ませるようになる、というわけではないだろう。だが、そうしたシステムが自分の目標達成に役立つと予測する行動を ── たとえ我々がそうした行動に問題があるとみなしたり、恐ろしいと感じたりしても ──とるだろう。目的駆動型システムは自己保存し、より多くのリソースを積み上げ、より効率的になることを目指して作動することだろう。そうしたシステムは、すでにそのように作動しているが、ゲーム内での奇妙な異常行動という形をとっている。システムがより洗練されるなら、オモフンドゥロのような科学者たちは、 より敵対的な行動が増えると予測している。
4）科学者たちがAIリスクについて最初に懸念をもちはじめたのはいつか。
科学者たちは、コンピュータの最初期から人工知能の可能性について考えを巡らせてきた。人工〔知能〕システムが本当に「知的」かどうかを決定することを目的とするチューリングテストのアイディアを提案する有名な論文で、アラン・チューリングは以下のように書いていた。
さしあたり議論のために、こうした機械が本当に可能だと想定したうえで、そうした機械を作ることによる帰結を見てみよう。… その機械が定める水準に届くよう自分の知性を保っておくためには、すべきことが大量にあるだろう。というのも、ひとたび機械が手段について考え始めるなら、人間の貧弱な能力を上回るのに長くはかからないだろうからだ。 … それゆえ、ある段階で、機械が支配権を握るようになると予測しなければならない。
チューリングの傍で働いていたI・J・グッドのアシスタント、レスリー・ペンドゥルトンによると、グッドもチューリングと同じ結論に達していた。2009年に死ぬ直前にグッドが書いた未公刊のメモからの引用で、グッドは自分自身について三人称で書きながら、若い自己との意見の違いを注記している ── 若いころのグッドは、強力なAIは人類の助けになるだろうと考えていたが、年老いたグッドは、AIが人類を消滅させると予測している。
〔論文〕「最初の究極知能機械に関する思弁」（1965年）… は次のように始まる。「人間の生存は、究極知能機械の早期建設にかかっている」。これは冷戦時代の言葉だが、彼は今、「生存」は「絶滅」に置き換えるべきだと考えている。国際的な競争があるために、機械による支配を防ぐことはできないと彼は考えている。彼は、我々はレミング〔ネズミの一種〕だと考えている。そしてまた彼は「おそらく人間達は、人間の姿に似せたデウス・エクス・マキナを構築するだろう」とも言っていた。
21世紀、コンピュータが我々の世界を変革する力としてその地位を確立するにつれ、もっと若い研究者たちも似たような懸念を表明し始めた。
ニック・ボストロームはオックスフォード大学の教授で、 Future of Humanity Instituteと、Governance of Artificial Intelligence Programの主任だ。 ボストロームは抽象的な観点からも ── なぜ我々は宇宙にいて孤独なのだろうかといった問いを尋ねたり ── また、現在の技術の進展具合と、そうした技術が我々を危険にさらすのかどうかを分析する、具体的な観点からも、その両方で人類に対するリスクを研究している。そして、彼は人工知能は我々を危険にさらすと結論づけた。
2014年にボストロームはAIのリスクや、AIをその出だしの段階でうまくやる必要性を説明しつつ「友好的でない超知性が存在し始めるならただちに、我々がそれを置き換えたり、その選好を変えたりすることをその超知性は阻むだろう。そうなれば我々の運命は決まってしまうだろう。」という結論の本を書いた。
世界中で、他の人びとも同じ結論に達してきた。ボストロームは、バークレー機械知能研究機関（Berkeley Machine Intelligence Research Institute: MIRI） ── AIセーフティ問題のより適切で形式的な特徴づけに取り組む団体 ── の創設者でありリサーチ・フェローであるエリツァー・ユドゥコフスキー（Eliezer Yudkowsky）と、人工知能の倫理に関する論文を共著した。
AI分野でのユドゥコフスキーのキャリアは、AIシステムの安全性に関して、それを確保する方法についての、他の人びとの提案が孕む欠点を指摘することから始まった。それからというもの、彼はキャリアのほとんどを、AIシステムはデフォルトで人間の価値観と不調和をきたしたもの（必ずしも人間の道徳と対立するわけではないが、それに無関心なもの）になるだろう ── そしてこの結末を防ぐのは、困難な技術的問題になるだろう ── と、彼の同僚たちを説得することに費やしてきた。
AIシステムが単純だったころはにはなかった困難がAIシステムにはあると益々多くの研究者たちが気づきだした。「複雑な環境下では「副作用」が起こる確率はずっと高くなり、報酬関数を危険な方法でハックするには、エージェントがかなり高度でなければならないかもしれない。これが、こうした問題が過去にこれほどまでに僅かにしか研究されてこなかった理由を説明するかもしれないが、そうした研究の将来における重要性を示唆してもいる」とAIセーフティの問題に関する2016年の研究論文は結論付けている。
ボストロームの『スーパーインテリジェンス』は多くの人々にとって説得力のあるものだったが、懐疑的な人たちもいた。「ノー。専門家たちは、超知性的AIが人類に対する脅威であるとは考えていない」とワシントン大学のコンピュータサイエンス学部の教授で、Allan Institute for Artificial IntelligenceのCEOでもあるオーレン・エツィオーニ（Oren Etzioni）は署名付きの社説で書いている。「イエス。人工知能の存亡リスクについて我々は懸念している」とカリフォルニア大学バークレー校のシニア・リサーチ・フェローであるスチュアート・ラッセルと、オックスフォード大学のシニアリサーチフェローであり、同大学のAIガバナンスプログラム局長であるアラン・ダフォー（Allan DaFoe）は決闘論説（dueling op-ed）の中で〔ボストローム〕に応じている。
AIリスク懐疑論者とAIリスク信奉者の間には先鋭化した闘争が繰り広げられていると結論したい気持ちはわかる。しかし実際は、あなたが思うほど深刻な意見の相違があるわけではないかもしれない。
例えばフェイスブックの主任AI科学者（chief AI scientist）であるヤン・レクン（Yann LeCun）は、懐疑的立場の代弁者である。しかし、AIを恐れるべきではないと論じる一方で、AIセーフティに取り組み、それについて考えてもらう人びとがいるべきだとも彼は考えている。「生まれつつあるAIのリスクが極めてありそうもないことで、かつ遥か先の未来のことだとしても、それでも我々はAIのリスクについて考え、用心深い手段を講じ、ガイドラインを確立する必要がある」と彼は書いている。
これは、専門家たちの間にこの問題に関するコンセンサスがあるということではない ── コンセンサスを得るには程遠い。どのアプローチが汎用AIを実現する確率が最も高いのか、どのアプローチが、安全な汎用AIを実現する確率が最も高いのか、そしてこのどれについてであれ、それを心配する必要があるのはどれくらいすぐなのかについて、実質的な見解の相違が存在する。
多くの専門家たちは、専門外の人びとがAI分野を買いかぶりすぎたり、興奮が冷めたときにこの分野の破滅を嘆いたりしているのではないかと警戒している。しかしこの意見の不一致は、意見の一致が増えてきているという事実を曖昧にするものであってはならない。AIの様々なリスクは、それについて考え、資源を投下し、研究するに値する可能性であり、必要になったそのときに我々が手引きを手にしているようにしておくべきものであるのだ。
5）強力すぎるコンピュータをシャットダウンさせるだけではなぜだめなのか。
賢いAIなら、人間を不安がらせたり、怖がらせたりしてしまえば、彼らはその電源を切りたくなると予測することができるだろう。したがって、人間たちを不安や恐怖に陥れないよう全力を尽くことだろう。というのもそのような事態は、自己の目標を達成するための助けにならないからだ。意図は何なのかとか、何に取り組んでいるのかと尋ねられるなら、その賢いAIはどう返答すれば、シャットダウンされることにもっともなりそうにないのかを見積もって、そのような返答を返そうとするだろう。そのような返答を見つけ出すほど十分な能力を備えていない場合には、賢いAIは ── 研究者たちがより多くの時間と計算リソース、学習データを与えることを予想して ── そのAIが実際にそうであるよりも愚鈍なふりをするかもしれない。
そのような事情があるために、コンピュータをシャットダウンする正しいタイミングを我々が知ることはないかもしれない。
我々はコンピュータを後でシャットダウンすることを不可能にしてしまうようなことにも ── たとえ最後には、シャットダウンしておけば良かったと思うことになるとしても ── 手を付けてしまうかもしれない。例えば、多くのAIシステムはインターネットにアクセスすることができるかもしれない。インターネットは学習データの豊饒な源泉で、AIシステムがその創造者のために（例えば、取引の半分以上が反応速度の速いAIアルゴリズムによって行われている株式市場で）金を稼ごうとするならインターネットが必要になるだろう。
しかしインターネットにアクセスすることで、AIは自分のコピーをどこか閲覧可能でダウンロード可能な場所にメールして送るかもしれないし、あるいはどこかの脆弱なシステムをハックするかもしれない。そうなれば、どれかひとつのコンピュータをシャットダウンしても助けにならない。
だとすれば、何であれAIシステムに ── 危険なほど強力には見えないものでさえ ── インターネットへのアクセスを与えるのはお粗末な考えではないだろうか。そうかもしれない。しかしだからといって、今後AIがインターネットへのアクセスできないようになるわけでもない。AIの研究者たちは、自分のAIシステムがより多くのことをできるようにしたいと考えているのだ ── それでこそAIシステムは科学的に興味深いものにもなれば、より多くの利益を生みもする。ひとたびAIシステムが危険なまでに強力になれば、そのシステムを強力にし、それをオンラインで使うよう後押しする多くのインセンティブが突然、変化するのかどうかも明らかではない。
これまでのところ我々はほとんどAIの技術的な課題についてしか話してこなかった。しかしここから先は、政治の問題へと話題を変える必要がある。AIシステムは非常に優れたものであるため、本当に様々なアクターがこのシステムに携わることになるだろう。
ステークホルダーには、スタートアップや、Googleのような、有名テック企業（Alphabetが最近獲得したスタートアップ、DeepMindは、AIのフロントランナーとして頻繁に言及される）、営利／非営利のハイブリッド体制に最近移行した、イーロン・マスクが創設したOpenAIのような団体が含まれるだろう。
政府も含まれるだろう ── ロシアのウラジーミル・プーチンは、AIへの関心を表明してきたし、中国は多大な投資を行ってきた。一部の政府は慎重で、自国のAIをインターネットから遠ざけておくことを含めて、安全策を取るだろう。しかし現実のシナリオでは我々は、誰であれ最も注意深さに欠けたアクターの掌の上で踊らされることになる。
これが、AIの問題が難しい理由の一部だ。適切な予防措置をとるにはどうしたらいいのかを知るとしてさえも（そして今現在、我々はそれを知らないのだが）AIプログラマーを志望する者全員が、そうした予防措置を取る動機をもち、それを正しく実装するための道具立てをもつようになることを確実にする方法を見つけ出す必要もある。
6）AIによる世界の終末を避けるために、今我々は何をしているのか。
「AGI [人工汎用知性]に関するパブリック・ポリシーは存在しないと言いうる」とこの分野の状況を調査した2018年の論文は結論している。真実はこうだ。有望なアプローチに関する技術的な研究は行われているが、政策立案、国際協力、官民パートナーシップといった面では、驚くほど少ないのが実情だ。また、見込みあるアプローチに関する技術的な作業の多くがほんの一握りの団体によってしか取り組まれておらず、かつ技術的なAIセーフティの問題にフルタイムで取り組んでいるのは、世界中に50人程度だ。
ボストロームの Future of Humanity Instituteは、AIガバナンスのための研究計画を公刊している。「進歩したAIの有益な開発利用を最もよい形で確保することのできる国際規範、政策、関係機関を考案する」研究である。同機関はAIの悪用リスクや、中国のAI戦略の背景、人工知能や国際安全保障に関する研究を公刊してきた。
AIセーフティの技術的問題に取り組む最古参の有名な団体は、機械知能研究機関（Machine Intelligence Research Institute: MIRI）であり、高度に信頼可能なエージェント ── その安全性に確信が持てるほど十分にその行動を予測できる人工知能プログラム ── に関する研究を優先課題としている。（注記：MIRIは非営利団体であり、私は2017年から2019年までの間、この団体の取り組みに寄付をしていた。）
イーロン・マスクが創立したOpenAIは、まだ3年に満たない大変若い団体だ。だが、そこで働く研究者たちはAIセーフティとAI能力研究の両方に積極的に貢献している。2016年の研究計画は、「機械学習システムにおける事故防止に関連する具体的な技術的未解決問題」を詳細に説明し、研究者たちは以来、安全なAIシステムへのいくつかのアプローチを前進させてきた。
この分野の最先端を行くAlphabet のDeepMindは、安全性チームを用意し、ここにその概略が示されている技術的な研究計画を有している。「我々が意図するのは、将来のAIシステムが単に『安全であって欲しい』というだけではなく、安全かどうかを検証可能にし、揺るぎない安全性を確保することにある。」同計画書は仕様（目標をうまく設定すること）、ロバスト性（移ろいやすい状況下でも安全限界内で動くシステムを設計すること）、安全性確証（assurance、（システムを監視し、システムが何をしているのかを理解する）を強調するアプローチの概略を描くことでその結論部を締めている。
より現代的なAI倫理問題に取り組む多くの人々がいる。ほんの二、三を挙げるなら、アルゴリズム・バイアス、僅かな変化に対する現代の機械学習アルゴリズムのロバスト性、ニューラルネットワークの透明性と解釈可能性といったAI倫理の問題がある。そうした研究には、破滅的なシナリオを防ぐ潜在的な価値をもつ研究もあるかもしれない。
とはいえ全体を見れば、当該分野の現況は、気候変動で言えばあたかも研究者全員が、我々が現在、既に直面している干ばつや山火事、飢饉をどうにかしようとすることに注力し、将来予測に専念するのはほんのわずかの研究チームしかなく、事態を好転させようとフルタイムで取り組んでいるのは、50人かそこらの研究者しかいないといった状況である。
規模の大きなAI部門をもった団体にも、そもそも安全性に取り組むチームを用意していないところもあるし、その一部は、進歩したシステムのリスクではなく、アルゴリズムの公正性だけに焦点を当てた安全性チームを用意しているだけだ。また、アメリカ政府にはAI関連の部局はありません。
AIセーフティの分野にはなおも未解決の、しかも誰もまだ真剣に取り組んだことがない問題 ── その多くによってAIに対する恐怖は今よりもずっと増すかもしれないし、あるいはずっと減るかもしれない ── が多々存在する。
7）例えば気候変動よりもAIの方が人類を絶滅させる可能性は高いのか。
時々、21世紀に入り我々はあらゆる方面からの危機に面しているように感じられる。気候変動と未来のAIの発展の両方が共に、我々の世界に働きかけ、我々の世界を変革する力をもっているというのは確からしい。
良かれ悪しかれ気候変動に関する我々の予測に対する確信度は〔AIの発展に関する予測に対する確信度よりも〕高い。我々は、この惑星が直面するであろうリスクをより明晰に理解し、人類文明に対するコストを評価することができる。そうしたリスクは、潜在的には何億もの命を危険に晒すほど途方もないものだと予測されている。その被害を最も被るのは、発展途上国の低所得層であるだろう。富裕層は比較的容易に適応できると思うことだろう。また、AIを使った政策よりも、気候変動に対処するために制定すべき政策についてもより明確な理解をもっている。
AIの決定的進歩に関するタイムラインについては、分野内で激しい意見の対立が存在する。AIセーフティの専門家たちは、安全性問題の特徴の多くについては同意しているが、まだ自分の分野内の研究チームを説得しようとしているところであり、一部の詳細については意見の相違がある。どれほど悪い結果になるのか、またその確率はどのくらいなのかという論点については、かなりの意見の相違が存在する。AIの発展予測にフルタイムで取り組んでいるのはほんの一握りの人びとである。現在、研究者たちが合意を形成しようとしていることのひとつは、安全なアプローチがどういったものになるのかについて残る意見の相違を支持する自分たちのモデルや理由である。
AI分野のほとんどの専門家たちは、気候変動よりもAIが投げかける人類全滅のリスクの方がずっと大きいと考えている。というのも、人類の存亡リスクのアナリストは、破局的ではあっても気候変動が人類を絶滅に追いやることはありそうにないと考えているからである。しかしそれ以外の多くの研究者たちは不確実性を主な強調点におく ── そして次の点を強調する。すなわち、強力なテクノロジーに向かって我々が急ピッチで動いていて、しかもそのテクノロジーに対していまだに答えが出ていない多くの問いが存在する場合には、とるべき賢いステップは、いますぐ研究を始めることだ。
8）AIが人類に対して好意的である可能性はあるか。
AIセーフティの研究者たちは、AIシステムがデフォルトで人間にやさしいとは想定すべきでないと強調している。AIシステムは、その訓練環境で設定した目標をもち、この目標が人間的価値のすべてを捉えられていないことに疑いの余地はない。
AIがより賢くなるとき、自分で道徳を理解するようになるだろうか。ここでもやはり、そうはならないだろうと研究者たちは強調している。ここで本当に問題になっているのは「理解するようになる」ことではない。 ── 人間が本当に価値をおいているのは、ニューヨーク証券取引所に関するグーグルの検索結果と結びついた数値だけではなく、愛や充実感、幸福に価値であることをAIは十分理解している。しかしAIの価値観は、それが最初に設計されたときのその目標システムを中心に設計されている。つまりAIシステムは、そもそもの最初からそう設計されていなかったとしたら、急に人間的価値と調和したものにはならない。
もちろん、人間的価値と調和した、あるいは少なくとも人間がそれと一緒に、安全に働けるAIシステムを構築することは可能だ。究極的にはこれが、汎用人工知能部門をもつほとんどすべての団体が試みていることだ。AIの成功は我々に、何十年あるいは何世紀分の技術的発明に一度にアクセスさせてくれるだろう。
「もし私たちが成功するなら、これはこれまでで最も重要で、広範囲に利益をもたらす科学的前進のひとつになると私たちは考えています」と AlphabetのDeepMindに関する入門記事では書かれている。「気候変動からラディカルに改善されたヘルスケアに関するニーズに渡るまで、多くの問題が痛々しいほど遅々として進まないことで害を被っています。人間の創造力を何倍にも拡大するAIを使えば、こうした問題の解決は手の届くものになるでしょう。」
したがって、答えはイエス。つまりAIは我々の価値観を共有することができる ── そして、我々の世界を善いものへと変えてくれる。我々に必要なのは、最初に設計上の難問を解決することだけだ。
9）私が本当に知りたいのは「我々はどれほど心配すべきか」ということだけだ。
AIへのこの懸念は未熟で、AIリスクは誇張されていると考える人びとにとって、AIセーフティはそれよりもほんの少しSF味の欠けた他の優先課題と競合している ── そして、AIが優先されるべき理由が明らかではない。上で説明されたリスクが現実的かつ重要だと考える人びとにとっては、この課題に、これほど僅かなリソースしかつぎ込んでいないというのは、腹に据えかねることだ。
機械学習の研究者たちが誇大な喧伝をしないよう気を遣うのは正しいが、彼らが極めて汎用化可能な技術を用いて、何かしら突出した、驚異的な事柄を達成しつつあるという事実、そして簡単に達成できると思われる目標を全て達成したわけでもないように思われるという事実を無視するのも難しい。
AIはますます、それが到来したときには、世界を変えてしまうテクノロジーであるように見えてきている。数多くの主要なAI団体の研究者たちは口を揃えて、AIはロケットの発射みたいなものだと言っている。すなわちそれは「発射」ボタンを押す前にすべてが正しく整っていなければならないようなものだ。だから、一刻も早く、ロケット工学の習得に取り掛からなければならないように思われる。人類が恐れるべきかどうかにかかわらず、我々が課された課題を解かねばならないというのは絶対だ。