「決定的考慮事項と賢い寄付」

[EA Japan]

This is a Japanese translation of “‘Crucial Considerations and Wise Philanthropy’, by Nick Bostrom”

こちらは、http://​​www.stafforini.com/​​blog/​​bostrom/​​ と連動した記事です。

2014年7月9日、ニック・ボストロームはオックスフォード大学オール・ソウルス・カレッジの効果的利他主義の大会「グッド・ダン・ライト」で「決定的考慮事項と賢い寄付」について講演を行いました。この講演はとても貴重な内容だと思い、文字起こしすることに決めました。

文字起こし全文

この講演はニック・ベックステッドがランチの前に話していたアイディアの一部に基づいています。しかし彼の発表と比較すると、この私の発表は、うまくできていません。

本発表は大部分、完成途上のものであり、飛躍や混乱した箇所などもあるでしょう。それでも本発表の後に続くディスカッションの時間を楽しみにしています。

決定的考慮事項とは何か？

決定的考慮事項（crucial consideration）という概念についてお話したいと思います。この概念は私たちが執筆中の著作によく登場します。あなたは森に出かけて、手に地図とコンパスをもち、ある目的地に辿り着こうとしていたとしましょう。あなたは重い荷物をもっています。目的地に着くには水分補給が必要だからと、水を沢山もってきたのかもしれません。荷物をたくさんもって、自分が向かっている方向を正確に把握しようとしています。そして、目的地に辿り着くまでに水が足らなくならない程度に荷物を軽くするには、どのくらいの水を注ぎ出してよいだろうかと考えています。

以上すべては標準的な（normal）考慮事項です。というのは、あなたは自分の目的地に向かってもっと速く辿り着くための方法を調整しているからです。しかしそれからあなたは自分が使ってきたコンパスをもっと詳しく見てみて、磁石の部分が実は緩くなっていたことに気づきます。つまり針が今指しているのは、北ではない全く別の方角です。何周もぐるぐると同じところを回っていたのかもしれませんし、同じところを回ろうとしていたところかもしれません。

このことに気づいて、あなたは、針が指している方向をより正確に読み取ろうとしていた以前の推論すべてに対する自信を完全に失ってしまいました。これが、オリエンテーリングの文脈における決定的考慮事項の事例です。私の話したいアイディアはこうです。すなわち、より重要な文脈でも、私たちを狼狽させる同じタイプの考慮事項があるのではないかというものです。つまり決定的考慮事項とは、〈もしそれを考慮するなら、それを考慮に入れないでいたら我々の努力を向けるべき方向について私たちが到達していたであろう結論を覆すことになる〉ような考慮事項、あるいは、〈我々が努力を捧げている実践が進むべき方向を僅かに修正するだけではなく、それが進むべき方向や優先事項について、大規模な変更の必要性を明らかにする考え方や議論〉のことです。

功利主義的文脈では、今述べたことは以下のように敷衍できるかもしれません。決定的考慮事項とは、何らかの高位のサブゴール（high-level subgoal）の期待値を根本的に変えてしまう考慮事項であるというふうに。基本的な考え方はこうです。あなたは固定した何らかの評価基準をもっていて、ある高位のサブゴールを達成する全体計画を練っているとします。この計画は、この評価基準を最大化する方法に関するあなたの考えです。このとき、決定的な考慮事項とは、このサブゴールを達成することの期待値を根本的に変えてしまう考慮事項ですが、これからその具体例を見ていきます。さて、もし自分の見解を功利主義の文脈に限定するのをやめるとしたら、肩肘の張っていない以前の定式化に立ち返りたいと思うかもしれません。というのも、疑われるかもしれない論点のひとつは功利主義それ自体であるからです。とはいえ今回の講演のほとんどに関して言えば、私たちはその功利主義的な決定的考慮事項について考えていくでしょう。

もっておくと便利な、関連する概念がいくつかあります。決定的考慮事項の構成要素（crucial consideration component）は、それだけでは決定的考慮事項にはならないが、決定的考慮事項の内部で中心的な役割を果たすことができるかもしれない実質的な可能性をもつように思われる議論、考え方、あるいはデータとなるでしょう。決定的考慮事項の構成要素は「これは本当に興味をそそられるし、重要であるかもしれない。しかし現時点でどう扱えばいいのかは見当もつかない」と言いたくなるような種類のものです。それ単独では、あまり意味をなさないかもしれませんが、他のピースと合わさると、何らかの仕方で重要な結果を生むようになります。したがってこの種の決定的考慮事項の構成要素を発見することも有用でありうるのです。

次に、熟慮の階梯（deliberation ladder）という概念があります。これは同じ高位のサブゴールに関して、反対方向を向くある一連の決定的考慮事項のことです。一般的な困難を説明するのに役立つ、この種の決定的考慮事項の階梯のいくつかの例を見てみましょう。

国政選挙に投票すべきか？

「国政選挙に投票すべきか」という問題を取り上げてみましょう。「1階」の推論では、「より優れた候補者を大統領にすべきだ」と考えます。これが理にかなっているのは明らかです。

次にもう少しだけ深く考えてみます。「でも、私の投票が違いを生む可能性は極めて低い。投票せず、自分の時間を有効利用すべきだ」と。

（こうした例は一般的な考え方を説明するためのものです。こうした特定の例について喧々諤々の議論をそれほどしたいわけではありません。複雑な問題だからです。それでも、こうした例は一般的な現象を描写するのには役立つでしょう。）

つまり私たちはここで「そうだ、我々は投票すべきだ」から出発し、投票所に着くまでの計画を立てたりします。それから、二点目を考慮することで、私たちは「いや、投票すべきではない。全く異なることをすべきだ」へと意見を変えます。

次に、「なるほど、私の投票が違いを生むことはありそうにないにしても、賭けられているものは極めて大きい。何百万人の人生が大統領に影響を受けるのだ。したがって自分の投票が決定的なものである確率が何百万分の一だとしてさえも、期待される利益はなおも、投票所に行く価値があるほど十分に大きい。」ついさっきテレビの前に戻ってフットボールの試合を放送するチャンネルをつけようとしていたところ、今度は投票すべきであることが明らかとなり、行き先が逆転します。

それからまた考え続けて「さて、選挙が接戦であるなら、自分の投票は違いを生まないだろう。もし選挙が接戦であるなら、投票の約半分が誤った候補者に入れられるだろう。その場合、競っている候補者たちは正確に同程度の、あるいはほとんど同程度の能力を備えているため誰が勝つかはあまり問題にならないか、あるいは候補者の能力について、典型的な投票者の判断は極めて信頼できないもので、ほとんど何の意味ももたない。だから、わざわざ投票する必要もない。」

今度はあなたは、快適なソファに腰を下ろし、ポップコーンやらなんやらを出してきてこう考えます。「あーそうか、私は候補者たちのもつ利点について典型的な有権者よりもずっといい判断を下せるに決まっているのだから、私は投票すべきだ。」

さらに続けて、あなたはこう考えます。「まてよ、でも、心理学の研究によれば、自信過剰な人間のほとんど全員が自分が平均以上だと信じているが、〔自分が平均以上かどうかについて〕彼らが正しい確率は半々だ。もし自分が典型的な投票者と同じくらいの確率で誤った候補者に投票してしまうなら、私の投票は選挙の過程で無視できる程度の情報しかもたないのだから、私は投票すべきではないことになる。」

それから、さらに次のように進んでいきます。

「そうだ、私は以上の推論過程を経てきたわけで、このことが、私が特別である証拠だ。私は投票すべきだ。」

しかしそれから「おっと、私が特別なら、機会費用は...」（だからこそ私は皆さんに、哲学者にならないよう忠告するわけです）
つまり、私はより重要な何かをすべきだ。しかしもし私が投票しないなら、知人たちは私が、皆が全会一致で最高だと考える候補者を支持しなかったと知るだろうし、知人たちは、私のことを変わり者で不義な人間だと思うだろう。そうすると、そのことが、私がさもなければ善い目的のために持ちえた私の影響力を弱めてしまうかもしれない。それゆえ、結局のところ私は投票すべきなのだ。

しかし自分の確信のために立ち上がり、実りある議論を喚起することは重要だ。私の知人たちは、投票に関するこれまでの複雑な推論を説明するなら、私が本当は賢くて、複雑な考えをもっているのだと考えるかもしれないし、それによって私の影響力が増して、その影響力を何かしらの善い課題領域に利用することができる、云々然然。

階梯がここで止まると考える理由はありません。単に私たちがここまでのところで息切れしただけです。もしある段階で推論が止まるなら、もしかすると階梯には次の段があるのではと思うでしょう。正直に言って、その段階で一時的に到達した結論を支持することにどれほどの合理性があるとあなたは考えるでしょうか。

存亡リスク（xリスク）に対処する技術研究への資金投入を優先すべきか？

技術政策と存亡リスク（xリスク）の文脈で、熟慮の階梯のもうひとつ別の例を見てみたいと思います。これは我々がそれを推進すべきであるということであれ、より多くの資金を調達すべきであるということであれ、そのタイプのテクノロジーに関して展開できる種類の論証です。

ここで問題となるテクノロジーは、ナノテクノロジーです。これは実際、この論法の由来となる事例です。この論証の一部は、エリック・ドゥレクスラー（Eric Drexleer）の著作『創造のエンジン（Engines of Creation）』にまで遡ります。この著作で彼は実際にこの種の推論を擁護していました（第12章）。我々はナノテクノロジーに出資すべきだ 。なぜなら、医療、製造、クリーンエネルギーなど、将来的な応用可能性が多数、存在するからだ。──-これは、「1階の」推論です。

しかしナノテクノロジーは軍事転用されたり、テロリストによって利用されたりして、人類の存亡に危機を投げかける大量破壊兵器を生みだすことにもなりかねません。ナノテクノロジーがこんなに危険なものなら、資金提供なんかすべきじゃないかもしれません。

でも、もしこの種のテクノロジーが可能なら、私たちがそれを求めようが求めまいが、多かれ少なかれ開発されてしまうのはほとんど確実です。（「私たち」というのはこの部屋にいる人たちのことかもしれないし、イギリスや他の西洋民主主義国家に住む人々かもしれません。）もし責任ある人々がナノテクノロジーの開発を控えるなら、無責任な人間たちが開発してしまうでしょうし、これはリスクをさらに引き上げることになります。だから私たちは、ナノテクノロジーに資金提供をすべきなのです。

（お分かりの通り、ナノテクノロジーだけではなく、他のテクノロジーの良い面と悪い面を評価するためにも、同じテンプレートを使えます。）

しかし、私たちはナノテクノロジー開発については既に一歩先を進んでいるわけで、追加の資金提供は単に、開発を早めるだけです。これにより、その危険に備えるために残された時間は減ってしまいます。したがって追加の資金提供を行うべきではありません。ナノテクノロジーに費やされる努力に追加で資金を提供せずとも、責任ある人々は行き着くところまで行き着くことができます。

しかし今度は、周囲を見回してみると、ナノテクノロジーの危険に備えるための真剣な努力はほとんどなされていないことに気づきます ── そして基本的にはこれが『エンジン』におけるドレクスラーの主張なのですが ── 真剣な準備が開始するのはただ、ナノテクノロジーを開発するための大規模なプロジェクトが進行し始めたあとになってからだからです。そうなってはじめて、人びとは、ナノテクノロジーが危険となるその見込みを真剣に受け取るでしょう。

ナノテクノロジーを開発する、マンハッタン計画のような真剣なプロジェクトに取り組まれるのが早ければ早いほど、その完遂にはより長い時間がかかります。なぜなら、始めるのが早ければ早いほど、より基礎のできていないところから出発することになるからです。そうすると実際のプロジェクトはより長く続くことになりますが、それは、準備のための時間が増えることを意味するでしょう。なぜなら真剣な準備にとりかかれるとしたら、当のプロジェクトが開始してからであり、かつそのプロジェクトが早目に始まれば始まるほど、その完遂には長い時間がかかり、それゆえ準備の時間がより長くなるからです。そしてこのことが示しているのは、準備のための時間を最大化するためには、このナノテクノロジー製品を今すぐローンチできるように、最大限の努力を惜しむべきではないことです。

しかし検討すべき事項はまだあります。リスクレベルは、特にナノテクノロジーの脅威に対抗すべく実行されてきた真剣な準備の量以外の要因によっても影響を受けるでしょう。例えば、ナノテクノロジーが開発される以前に、機械知能が開発されたり、偏在的な監視体制が張り巡らされて、ナノテクノロジーのリスクを除去する、あるいは緩和するかもしれません。こうした他のテクノロジーはそれ自体で大きな脅威となりうるにしても、いずれにせよそのリスクには対処しなければならないでしょう。そして、言えることはまだたくさんあります。

ナノテクノロジーは、例えばAIからのリスクのような他のこうしたリスクを本当に減らしはしないでしょう。好ましい順番は、ナノテクノロジー以前に超知能や偏在的な監視体制を手にすることで、だから私たちは、技術的完成予測についての一定の背景的想定 ──- 十分な時間があれば、文明が崩壊しない限りは、あらゆる用途をもつ、ありとあらゆるテクノロジーが開発されるだろうという想定 ──- のもとに、たとえ超知能や偏在的監視体制が存亡リスクを含めてそれ自体で極めて危険でありうるとしても、ナノテクノロジーへの追加の資金提供には反対すべきです。超知能や偏在的監視体制の危険には直面しなければならないだろうし、私たちの選択が本当にかかわるとしたらそれは、私たちがそうした危険に直面する順番でしかないので。そして、ナノテクノロジーよりも前に超知能に直面するほうがいいのは、超知能はナノテクノロジーのリスクを取り除くが、その逆は成り立たないからです。

しかし、もし人びとがナノテクノロジーへの追加の資金提供に反対するなら、ナノテクノロジーに取り組んでいる人びとは、それに反対する人たちを嫌いになるでしょう。（これもドレクスラーの著作から取ってきた論点です。）しかし他の科学者は、ナノテクノロジーへの資金提供に反対するこうした人々を反科学論者であるとみなすかもしれず、そうなればそうした科学者たちと協働する可能性を減じ、もっと具体的な問題への私たちの努力 ── ナノテクノロジーに対する国家的な資金援助の水準に影響を与える私たちの試みに、実質的な違いを生む見込みがより高い努力 ── を妨げることになります。それゆえ私たちはナノテクノロジーに反対すべきではありません。すなわち、ナノテクノロジーに反対するよりも ── 〔その場合〕開発を少し遅らせようとするとしても、私たちは小さなグループなので、大きな変化をもたらすことはできません ── ナノテクノロジーの科学者と協働し、彼らの友人となるべきで、それから彼らとの信頼関係に基づいて、影響を与えて、科学者たちがナノテクノロジーを少し違った仕方で開発したり、何らかの防護策を加えたりできるようにするなどなどを試みることができるかもしれません。

再び、この問題に当てはまるような、熟慮の段階の限界に到達したと考えられる明確な理由はありません。これは戸惑いを覚える事実です。というのも、私たちが探求のツリーをより深く潜っていくにつれて、実践上の結論がいったりきたりし続けるように見えるからですが、なぜそうなってしまうのでしょうか。特に徹底的な功利主義者であろうとしたり、大局的な問いを本当に真剣に受け取ろうとする場合に、こうした熟慮の階梯が姿を現しやすいと思います。

決定的考慮事項と功利主義

なぜこうなるのでしょうか。ありうる理由を考えてみましょう。例えば、功利主義の適用範囲を、また別の適用範囲と比較して、例えばあなたが一般的な人間の選好関数をもつと仮定して ──- 家族の健康やキャリアの成功、リラクゼーションといった、典型的な人間的価値を望むと仮定して ── もしそうした選好を満たそうとしているとしたら、先にみた決定的な考慮事項の多くに遭遇する確率は比較的低くなるように思われます。なぜそうなるのでしょうか。

ひとつの可能な説明は、私たちは個人レベルでは、人生についてより多くの知識と経験を有しているというものです。何十億人の人びとが通常の人間の効用関数を最大化しようとし、多くのフィードバックを受け、多くのものごとが試されてきました。そのため私たちは既に、十数年生き続けたかったら、食事をとった方がいい等々のいくつかの基本的な事柄を既に知識として持っています。

こうした事項は我々が発見しなければならないようなものではありません。また、もしかすると我々の選好ははじめから、多かれ少なかれ私たちが進化によって環境内で認知的に利用することのできる種類の機会に多かれ少なかれ適合するよう形作られてきたのかもしれません。だから私たちは、私たちがそのシステム上、どうしても満たすことのできない変な選好はもたないのかもしれません。ところが功利主義では、慣れ親しんだ環境を遥かに超えて、宇宙コモンズ（cosmic commons）や何十億年もの未来、遥かに進んだ文明へと功利主義的選好が伸び広がっていきます。そうしたことが功利主義者の視点からは重要になりますし、さらには非常に重要になります。功利主義的選好が気にかけることのほとんどは、我々が慣れ親しんだものではありません。

功利主義から見た決定的考慮事項のまた別のありうる源泉は、目標それ自体を理解する困難さにあります。例えば、〔功利が〕無限になる有限の確率をもった世界に功利主義をどう適用すればいいのかを考えようとするなら、異なる無限の大きさをどう測り、それでも世界に違いを生むことができるにはどうしたらいいのかを理解しようとして、困難に陥るでしょう。これについては、私は大部の論文を書いたことがありますので、ここでは割愛します。これらすべての可能性を取り扱えるように功利主義を実際に定式化しようとするなら、そのことによって発生する他の問題があります。

ここで第三の可能な理由として、私たちは歴史上の何らかの転回点にどこかしら近いところにいて、はちゃめちゃに近いというわけではないにせよ、ともかく近いと言えるところにいると考えられるかもしれません。つまり私たちはいま、長期的な未来に影響を与えられる特別な機会をもつかもしれないが、同時にそこからはまだかなりの距離があるということです。私たちのなすべきことが、将来に対して最大の利益を生むインパクトをもつかどうかは、明白ではありません。しかしそれでも私たちは、未来の形を決めるであろう手だての輪郭を掴み始めることができるかもしれないほど十分に近くにいるのです。例えば、超知能は、私たちが今世紀に直面する転換点、あるいはその一つであると考えるかもしれません（Xリスクが転換点となるかもしれません）。そうだとすると、私たちはこうした問題について考える能力を最近になってやっと獲得し始めたところで、そのことで、極めて重要でありうる新たな考慮事項が導入されたのかもしれません。

このことは、個人的な領域でも同様に影響を及ぼします。その場合も通常の人間の典型的な効用関数と変わらないように見えます。その関数は、100年生きることより10億年生きることに100万倍の価値をおいたりはたぶんしないでしょうし、ひとりの子どもを育てるよりも、1,000人の子どもを育てることに1,000倍の価値をおいたりもしないでしょう。したがって、未来がまだ存続しているとしても、正常な人間の効用関数では、功利主義者にとってほどの重みはもちません。

第四に、私たちは最近になって、善き功利主義者であるための方法に関するこうした極めて重要な発見を可能にする、重要な探求ツールを発見してきたのだと論じることもできるかもしれません。そして私たちはまだこうしたツールの使い方をまだ把握しきれておらず、こうした探求ツールを使って根本的に新しい重要な発見を発掘し続けているわけです。それこそ、多くの決定的考慮事項が発見されてきているように思われる理由です。この発表の後の方で、そうしたツールの一部について少しお話します。

評価関数

この問題を少し違った角度から見てみましょう。チェスでの理想的な打ち方は、可能な手を考えるところからはじめて、次に相手が取りうる可能な応手を考え、それに対する自分の応手を考えるというものでしょう。理想的には、終局まで考え尽くしてから、勝つために最善の初手を選ぼうとするでしょう。もしゲーム木（game tree）の全体を計算し尽くせたとしたらの場合ですが。しかしゲーム木の枝があまりに多すぎるため、それは実行できる計算ではありません。考えるべき手の数は指数関数的に増えていくのです。

そこで、その代わりにあなたがやらねばならないのは、数手先を確実に計算することです。十数手先くらいでしょうか。そこまで行ったところで分析はとめなければならず、なのでこの場合、あなたは比較的計算するのが簡単な評価関数をもつことになります。この関数は、この六つの手と応手の一連の流れから出来上がる盤面を見て、その盤面の良さをやっつけで評価するものです。チェスの評価関数の典型例は、次のようなものです。

クィーンをもっているなど、どれほどのマテリアルをもっているのかを評価する項があり、手持ちの駒が多いほど有利です。相手がもつ駒が少ない場合も有利になります。ポーンには1の価値があり、クィーンには、正確かは分かりませんが、11程度の価値があるといった指標もあります。

それから重みづけをしていきます。これも評価関数のひとつの要素です。それから駒のモビリティを考慮するかもしれません。駒が隅に密集していたら、それは大抵、余り有望でない状況ですので、それに関して何らかの項を入れることになります。キングの安全性、センターコントロールの値も僅かに付け加えます。もし盤の真ん中を支配しているなら、有利な立場に立ちやすい状況にあることが経験から知られています。

そこであなたは、数手先を確実に計算して、比較的安定したこの評価関数を得ることになります。これを使えば、最初の数ターンをどう運べば、最も有利な状況になるかを知ることができます。こうした評価関数は主に、チェスの試合経験が豊富な人間のチェス・マスターから引き出してきたものです。異なる特徴に割り当てる重みづけなどのパラメータは、機械知能にも学習できるかもしれません。

私たちは、他の領域でもこれと似たことを行っています。例えば、伝統的な公共政策の典型例のように、社会的厚生経済学では、以下のような形式をとる何らかの社会厚生関数を最大化しなければならないと考えられています。

GDPが入っているのに違和感があるでしょうか。もちろん私たちは、GDPが増えることを望みます。しかし失業者の数や、（不）平等度、環境の健全性に関する何らかの要素も、もしかすると考慮に入れる必要があるかもしれません。何であれ社会的厚生関数に書き込む事柄は、深く考えられた道徳的な善さと同等である、ということはないかもしれません。それでも、社会的厚生関数の各変数は、善いものである傾向にあると私たちが知っている、あるいは私たちがそう思うようなものです。

社会的厚生関数は本当の価値の有用な近似で、実践的な意思決定の場面でより扱いやすいものになっています。さて、ここで、道徳的な善さに関してそれと似たものがあるのだろうかという疑問が湧いてきます。可能な限りで最も道徳的に善いことをしたいと望んでいても、ある状況で、社会的厚生関数と同じ変数のすべてをイチから計算するのは単純に難しいか、不可能であるように思えます。自分にできる様々なことを評価するには、あなたにも使えるもっと安定した原理が必要です。こうして私たちは、功利主義のより制限されたバージョンに目を向けるかもしれません。私たちは、ここに何を入れられるだろうかと考えることができます。

ここまできて、ベックステッドが話していた内容に戻ることができます。経済成長の水準やテクノロジーの洗練度のようなキャパシティをひとつの軸に、他方の軸に時間をプロットするなら、人間の生存状況は、このキャパシティ軸上のある種の準安定領域にあるというのが私の見解です。

しばらくは同じ領域をうろうろするかもしれませんが、考えるタイムスケールを長くとればとるほど、その領域を抜け出して下降し、滅亡するか ── 人的資源があまりに少なくなり、存続可能な最低の人口規模以下になってしまうなら、滅亡に向かいます（これはアトラクター状態のひとつです。つまり一度滅亡してしまえば、滅亡し続けることでしょう） ── あるいは上昇します。すなわち、技術的な成熟を迎え、他の星への植民地化を開始して、そうなれば地球起源の知的生命体の未来は、光の速度にも近い速さで膨張する泡のごとく拡大していき、ついには宇宙にあって私たちの出発地点から原理的に到達可能なすべての資源を利用できるようになるかもしれません。宇宙にあって私たちに到達可能な資源は、正の宇宙定数のために有限量です。私たちには有限量の物質にしか利用できないようです。とはいえひとたびこの過程が始まり、複数の銀河をまたにかける帝国となるなら高い確率で、この自然な展望に向かって只々進み続けるように思われます。

これにより、ベックステッドも言及していた、〈悪くない結果（OK outcome）の可能性を最大化せよ〉というマキシポック原則（Maxipok principle）が説得力をもつように思われます。これがせいぜいヒューリスティクス（rule of thumb）に過ぎないのは明らかです。この原理は、あり得るすべての状況で真であるような妥当な道徳的原理であることを意図していないし、事実そうでもありません。出発点にとった元々の原理から離れて、何かしら実践的に扱える原理を望むなら、その原理を様々な経験的想定に条件づけられたものにしなければなりません。ここにトレード・オフがあるわけです。おく想定はできるだけ弱いほうがいいが、原理はできるだけ取り扱いやすいものにしたいというトレード・オフです。

そこを妥協点にするのは、理にかなっているかと思います。つまり、人類が直面する存亡リスクの積分を最小化する行為を選べ、というわけです。これが常に正しい答えを与えるわけではありませんが、議論の出発点ではあります。ベックステッドが言及した原理とは相違する点もあり、誤った答えを与えるような別のシナリオもありえます。もしあなたが、地獄のような筋書で存亡に関わる超絶的な破局（hyper existential catastrophe）が起こる、大きなリスクが存在すると考えるなら、単に存亡に関わる破局だけではなく、超絶的な破局が存在するリスクを減らすためにも、存亡リスクの水準を少し持ち上げたいと思うかもしれません。考慮に入ってくるかもしれないまた別の論点は、激しいと言うには及ばないほどの僅かな軌道の修正です。

現在の議論の目的のために、〈功利主義的行為者の価値関数を定義しようと試みる際に、マキシポック原則を利用する〉という提案について考察することができます。そうすると問題はこうなります。存亡リスクを最小化したいとしたら、何をすべきか。これもまだかなり手の届かない目標です。この目標をより取り組みやすい要素に細分化する必要があります。

このプレゼンテーションの残りの部分にどのくらいふさわしいかは分かりませんが、次のスライドを見てください。

この素敵なスライドは別の発表資料からもってきたものです。直前に述べたことを別の仕方で言い直すとこうなります。持続可能性を一般に知られている仕方で、つまり〈我々が接近すべきは、自然環境が再生するよりも多くの資源を私たちが使い尽くすことのない、安定した状態である〉という静的概念として考えるのではなく、持続可能性を動的な観点から考え、ある状態に到達する代わりに、際限なく持続可能な軌道に乗り、その軌道を維持しようとする必要があると私は考えます。ここで際限なく持続可能な軌道とは、その軌道上に収まるなら、その軌道上にいつまでも留まり続けることができ、かつそれで善い方法に向かうことができるようなものです。

もしあなたがロケットをもっているなら、ここでそれがよい類比物になるでしょう。ロケットにとっての安定状態のひとつは発射台に置かれていることです。発射台の上に長い間置かれたままでいることは可能です。また別の安定状態は、そのロケットが宇宙空間に打ち上げられた場合にも、錆たりしなければ、かなり長い時間飛行し続けることがおそらくはできるような場合です。しかし空気中では、このロケットは不安定系になります。私の考えでは、それこそいま人類がいるところです。私たちは空中にいるのです。静的な持続性の概念が示唆しているのは、宙に浮いていられる程度の最小限にまで燃料消費を削減すべきだということです。それにより現状に留まることができる期間が延びるかもしれませんが、もしかするとその代わりに私たちがすべきは、最大限燃料を消費して、脱出速度に到達するのに十分な推力を手にすることかもしれません。(これは、化石燃料を最大限燃やせという文字通りの意味ではありません。ただの比喩です)

ここでのポイントは、可能な限りで最も善い状況に至るためには、例えば、宇宙コモンズを利用し、私たちを悩ます病気をすべて治療することができる等々するためには、途轍もなく進んだテクノロジーが必要だという点です。最善の可能世界を手にするためには、大量の洞察と知恵も必要でしょうし、高度なテクノロジーを使ってお互いに戦争をけしかけあう事態を避けるためには、かなり大がかりな協調も必要でしょうし、その他にも色々とあるでしょう。究極的には、これら3つの変数〔洞察・知恵、テクノロジー、協調〕ひとつひとつが大きな値を持っているような状態を私たちは望むことになるでしょうが、しかし考察の末に私たちがどの変数をより多く求めるかというという問いは開かれたままです。例えば、一定のタイプのテクノロジーをより多く手にする以前に、より多くの協調と洞察が欲しいと私たちは思うかもしれません。したがって私たちは、様々な種類の強力なテクノロジーを得る前に、戦争のためにそうしたテクノロジーが使われないくらい、十分な平和と理解をまずは確実にもっておきたいと思うでしょうし、また、そうしたテクノロジーによって意図せず自壊してしまうことがないほどの十分な洞察と知恵をまずは確実にもっておきたいと思うでしょう。

超知能（superintelligence）は明白に、ユートピアには存在してほしいものであるように思われますが、それは超高度なテクノロジーでもあります。超知能を開発する前に一定程度の洞察を得ておいて、それから正しい仕方で開発できるようになりたいと私たちは望むかもしれません。

コンピュータテストの状況になぞらえて、この、功利主義者の評価関数・マキシポックの構成要素だと考えることのできそうな別の特徴が存在するかどうかを考え始めているかもしれません。

技術発展の差別化の原理（principle of differential technological development）が提案するのは、危険で有害なテクノロジー ── すなわち、存亡リスクを上昇させるテクノロジー ── の開発を遅らせ、存亡リスクを減少させるテクノロジー開発を加速させるるべきだというものです。

最終的な答えではなく、最初の素描に過ぎませんが、豊富な知恵をつけ、国際平和や国際協力が遥かに進むことを望んでも、テクノロジーに関しては少し事情が複雑です。一部のテクノロジーにはおそらくより速い進歩を望み、他のテクノロジーにはよりゆっくりとした進歩を私たちは望んでいます。私の考えでは、大まかには以上三種類〔洞察、協調、テクノロジー〕が評価関数に入れておきたい項になります。

これが示唆しているのは、介入策や課題領域に加えて、考えるべきひとつのことは、様々なものごとを特別なものとする特徴が何かということです。介入策はレバレッジが高いものであるべきですし、課題領域はレバレッジの高い介入策を約束すべきです。あなたにできることが善いことであるだけでは十分ではありません。あなたにできる他のことと比べてそれがどれほど善いことなのかを冷静に考えることが望まれます。あなたの手の届く低いところにぶらさがった果実をどう捉えるのかを考えずに様々な課題領域について考えるのは益がないことです。

しかしこのより高度な水準、こうした決定的な考慮事項が存在するこの高緯度地域では、異なる基本パラメータや、もしかすると自分たちがそうしたパラメータにどれほど影響を与えられるのか確信をもてない場所さえも、その符号を考えておくことには価値があるように思われます。（基本的には各パラメータには符号がつきます。というのも私たちはそのパラメーターについて、より高い値を望むか、低い値を望むかするからです。）ここではさしあたり、レバレッジに関する問いは括弧に入れておけるかもしれません。というのも、まずはこの土地に順応するためには、その問いはこの文脈では、少しばかり先延ばしにしておきたいと思うであろうからです。しかし優れた標識 ── すなわち、私たちがそれを特別なものとする特徴が何かを決定したいと思う優れたパラメータ ── は遠くからも視認できるものでなければならないでしょう。つまり、もし私たちがある量を定義したが、たったいま定義したこの量に対して何であれ特定の介入策がポジティブに寄与するのか、それともネガティブに寄与するのかを述べることが難しいような用語で定義するなら、標識としてはあまり役立ちません。ですから、例えば「期待値を最大化せよ」という仕方で問題の量を定義することもできたでしょう。それはただただ私たちの役に立たないのです。というのも、何か具体的なことをしようとしている場合にはいつでも、あなたはまだ、実質的には、あなたがこれまでいたところと同じくらい離れたところにいるからです。他方で、この部屋にいる人の人数を最大化せよ等々のより具体的な目標を設定するなら、この場合は何人の人がいるのかといったことを簡単に言えますし、それを最大化する方法についても考えられます。私たちの考えるどの特定の行為についても、この部屋にいる人の人数を最大化するというこの目的に、その行為がどれほどそぐうものであるのかを簡単に見て取ることもできるかもしれません。しかし、この部屋に多くの人がいればいるほどよりよくなるのかどうか、あるいは〔人数とよさのあいだに〕逆相関が存在するのかどうかについて、強い根拠を得るのはとても難しいと感じるでしょう。優れた標識は、遠くから見つけやすいことと、その標識を確信できる強い根拠を私たちが持てるようなものであることの間の理にかなった妥協点を掘りあてるものとなるでしょう。

いくつかの暫定的な標識

極めて暫定的なものではありますが、標識のいくつかは次のようなものです。私の見解では、これらは暫定的なもので、人によっては意見が全く異なることもあるだろうと思います。ですからこれはどちらかというとさらなる研究のための領域といったほうが近いです。とはいえ、標識について考え始めるにはどうしたらいいのかを示すためには有用でしょう。

計算ハードウェアの進歩はもっと速いほうが良いでしょうか、それとも、もっとゆっくりのほうが良いでしょうか。私の最善の推測によれば、もっとゆっくり進歩することを私たちは望むでしょう。そしてそれは、機械知能のよる変革から来るリスクに関係します。より計算速度の速いコンピュータがあればAIを作るのももっと容易になり、それにより（a）おそらくAIの開発が早まり、そのせいで適切な用意を行う必要があるにもかかわらず、そのための残り時間が少なくなってしまいます。また（b）AIを作るために要求される技術水準も下がることでしょう。つまり、馬鹿みたいに高い計算能力があれば、自分がしていることについて本当に理解している部分がそれほどなくても、AIを作ることができてしまうかもしれません。ハードウェアに制限があるときには、洞察と理解をより多く必要とするかもしれません。そして、AIがより多くの洞察と理解を備えた人々によって創り出されるほうがいいでしょう。

これは決して一撃必殺の議論というわけではありません。というのも存亡リスクは他にもあるからです。誰かがナノテクノロジーを開発してしまうだろうという理由で、私たちは今すぐにでも滅亡に向かうのだと考えていたとしたら、AIというある種のワイルドカードを可能な限りすぐに試してみたいと思うかもしれません。しかしこれがすべてを考慮した上での私の最善の推測であり、ひとつの可能な推論です。

全脳エミュレーション（whole brain emulation）はどうでしょうか。これに関して私たちは長く、大規模な分析を行いました。もっと具体的に言えば、全脳エミュレーションをしたいと望むかどうかではなく、全脳エミュレーションのための資金提供を増やしたいか、減らしたいか、その開発に費やす資源を増やしたいか、減らしたいかどうかを分析しました。全脳エミュレーションは、機械的な超知能（machine superintelligence）にたどり着くひとつのありうる経路のひとつですが、複雑な推論の結果、私の答えは「ノー」となりました。とはいえ〔計算ハードウェアの場合よりも〕さらに不確かですし、全脳エミュレーションに関する私たちの研究グループ内でも異なる見解が多数存在します。（ディスカッションの時間で、そのうちどれかひとつの見解に関心をもつひとがいれば、それについて詳しく話すこともできます。）

人間の生体認知エンハンスメントはどうでしょうか。私の最善の推測によれば、この分野について私たちは、より速い進歩を望むでしょう。

これら3つについて、私は自著の中でもっと詳しく論じています。AIについても論じています。

AIについては、私は、デフォルトでありえそうな速度よりも僅かばかりゆっくりと進むほうが私たちにとっては望ましいだろうと考えます。

もうひとつ別の論点があります。

成功したAIを一番最初に開発した企業、あるいは事業、あるいはチームがいたとして、同じことをしようとしている二番目のチームよりも彼らがどれくらい先に進んでいて欲しいでしょうか。私の最善の推測によれば、僅差であるよりも、ずっと先を、理想的には何年も先を行っていて欲しいと思うはずです。そうすれば、過酷な技術競争に身を置くのではなく、詰めの部分でペースを落とし、より安全な手立てを講じることができるようになるからです。

AIアライメント問題に対する解決策を見つけ出す試みはどうでしょうか？これについても、より速い進歩が私たちにとって望ましいと私は考えますし、私たちの焦点課題のひとつです。また Machine Intelligence Research Institute にいる私たちの知人たちの一部もこの分野にいて、この問題に精力的に取り組んでいます。

効果的利他主義の運動はどうでしょうか？効果的利他主義がより速く、より善い方向で発展することは、様々な観点から善いことのように思いますし、しかも少しの失敗にもぶれない善さをもっています。

国際平和と国際協力はどうでしょうか。これも善いように見えます。

合成生物学は？あまり具合がいいようには見えないかと思います。私たちはこれについてはまだ詳細に検討したことはなく、意見が変わるかもしれませんが、合成生物学のXリスクが存在する可能性があるようにもみえますし、利益をもたらすかもしれません。認知エンハンスメントの改良を可能にする可能性がある以上は、判断の難しいある種のトレードオフもあるでしょう。

ナノテクノロジーはどうでしょうか。具合が悪いように私には思えます。ナノテクノロジーに向かうスピードはもっとゆっくりとしたものであるほうが良いでしょう。

経済成長はどうでしょうか？　私見では、その標識が良いものか悪いものかを見分けるのはとても難しいです。また、これについて考えたことのある人びとのコミュニティ内部でもやはり、その標識についてさまざまな推測がなされています。

小・中規模の破局の阻止はどうでしょうか。これもよさそうに見えます。存亡リスクほどではない地球規模の破局リスクもそうです。ここでも、その標識が良いか悪いかを知るのは極めて困難です。ここでも私たちは、レバレッジを完全に括弧に入れ、〈そのための費用なしにできるとしたら小・中規模の破局の阻止にもっと取り組みたいか、そうではないか〉だけを知っているとしても、やはり答えは明白ではありません。というのも一方では、小規模の破局は、破局に対する私たちの免疫を高め、防護体制を整えるなどして、大きな破局から私たちを守ることもあるかもしれません。文明崩壊を引き起こしうる中規模の破局、すなわち、日常的な感覚では大きいが、この文脈で言えば大規模な破局である存亡リスクと比べれば中規模に過ぎない破局について考えるなら、その徴候が何であるかはやはり全く明白だ、というわけではありません。それを明らかにしようとするには、もっとたくさんの作業が必要です。破局からの復興の可能性が極めて高いとしたら、復興後の文明が、この経験を経ることで存亡に関わる破局を避ける見込みが高まるのではないかという推測をあなたはもつかもしれません。

以上が、思考の端緒となりうるパラメータです。常識的な観点からは、明白なように思われる一部のパラメータでさえも、上記の全パラメータが互いにいかに絡み合うのかを考え始めた途端、実は全く明白ではないことが明らかになります。

あなたが、ここオックスフォード大学の事務スタッフだったと想定しましょう。コンピュータサイエンス学部で働く秘書だとします。コンピュータサイエンス学部の運営を僅かに、より効率的にする何らかの方法を見つけたとしましょう。例えばこのメーリスを作成して、もしメンバーが告知を行いたい場合には、このメーリスにメールを送るだけでよく、各人のアドレスを個別に宛先に入れる必要がなくなるとします。しかもこのメーリスは極めて有用で、素晴らしいものです。初期費用以外の費用はかからず、導入後は誰もが業務をより円滑に進められています。ここで提示した見方によれば、これが実際に善いことかどうかは、極めて明らかというわけではありません。もしかするとそれによって、AIの発展に寄与しているかもしれません。経済成長への小さな、全般的な効果以外には、AIの発展に対する寄与こそ、あなたのその工夫の主な効果です。この効率性の僅かな向上によってあなたは、期待される世界をより悪いものにしてしまったかもしれません。こうしたことを考え尽くそうとするこのプロジェクトは、ある意味で、ニーチェ的なあらゆる価値の価値転換 ── あらゆる価値の再評価 ── と少し似ています。ただしニーチェは、このプロジェクトを完遂することは叶いませんでした。その前に狂ってしまったからです。

その他の決定的考慮事項を伴う可能性のある領域

さて、こちらは、その他の決定的考慮事項を伴う可能性のある分野の一部です。そのすべてを詳しく論じるつもりはありません。私は単に、こんにちにおいて、なおも決定的考慮事項が存在しうる分野の具体例を挙げているだけです。これは決して網羅的なリストではありませんし、この一部についてはもっと話せることがあります。このリストはより一般的で抽象的なものから始まって、より具体的で、日常的な推論によっても理解できるものへと進んでいきます。

その他の決定的考慮事項を含む可能性のあるいくつかの分野のリスト

• 反事実的交渉

• 現実がシミュレーションである可能性

• 無限主義的無感覚

• パスカルの強盗

• 集計倫理（総量、平均、負の値）

• 情報ハザード
  

• エイリアン

• ベビーユニバース
  

• 別の種類の道徳的不確実性

• ゲーム理論関係の他の問題

ほんの一例として、虫を取り上げてみましょう。もしあなたが古典的な功利主義者なら、この考慮事項は比較的、日常的なレベルで生じてきます。宇宙コモンズは脇に置いておいて、地球上のことだけを考えます。もし虫が感覚をもつなら、虫が感じている感覚の〔総〕量は極めて大きいかもしれません。というのも虫の数が途方もなく大きいからです。したがって私たちの政策が虫の福利〔well-being〕に与える影響は、人間や工場式畜産農場の動物等々の福利に与える影響よりも大きいかもしれません。私がここで言っているのは、実際にそうだということではなく、これは決して答えが明らかではないが、大きなインパクトをもちうる問いだということです。

あるいは、別の例を取り上げてみましょう。

サブルーチン（Subroutines）。ある種類の機械知能には、人工知能内部に強化学習アルゴリズムや他のサブプロセスなど、何らかの仕方で道徳的身分を持つことが判明するかもしれないプロセスが存在します。もしかすると、こうしたサブプロセスが走る回数が極めて大きいため、この種のものの一部が何らかの価値をもつようになる場合には、やはりその量は圧倒的なものになるかもしれません。

応急処置をいくつか

こうした分野のひとつひとつがそれ単独で、ひとつのワークショップを開催しなくてはならないようなものなので、私たちがここで詳しく論じることができるものではありません。しかしこうした決定的考慮事項はありうるし、その一部はまだ発見されてもいないのではないかと考える場合、私たちには何ができるでしょうか。この問いに対する歯切れのいい答えはもっていません。以下は、少し試してみるといいかもしれないと考えられる一応の（prima facie）もっともらしい理由がある事柄です。

• 早まった行動をとらない。特に、取り返しがつかないようなことはしない。

• 未発見の決定的考慮事項を見つけ、整理するための分析を増やすことに資源を投入する。これこそ私がいましているようなことを私が行っている理由であり、他のメンバーがこの事業に参加している理由です。

• 期待値の変化は一見、そう見えるよりもおそらくは小さいことを考慮に入れる。もしあなたが功利主義者で、あなたがすべきことについて、根本的な含意をもつこの新しい議論について考えているとしましょう。このとき、この新しい洞察のもとでは、様々な実践的方針の期待効用を徹底的に変えてしまうべきだとさしあたり本能的に思うかもしれません。しかしときおり新たな決定的考慮事項が見つかるという事実を思い返せば、それでもまだあなたの期待値を変更すべきかもしれないにしても、最初にそうすべきであるように思われたほどではないかもしれません。この点について、メタレベルな反省が必要です。

• 根本的な道徳的不確実性を考慮に入れる。ものごとをより一般的な、制限のない規範的観点から考察すべきだということで、功利主義にとどまらない範囲に考察を広げる場合、規範的な不確実性を考慮に入れる議会モデル（Parliamentary Model）のようなものであれば、かなり堅固であるように見えます。この議会モデルとは、〈どの道徳理論が真であるのかが不確かだとしたら、様々な道徳理論〔のそれぞれにそれぞれの〕確率を割り当て、各道徳理論がその確率と比例した数の代表者をその議会に送り込むところを想像する〉というアイディアです。このとき、この想像上の議会では、異なる道徳理論の代表者たちは、何をなすべきかを議論し、妥協点を探ろうと努めます。そしてあなたは、ある種のメタファーですが、あなたの「道徳院（moral parliament）」が下した決定に従わなければなりません。ここでの考え方はこうです。他の事情が等しければ、ある道徳理論に割り当てられた確率が高ければ高いほど、その理論はあなたの行為を決定する上で、より多くの発言の機会を得ますが、しかしトビー・オードが彼の発表で話していた種類の交渉が異なる道徳的理論の間にはあると私は考えています。これ〔確率に応じた「発言の機会」を得ること〕は、この交渉についての考え方を表すひとつのメタファーです。これこそ基礎的な規範的不確実性についての正しい考え方である、というわけではないかもしれませんが、多くの状況ではそれに近いものであるように思われますし、完全におかしなことを含意はしなさそうだという意味で、比較的、堅固であるように思われます。

• 自分に好都合な目先の目的にもっと注力する。この宇宙規模の文脈で厚生の集計を最大化する方法についての整合的な意見をもつのは絶望的だと思えば思うほど、自分が重視している他の事項がより影響力を行使するように思われてきます。ですので、あなたが半分利己的で、半分利他的であるとしたら、あなたのなかの利他的な部分が、この種の熟慮の階梯上にあるという場合、あなたの利他的な熟慮に安定を見出すことができるまでの間は、利己的な部分をもっと前面に押し出すべきかもしれません。

• こうしたタイプの問題について賢く熟慮できる文明へと、人類の能力を発展させていくことに注力する。極めて具体的な目標を追求するよりも人類の能力を開発すると言うとき、現在の文脈では、力を得ることではなく、力の使い方に関わる私たちの性向が問題になっています。私たちは、その性向を変えることにより注力すべきであるように思えます。これもまだかなり曖昧ですが、一般的な方向性としてそれが望ましいことは、かなり確実であるように思われます。確かに、このこと〔すなわち私たちの性向を発展させること〕がなすべきではない誤ったことであることを明らかにするような決定的考慮事項がありうるかもしれませんが、しかしいまのところは〔力の使い方に関する性向を変えることに注力するほうが〕理にかなった推測であるように思われます。

私の話は以上です。ご清聴ありがとうございました。