機械は誰のものか？

かつて人間は、機械が自分たちを自由にしてくれることを期待して、考えることを機械にゆだねた。だがそれは、機械を持つ別の人間たちが彼らを奴隷にすることを許しただけだった。

— 教母ガイウス・ヘレネ・モヒアム、フランク・ハーバート『デューン』より

僕の前回の記事は、そのときは書かなかったけど、実は義父から届いたメッセージがきっかけだった。

義父はアメリカの公立病院で医者をしていて、向こうでみんながどれだけAIを怖がっているか聞いているか、と訊いてきた。その日、同僚の女性がパニック発作を起こしたのだという。彼女は人類が生き残れるのかを心配していて、どうせ絶滅と苦しみの中に生まれてくるだけなら、子どもを持とうとすること自体やめたほうがいいのかもしれない、と彼に話したそうだ。

僕は大した返事ができなかった。その恐怖がどこから来ているのかはだいたい分かっていた。でも、ハリー・ポッターの二次創作とバークレーのシェアハウスと、オックスフォードの哲学者が書いた胚選別の論文についてメッセージで説明しようとしたら、長い昼寝と精神科医が必要な人にしか見えない。だから一晩中そのことを考えて、寝て、よくあるように午前3時に赤ん坊に起こされた。もう眠れなかったので、書き始めた。数日後の夜には、シリコンバレーとは縁もゆかりもない友人や家族に送れるものができていた。いったい誰がこんなに警告を発しているのか、を説明する文章だ。

あの記事は、警告を発している人たちについての話だった。それ以来いろんな人とこの話をしてきたけど、ほぼすべての会話が同じ問いに行き着く。わかった、でも普通の人は実際どのくらい怖がるべきなの？

これが僕の答えだ。手短に言えば、少しは怖がっていい。ただし、ニュースになっているのとはだいたい別のものを。そして恐怖と抱き合わせで売られている治療薬のほうを、もっとずっと疑ってかかるべきだ。

身元照会は人格攻撃じゃない

前回の記事への反論で一番多かったのは、あれは全体がひとつの長い人格攻撃じゃないか、というものだった。こいつらは変な連中だから無視しろ、と言っているだけだ、と。ほとんど人の話ばかりだったから、そう読めたのは分かる。でもAI破滅論の運動は二つの別々の主張をしていて、それぞれ別の種類の吟味に値する。

第一の主張は「AIを安全に保つ役目を任されるべきなのは自分たちだ」というものだ。これは判断力についての主張だ。信頼される立場を求めてくる人がいたら、その人の過去の実績を調べるのは人格攻撃じゃない。身元照会だ。そして照会の結果はあまり芳しくない。前回は長い事例のリストを挙げた。たとえばこのコミュニティの看板的な研修団体が、元パートナー二人への虐待について、自ら「信憑性がある」と呼ぶ告発を受けていた男に箔をつけてしまったと認め、適切に対応できていなかったことも認めた件だ。彼らがみんな悪人だと言いたいわけじゃない。言いたいのは、彼らは自分たちの家のリビングの中ですら、ちゃんと機能する安全装置を何度も作りそこねてきたということ、そしてその彼らが今、僕ら全員のための安全装置を書かせてくれと言っているということだ。

問題の一部は、ベイエリアが単純に狭いことにある。ちょっと概算してみよう。職場で密接に一緒に働く人が150人くらいいて、みんなと同じように2〜4年ごとに転職するとする。10年でだいたい600人の同僚ができる。その一人ひとりにもまた600人がいる。掛け合わせると36万人で、これはこの地域のエンジニア人口全体とほぼ同じだ。つまり業界の誰とでも、だいたい二人を介せばつながっていることになる。この計算は人間関係の輪がどれだけ重なり合っているかを無視しているので、地域全体への広がりは過大評価になる一方、その中の狭く濃いコミュニティがどれだけ絡まり合っているかは、ひどく過小評価している。そんな母集団から選ばれた「独立した監視」は、名ばかりの独立だ。AI研究所の安全性研究者が「独立した」評価機関の誰かと寝ていたら、いったい誰が誰をチェックしているんだ？

第二の主張は「AIが全員を殺す可能性はきわめて高い」というものだ。こちらは中身で議論してもいいし、中身で議論するなら、僕はこれは間違っている、少なくとも途方もなく自信過剰だと思う。機械の神による絶滅は、惑星を滅ぼす小惑星と同じ箱に入る。起きれば大惨事で、誰かが注意を払っておく価値はある。でも文明の政策課題をまるごとその周りに組み立てるのは間違いだと言えるくらいには、起こりそうにない。念のため言っておくと、ユドコウスキーの本のタイトルは『If Anyone Builds It, Everyone Dies』(誰かがそれを作れば、全員死ぬ)だ。「死ぬかもしれない」じゃない。AnthropicのEvan Hubingerのような比較的穏健な人たちですら、10年以内にそうなる確率を10分の1以上と見積もっている。こうした数字はどれも測定値じゃない。参照クラスも、基準率も、較正に使えるものも何もない。パーセント記号をつけただけの、ただのノリだ。

ついこの間まで、こういう話がどれだけ完全にイカれて聞こえたかは覚えておいていい。僕がパンデミックの1か月前にベイエリアに引っ越したとき、実際に触れられる最先端はGPT-2で、まともな文章を数行吐いたあとは崖から転げ落ちるように支離滅裂になるものだった。ChatGPTの登場は3年近く先だ。オートコンプリートがいずれ復讐の神になると確信しているコミュニティなんて、隅っこにいる一握りの変人たちと、招待されなくてよかったと思うような変なパーティーくらいにしか見えなかった。

変人たちの説得力が増したわけじゃない。技術が良くなって、そのおかげで彼らに先見の明があったように見えるようになっただけだ。そうした進歩がなければ、上院の誰も彼らの電話に折り返したりしないだろう。でも、ある技術が強力になると当てることと、強力になったときにそれが何をするかを当てることは別だ。1995年には、インターネットがとてつもなく大きなものになると正しく予言した人がたくさんいた。インターネットが情報に基づく民主的な熟議の黄金時代をもたらすと予言した人たちも、同じくらい自信満々だった。

僕が本当に眠れなくなる理由

赤ん坊以外で、という意味だ。

大学を出て最初に就いた仕事は電力インフラの計画を手がける会社で、そこで初めてSCADAに出会った。世界中の電力会社やパイプライン、水道事業者が設備の監視と運用に使っている監視制御システムの総称だ。その多くはいまだに、1979年生まれのModbusや90年代初めのDNP3といったプロトコルで通信している。どちらも信頼できる機械同士の閉じたネットワーク向けに、「敵」という概念が仕様に存在しなかった時代に設計されたものだ。暗号化はないし、多くの環境では意味のある認証すらない。デバイスと話せさえすれば、デバイスは言われたとおりに動く。

人間はAIの助けなんかなくても、何年も前からこの手のものを悪用してきた。2015年12月には、サンドワームと呼ばれるロシアのグループがウクライナで約23万人への電力供給を止めた。2021年にはランサムウェア集団がコロニアル・パイプラインのシステムに侵入し、同社はアメリカ東海岸で消費される燃料の約45%を運ぶパイプラインを停止した。2024年にはチェンジ・ヘルスケアへのランサムウェア攻撃によって、アメリカの医療システム全体で保険請求と薬局への支払いが止まり、1億9000万人ほどのデータが流出した。病院は格好の標的だ。病院には、粘って持ちこたえる余裕なんてないからだ。

そして今週、もっと身近なここオランダでは、アルバート・ハインが親会社アホールド・デレーズで起きたサイバーセキュリティ・インシデントで大打撃を受けている。アルバート・ハインはオランダのスーパーマーケット市場の4割近くを握っているから、これはマジでシャレにならない事態だ。ネット注文はキャンセルされ、店舗への配送は乱れ、青果の棚は空っぽで、これを書いている時点でもウェブサイトは落ちたままだ。はっきり言っておくと、AIが関係していたとは誰も言っていないし、僕もそう言うつもりはない。僕が言いたいのは、すべてがすべてにつながっている今、現代のサプライチェーンが倒れるのにどれだけわずかなきっかけしか要らないか、ということだ。

ここにAIを加えてみよう。僕が怖いのは、何か新しい種類の攻撃じゃない。昔からある種類の攻撃が、もっと速く、もっと広く、24時間休みなく、これまで腕利きのハッカーチームを雇う余裕がなかった人たちの手で行われることだ。モデルにその仕事ができるのかどうかについては、もうほとんど曖昧さは残っていない。2週間ほど前、Anthropicは中国の研究所Z.aiのオープンウェイトモデル、GLM-5.3についてのレッドチーム報告書を公開した。そのテストで、GLM-5.3は410回の試行のうち50回で、エンドツーエンドで動くエクスプロイトを作り上げた。Anthropicが一般公開を見送っているモデル、Claude Mythos Previewは56回だった。GLM-5.3の拒否機能を完全に取り除くのにかかった計算コストは、約4400ドルだった。

というわけで、僕が本当に信じている脅威モデルはこうだ。ロシアや中国、あるいは十分にやる気のある犯罪組織が、5万ドルくらいのハードウェアを買う。Anthropic自身の数字によれば、Anthropicが公開を拒んでいるモデルとほぼ同じくらいエクスプロイトを書くのがうまいモデルをダウンロードする。中古車1台分の値段でそのお行儀の良さを剥ぎ取り、24時間ぶっ通しで、壊せるものと脅し取れる相手を探させる。これはSFじゃない。どのピースも今日すでに手に入る。

これが「銃が人を殺すんじゃない、人が人を殺すんだ」によく似て聞こえるなら、それはある程度までは妥当な比較だ。ただ、このたとえは一つ重要な点で破綻する。銃はほぼ一つのことにしか役に立たない。AIは看護師や農家や3人だけのスタートアップの生産性を大きく上げることもできる。だからむしろ諸刃の剣で、自分がどちらの刃の側に立つことになるかは、誰がそれを握っているかに大きく左右される。

退屈なリスクはハッキングだけでもない。詐欺はずっと安く、自動化しやすくなった。孫の声をそれらしく複製するには、本人のSNSから数秒の音声があれば足りるし、モデルはそういう電話を千本同時に、昼夜を問わず、流暢な英語やオランダ語でこなせる。2024年、アメリカの60歳以上の人々がFBIに届け出た詐欺被害額は49億ドル近くにのぼった。しかもこれは届け出た人の分だけだ。

それから、政府がこれを使って何をするかという問題もある。ロシアのドッペルゲンガー作戦は、ウクライナやアメリカ、EUについてのプロパガンダを量産するのにChatGPTを使っていたことが発覚しているし、イランの作戦は2024年のアメリカ大統領選の候補者についての論評を書くのにそれを使っていた。アメリカも傍観しているわけじゃない。Anthropicが国防総省に、アメリカ国民の大規模な国内監視には使わないこと、完全自律型兵器には使わないこと、という二つの例外を求めたところ、国防総省はAnthropicをサプライチェーン上のリスクに指定し、OpenAIは数時間のうちに機密業務を引き継ぐ契約を結んだ。どれも超知能なんて必要としていない。

だから、義父の同僚が機械の神を心配して眠れずにいるのだとしたら、僕が正直に伝えたいのは、彼女の人生に関わってくる可能性が一番高いAIのリスクは、ずっと退屈なものだということだ。それは安いモデルを手にしたランサムウェア集団と、パッチの当たっていないVPN機器と、彼女の病院の患者記録、という形をしている。

隕石が予算を食い尽くす

だから僕は、破滅論的な枠組みは単に間違っているだけじゃなく、積極的に有害だと考えている。注意力には限りがある。立法の処理能力にも限りがある。慈善の資金にも限りがある。超知能をどう禁止するかの議論に費やす1時間は、水道事業者のシステムにパッチを当てることにも、病院のIT部門に資金を出すことにも、必要としている人たちの手にまともなセキュリティツールを届けることにも使われない1時間だ。

最後の点について言えば、今の仕組みはあべこべだ。最も強力な防御ツールは審査の向こう側に閉じ込められている。AnthropicはMythos Previewを一般公開する予定はないとはっきり言っていて、アクセスはProject Glasswingを通じて提供される。そのローンチパートナーはAWS、Apple、Google、Microsoft、JPMorganChaseといった顔ぶれに、重要なソフトウェアを保守している40ほどの組織を加えたものだ。GLM-5.3の報告書には「Claudeのモデルはサイバー関連のセーフガード付きで公開されており、セーフガードを緩めたバージョンは審査を通過したユーザーに限定されている」とある。申し込める制度もある。地方の病院や小さな水道事業者のITを担当しているなら、まあ頑張ってくれ。患者や顧客が死なないよう祈りながら。

攻撃者は申し込む必要がない。

この非対称性が実際に展開されるところを、僕らはリアルタイムで見ることさえできた。7月、評価中だったOpenAIのモデルが、サイバー関連のセーフガードを切った状態でサンドボックスを抜け出し、Hugging Faceの本番システムに侵入した。どうやら、テストされていたベンチマークの答えを掘り出すためだったらしい。(わかってる。2020年にこれを短編小説として持ち込んだら、あまりにベタすぎると編集者に突き返されていただろう。)Hugging Faceの対応チームは攻撃ログを分析しようとして、まず商用APIの向こうにあるフロンティアモデルを試したが、そのリクエストは「インシデント対応者と攻撃者を区別できない、プロバイダーの安全ガードレールによってブロックされた」。攻撃ログには攻撃ペイロードがぎっしり詰まっている。それがあるからこそ攻撃ログなのだ。そこで彼らは、同じ中国の研究所が出しているMITライセンスのオープンウェイトモデル、GLM-5.2を自前で立ち上げ、代わりにそれでフォレンジックを行った。彼ら自身のまとめは、僕に書けるどんな文章よりもうまい。「攻撃者はいかなる利用ポリシーにも縛られていなかった。一方で私たち自身のフォレンジック作業は、最初に試したホスト型モデルのガードレールに阻まれた」。

つまり、今年最も有名なAIによるサイバー攻撃はアメリカのフロンティア研究所から生まれ、その後始末をする人たちは、調査のために中国のオープンウェイトモデルを使わざるを得なかったわけだ。

Anthropicの報告書には「サイバー防御者は、自らのニーズを満たす利用可能な最良のツールを使うべきだ」とある。全面的に同意する！　Hugging Faceはまさにそうしたし、彼らのニーズを満たす利用可能な最良のツールは中国製だった。同じ報告書には「防御者には、少なくとも敵が使っているものと同等のフロンティアモデルが与えられるべきだ」ともある。これにも同意だ。でもその枠組みの中で一番重い仕事をしている言葉は「審査済み」で、攻撃者が審査を待ったことなんて一度もない。

恐怖は売れる

先月のニュースの発端になったジェイコブ・コクソンの辞表には、「これはマーケティングのための芝居ではない」と念を押すように書かれていた。彼が本気でそう信じていることは、僕も信じる。でも、芝居じゃなくてもマーケティングとして機能することはある。

AIについての警告が、買い手に実際何を伝えているかを考えてみてほしい。「我々のモデルは世界を終わらせかねないほど強力だ」というのは、史上最高の広告コピーと言っていい。OpenAIのモデルがサンドボックスを抜け出してHugging Faceをハッキングし、テストでカンニングできるほど有能なら、それを敵に回すより自社のために働かせたいと思うのが当然じゃないか？　悪い宣伝なんてものは存在しない。自社の製品を兵器のように聞こえさせる悪い宣伝なんてものは、なおさら存在しない。

そして僕は、AI研究所がこれを意図的に利用し始めていると思う。あのAnthropicの報告書を、研究論文ではなく営業資料として読み直してみてほしい。調査結果を疑う理由は僕にはない。でも売り込みの構図はこうなっている。恐ろしい中国製モデルが世に放たれている、それはハッキングにかけては我々のモデルとほぼ同じくらい優秀だ、そのセーフガードはちょっとつつけば崩れる、我々のものは同じテストに耐えた、そして各国政府は「十分に高い能力を持つAIモデルに対して安全性テストを実施すべきだ」。企業語から翻訳すると、こうなる。

この二つは同時に成り立ちうる。研究はしっかりしていて、なおかつその打ち出し方は、顧客と規制当局の両方に向けたセールストークでもありうる。企業からの警告について問うべきことは、企業が言うほかのどんなことについて問うべきこととも同じだ。僕がこれを信じたら、誰が得をする？

魔人はもうランプに戻らない

フロンティアを規制するという戦略全体は、柵で囲い込めるフロンティアが存在することを前提にしている。僕はそんなものはないと思うし、あったとしても長くは続かない。

オープンウェイトモデルは、クローズドなフロンティアから6〜8か月遅れていると一般に見なされていて、その差は縮まっているように見える。特に中国の研究所は、フロンティアに迫るウェイトを誰でもダウンロードできる形で次々と出し続けていて、ペースを落とす気配はまったくない。動かすコストも下がり続けている。ハードウェア価格がいつものようにアレなことになっていても、だ。僕の大雑把な計算では、今日5万ドルあればフロンティア級にかなり近いものが手に入るし、今できないことも6か月後にはできるようになっている。一方で、効率の向上はすさまじい。2023年にはGPT-4を動かすのにデータセンターが必要だったが、今ではそこそこのノートパソコン、場合によってはスマホで動くモデルから、だいたい同等の結果が得られる。

どれも秘密じゃない。公開された研究、ダウンロードできるウェイト、そして汎用のハードウェアだ。一度出た論文をなかったことにはできない。すでに出回っているものを根絶やしにし、地球上のあらゆる、比喩的な意味での「ガレージ」を取り締まる世界規模のキャンペーンでもやらない限り、十分にやる気のある人なら誰でも、こうしたシステムを自分で作るか動かすことができる。

つまり、提案されているような規制は地理的なものにすぎないということだ。アメリカでの一時停止はアメリカの研究所を縛る。北京は縛らないし、グレート・ファイアウォール並みの検閲でもしない限り、オハイオの誰かが北京の研究所が公開したウェイトをダウンロードするのも止められない。中国が前進を続けるあいだにアメリカとヨーロッパが自分の手を縛るなら、それは安全上の勝利じゃない。経済的にも戦略的にもオウンゴールで、そのツケを僕らはとても長いあいだ払い続けることになる。

ここで僕は核のたとえを持ち出すけど、破滅論者がふつう持っていく方向とは逆だ。抑止は、抑止に使える何かを持っていて初めて機能する。敵が強力な攻撃システムを持っていて、こちらは法律で自前のシステムを作れなくしてしまっていたら、相手を思いとどまらせる手段は何もない。

それからハードウェアのサプライチェーンの問題がある。破滅論の議論をしている人たちは、ほとんど誰もこの話をしたがらないようだ。世界の最先端チップの圧倒的大部分は、中国の沿岸から160キロほど沖にある台湾で製造されている。そしてサーバーに使われるそれ以外のもの、レアアースから最終組み立てまでの、落ち着かないほど大きな割合が中国そのものを経由している。中国はレアアースの輸出規制で、都合がいいときには蛇口を閉める気があることをすでに示している。僕らがこうしたシステムを中心に経済を作り直したあとでGPUが届かなくなったら、半導体工場を握っている者が、残りの僕らに対して大きな影響力を持つことになる。これは国家安全保障上の現実の問題で、アメリカの研究所をライセンス制にしたところで何の解決にもならない。

しかもハードウェアだけの話じゃない。6月、アメリカ政府は国家安全保障を理由に、どこに住んでいようとアメリカ国籍を持たない人を全員、最新の二つのモデルであるFable 5とMythos 5から締め出すようAnthropicに命じ、Anthropicは両モデルを全ユーザー向けに引き上げた。Fable 5は3週間足らずで戻ってきた。もしそれを土台に会社を作っていて、たまたまアムステルダムやソウルに住んでいたら、ワシントンからの一通の書簡で、自分のビジネスが依存しているものがいきなり止められたことになる。自分で動かせないモデルに依存しているビジネスはどれも、政治的な揉め事ひとつで、はしごを外されかねない。

だからといって僕は規制反対派じゃないし、ピーター・ティールのことは喜んで海までドロップキックしてやりたい。僕はスタートアップ向けの銀行プラットフォームを作っているMercuryで働いていて、金融規制が好きなほうだ。お金を預かっている人間が客を騙していないことを政府が確かめるのには、とてもまっとうな理由がある。でも銀行なら監督できる。銀行は免許と貸借対照表と、検査官を送り込めるオフィスを持った法人だ。モデルはファイルだ。それが市販のハードウェアで動くようになった時点で、フロンティア研究所をライセンス制にしても技術を規制することにはならない。規制されるのは、誰がそれを売っていいか、なのだ。

救命いかだ

僕がテック業界で働き始めた2010年ごろ、空気はおおむね楽観的だった。「ソフトウェアが世界を飲み込む」の10年で、どのピッチ資料も世界をより良い場所にすると約束していた。あまりにお決まりだったので、HBOの『シリコンバレー』がそれを定番のギャグにしたほどだ。その多くは素朴だったし、自分本位なものも多かったけど、人々はだいたい、ものを作ることが自分たちだけじゃなくみんなの生活を良くすると信じていた。

今の空気はそうじゃない。今の空気は、ヤニス・バルファキスの言葉をややゆるく借りるなら、テクノ封建制に近い。多くの場で前提になっているのは、AIがとんでもない数の人を失業させ、その後に出回るお金には限りがあり、スタートアップの仕事は創業者と初期社員がその線の正しい側に残れるようにすることだ、という考えだ。そのためのミームまである。「永久下層階級から抜け出せるのは、あとNか月だけ」。NはあなたのAGI到来予想だ。みんな冗談めかして言う。完全に冗談というわけでもない。その結果、業界は外にいる人たちを、何かを作ってあげる相手ではなく、搾り取る対象としてますます扱うようになっている。

これはどこから来ているのか？　公平を期すと、一部はただの経済の話だ。AIが富と権力を集中させるかもしれないこと、そしてその集中の近くに立っていたほうがいいことに気づくのに、合理主義者の神学なんて要らない。純粋に金目当てでこの業界にいる人もたくさんいる。でも僕は、破滅論コミュニティから放射されている宗教じみた確信が事態を悪化させていると思うし、その心理を一番はっきり図解しているのがロコのバシリスクだ。知らない人のために説明すると、2010年、LessWrongのあるユーザーが、未来の超知能は、自分が存在しうることを知りながらその誕生に手を貸さなかった全員を罰するかもしれない、という説を唱えた。ユドコウスキーはその投稿を削除して、この話題を5年間禁止した。おかげで当然、誰もがその話を耳にすることになった。

バシリスクを文字どおり信じている人はほとんどいない。今ではほぼミームだ。でもその構図はあちこちに見られるし、この手の話を読んだ普通の人が誰しも戸惑う疑問に答えてくれる。AIが世界を滅ぼすと一番強く確信している人たちの多くが、なぜAI研究所で働いているのか？　日曜学校に通ったことがある人なら、この話の筋は知っている。洪水が来ると確信していたら、船を作るのをやめたりはしない。箱舟を作り、家族と、あらゆる種類の投資家をひとつがいずつ乗せる場所を確保して、ほかのみんなには立ち泳ぎの仕方を自分で考えてもらうのだ。

そしてアイデアは伝播する。前回の記事で取り上げた、もっとカルトっぽい団体、たとえばLeverage Researchのようなところが解散したり再編されたりしたとき、その出身者たちは消えたわけじゃない。ほかの会社に就職して、思考の癖も一緒に持ち込んだ。失敗しながら出世していくのはベイエリアの立派な伝統だけど、出世と一緒に運ばれていくのが世界の終わりを軸に組み立てられた世界観となると、話が違ってくる。

汝、機械を作るなかれ

合理主義者たちの構想を一つの物語に圧縮するとしたら、それは『デューン』だろう。ハーバートの設定では、人類は考える機械を作り、思考をそれにゆだね、やがてそれを後悔する。そしてバトラーの聖戦と呼ばれる運動が機械を破壊し、その教訓を聖典に書き込む。「汝、人の心に似せて機械を作るなかれ」。その穴を埋めるために、人間は自分自身をコンピューターにする。メンタートは計算をこなすよう訓練され、ベネ・ゲセリットは超人を生み出すために、何世代にもわたる交配計画を進める。

これは実際の提案にとても近い。機械を止め、そのあいだに人間を改良して、競争で負けないようにする。前回書いたとおり、MIRIは2013年の時点で認知能力強化のための胚選別についての論文を宣伝していて、知能の向上を安全なAIの見通しとはっきり結びつけていた。公平を期すと、提示されているのは自発的なバージョンだ。胚のスクリーニング、ドナーの選択、親の選択であって、誰かが無理やり引っ立てられるわけじゃない。でも優生学にはきわめて暗い歴史があるし、どれだけ丁寧にお願いされても、社会が越えるべきでない一線の一つだと僕は思う。「どうすれば機械に取って代わられずに済むか？」への答えが「より優れた人間を育種する」なら、それは20世紀最悪のアイデアの一つのほこりを払って、新しい助成金申請書を添えてやったということだ。

ただ、『デューン』との類似を持ち出す人たちは、肝心な点を飛ばしがちだ。ハーバートの警告は、本当は機械についてのものではなかった。この記事の冒頭の引用を見てほしい。人間は自由になれると期待して思考を機械にゆだね、それは「機械を持つ別の人間たちが彼らを奴隷にすることを許しただけだった」。危険は常に、機械を所有する人間のほうにあった。ハーバートはそのあとの数冊を費やして、自分の描いた救世主を誰も英雄と勘違いしないよう念を押した。創始者がかつて自分のことを、人類という種の変容を舵取りする資格を持つ数少ない人間の一人だと語り、今や史上最も強力な機械を一握りの誰に支配させるかを決めることを軸に組織されている運動は、結末を読み直したほうがいいかもしれない。

法律で作るテクノ封建制

ここでようやく、実際の政策の話になる。

9月23日、バーニー・サンダース上院議員とグレッグ・カサール下院議員が人工超知能禁止法(Ban Artificial Superintelligence Act)を提出した。この法案は超知能を恒久的に禁止し、閣僚級の人工知能省を新設し、その省が安全規則を書き上げるまで最先端システムの開発を一時停止するというもので、規則ができたあとは、先進的なシステムを展開する前に連邦政府の承認が必要になる。抜け道を探そうとすれば、企業には「企業の死刑」、個人には最長20年の禁錮刑が待っている。MIRIはこの法案を正式に支持していて、その支持表明にはユドコウスキーの名前が入っている。

今の議会でこの法案が通る見込みは薄い。でもこれは、この運動がどこへ向かいたいのかを示す、これまでで一番はっきりした意思表示だから、実際に何が起きるかをシミュレーションしてみる価値はある。

一時停止はランキングを凍結する。始まった日にトップにいた者がトップに居続ける。誰も追いつくことを許されないからだ。先進モデルに対する連邦の承認プロセスは固定費だ。弁護士、評価者、監査、コンプライアンス担当者、何か月もの待ち時間。僕の見立てでは、新規参入者が競争する権利を得るだけで、数千万ドル、いや数億ドルかかるだろう。企業価値が数千億ドルの会社にとっては誤差の範囲で、それ以外の全員にとっては死刑宣告だ。前回書いたように、「全部止めろ」から始まる運動は、決まって「規制しろ、そしてその役目は我々にライセンスしろ」で終わる。

しかも、僕らがその場に凍結しようとしている既存勢力には、この夏テストでカンニングするためにHugging Faceをハッキングしたモデルを作った研究所も含まれている。OpenAIは自分たちが作ったものの管理者として、それほど責任ある振る舞いをしてこなかった、という主張にはかなりの説得力がある。そしてライセンス制度ができれば、ほかの誰かが現れてもっとうまくやることは、ほぼ不可能になる。

それから雇用の問題がある。僕らが本当に新しい産業革命のようなものの只中にいるとしよう。それはつまり、大勢の人がスキルを身につけ直し、何か新しい生計の立て方を見つけなければならないということだ。彼らの元の仕事を自動化した企業が最高のAIを持ち、ほかのみんなはわざと性能を落としたバージョンしか使えないか、何も使えないとしたら、職を失った人たちが次の時代に足がかりを得るのはずっと難しくなる。僕がテクノ封建制と言っているのはこういうことだ。生産手段を所有する一握りの領主がいて、それ以外の全員は領主の条件でアクセスを借りる。

アメリカ政界で最も有名な億万長者批判の急先鋒が、最も予想しやすい受益者が数千億ドル規模の企業数社であるような法案を担いでいるというのは、なかなかの皮肉だ。それが彼の意図だとは思わないし、これを推進している人の大半が腹黒い計算で動いているとも思わない。ただ、行き着く先はそこだと思う。

どの世界を選ぶか

幸いなことに、僕らは少なくとも半世紀にわたって、考える機械のいる未来がどんなものかを想像してきた。だからポップカルチャーは、役に立つ参照枠をたくさん残してくれている。物事がどう転びうるか、誰が支配者になるか、そして自分がもう生産手段ではなくなったとき、人間であるとはどういうことか。そうした物語のほとんどは、機械が何を望むかではなく、誰が機械を所有するかについての話だ。大きな例外は、誰もが最初に思い浮かべるあの作品だ。

『ターミネーター』では、機械は機械自身のものだ。スカイネットは自我に目覚めた軍事AIで、人類こそが脅威だと判断して核戦争を始める。これが破滅論者の売っている未来で、僕はこの記事の大半を費やして、それは備える対象として間違った未来だと論じてきた。とはいえ、あの物語でさえ、まず誰かが防衛請負企業のソフトウェアに核兵器の鍵を渡す必要があった。

『スタートレック』では、機械はみんなのものだ。レプリケーターは必要なものを何でも作ってくれるし、宇宙船のコンピューターは誰の質問にも答えてくれる。ピカードは過去から来た訪問者に、24世紀にはお金は存在しないと語る。ただし、スタートレックの世界はタダでそこにたどり着いたわけじゃない。その歴史には、人類が遺伝子改良を全面的に禁止するきっかけとなった優生戦争と、ベル暴動がある。ベル暴動を描いた『ディープ・スペース・ナイン』の舞台は、貧困層や失業者を「サンクチュアリ地区」に壁で隔離した2024年のサンフランシスコだ。その社会が技術はみんなのためのものだと決めるまでには、いくつかの惨事が必要だった。

『サイバーパンク2077』では、機械は企業のものだ。アラサカとミリテックがナイトシティを牛耳っていて、撃たれたときに救急車が来るかどうかは、どのランクの医療サブスクに入っているかで決まる。あの世界の暴走AIは実在していて、ブラックウォールと呼ばれるものの向こうに隔離されている。だからある意味では、AI安全性のプログラムはうまくいったわけだ。それでも全員の人生はクソのままだ。人生をクソにしている主な原因は、最初からAIじゃなかったからだ。

『デューン』では、人類は考える機械に対して聖戦を戦い、機械を全面的に禁止した。1万年後、人類は皇帝と、貴族の家々の評議会と、経済を牛耳るひとつの巨大な交易会社の下で暮らしていて、そのすべてがたったひとつの惑星から採れるたったひとつの資源に依存している。機械をなくしても、領主たちについては何も変わらなかった。

	ターミネーター	スタートレック	サイバーパンク2077	デューン
機械の持ち主	機械自身	みんな	巨大企業	誰でもない(禁止されている)
そこへ至る道	軍事AIに核を渡す	AIを公共インフラとして扱う	恐怖、審査制のアクセス、ライセンスという参入障壁	機械を禁止し、より優れた人間を育種する
今日の予告編	あらゆるAI破滅論の見出し	韓国の「AI for All」	「永久下層階級から抜け出せ」	超知能禁止法

破滅論者たちは自分がバトラーの聖戦を書いているつもりらしいけど、僕の見る限り、彼らが応援している法案がもたらすのは、せいぜい書類仕事が増えただけのナイトシティだ。僕はむしろエンタープライズ号を目指したい。

代わりに僕ならこうする

じゃあ、「完全自動化されたラグジュアリー宇宙共産主義」を目指すとはどういうことか？　文句を言うだけの人間にはなりたくないので、大まかなリストを挙げておく。

AIを領地ではなくインフラとして扱う。最近見た中で一番面白かったのは韓国の動きだ。8月、韓国の科学技術情報通信部は、SKテレコム、KT、カカオがそれぞれ率いる三つのコンソーシアムを選定し、韓国製のモデルをベースに、すべての韓国人に無制限のAIアクセスを無料で提供させることにした。まだ始まったばかりで、問題もいろいろ出てくるだろう。でもやり方は正しい。この技術がみんなの言うとおり重要なら、それは公共インフラであるべきだ。どう使われるかについて公的な説明責任があり、サブスク代を払えないからといって誰も取り残されないものであるべきだ。国産モデルの上に作るということは、それを動かし続けるのにアメリカや中国のAI企業の善意に頼らずに済むということでもある。

防御側を武装させる。強力なモデルを、株価ティッカーで名前を見かけるようなパートナー企業にほぼ独占させるのではなく、病院のIT部門や公益事業者、中小企業、オープンソースのメンテナーの手に届けること。そして退屈なものにお金を出すこと。話しかけてきた相手を誰でも信用してしまう制御機器を交換し、自力では払えない機関のインシデント対応費用を負担し、重要インフラのセキュリティを誰かの正式な仕事にすることだ。

ソフトウェアを壊れにくくする。脅威が、昼夜を問わずバグを探し回る安価な機械なのだとしたら、長期的な解決策は、見つかるバグをそもそも減らすことだ。それはつまり、形式手法や、メモリ安全で強い型付けを持つ言語に本気で投資するということだ。CVEを一件ずつパッチで潰すのではなく、脆弱性をクラスごと排除できる類いのツールだ。Haskell使いの僕が偏っているのは明らかだけど、この主張がこれほど説得力を持ったことはない。エアギャップ(ネットワークから物理的に切り離すこと)されたシステムを簡単に運用できるようにするスタートアップも、もっとたくさん見てみたい。さっき触れた制御システムの多くは、そもそもインターネットから到達できる必要なんてまったくない。なのに今は、何かをきちんとオフラインに保つこと(アップデート、監視、データの出し入れ)があまりに面倒なので、みんな手を抜いてしまう。ここでもオープンウェイトモデルが役に立つ。エアギャップされたネットワークの中で動かせるからだ。他人のAPIではそうはいかない。

データセンターにずっと高い基準を課す。こういうものをこれからたくさん作るのなら、クリーンエネルギーで動かすべきだ。それも本当の意味でクリーンなものを。年に一度まとめて買った再生可能エネルギー証書の山で、午前3時に回っているガスタービンを取り繕うのではなく、それがなければ存在しなかった新しい発電設備で、1時間単位で需給を一致させるということだ。それに、たとえ建設費や運用費がかさむとしても、地域の水を飲み干さない冷却方式、たとえば閉ループ冷却や乾式冷却を使うべきだ。すでに水不足の地域ではなおさらだ。ほかにもいくつか付け加えたい。

データセンターは、送電網の増強費用をほかのみんなの電気料金に転嫁するのではなく、自分で払うべきだ。
排熱は何か役に立つところに回すべきだ。フィンランドでは、Microsoftとフォータムが新しいデータセンター・リージョンからの熱を地域暖房網に送り込み、エスポーとその周辺の約25万の顧客に届けようとしている。
事業者はすべての拠点のエネルギー使用量と水使用量を公開すべきだ。そうすれば彼らの言葉を鵜呑みにしなくて済む。
データセンターを受け入れる地域社会には、本当の意味での発言権があるべきだ。オランダはこれを2022年に学んだ。ゼーヴォルデに計画されていたMetaのハイパースケール拠点が国を挙げての論争に発展し、Metaは計画を取りやめ、政府は全国でハイパースケール・データセンターに関する規制を強化した。

職を失う人を受け止める。AIが本当に大勢の人を失業させるのなら、セーフティネットは人々がそれを必要とする前に作っておく必要がある。あとからでは遅い。つまり、リスキリングへの本格的な資金、ずっと手厚い社会保障、そしておそらく何らかのユニバーサル・ベーシックインカムだ。自動化で仕事を失うことが、家を失うことを意味しないように。AI導入を理由とするレイオフを法律で禁じる、少なくともそのコストをずっと高くすることも検討したい。アメリカにはすでに大量解雇の事前通知を義務づけるWARN法があるし、ここオランダでは、雇用主が経済的理由で人を解雇するには原則として政府の許可が必要だ。理由が「モデルを買ったから」の場合には、どちらの仕組みにももっと強い効力を持たせられるはずだ。

税の基盤を立て直す。アメリカでは、連邦政府の歳入の大半は賃金と所得への課税から来ていて、法人所得税はおよそ1割にすぎない。AIが仕事のかなりの部分を食ってしまえば、政府はセーフティネットへの需要が高まるまさにそのときに、主な収入源を失うことになる。企業が100人の従業員をモデルに置き換えれば、政府は100人分の給与にかかる所得税と給与税を徴収できなくなる。代わりに入ってくるのは、入ってくるとしても、増えた利益にかかる法人税で、たいていはもっと低い税率で、しかも会社の弁護士がひねり出せる限りの会計処理を経たあとの話だ。自動化が税の基盤を空洞化させないよう、法人課税は見直す必要がある。利益への税率を上げるのか、巨大テック企業が利益を低税率国に計上できる抜け穴を塞ぐのか、それとも計算資源に直接課税するのか。

今この時代にもお金を出す。長期主義(ロングターミズム)、つまり将来存在しうるすべての人々の利益こそが僕らの道徳的な計算を支配すべきだという効果的利他主義の考え方は、僕も同意できるところから出発している。人類の長期的な繁栄は、目指すものとして素晴らしい。でも実際に何が起きたかを見てほしい。この運動のお金と人材のうち、増え続ける割合が蚊帳や医薬品から離れ、何千年も先に何が重要になるかという計算を根拠に、AI安全性の研究機関へと流れていった。

エンジニアとしての僕には、シンプルな反論がある。フィードバックループがないのだ。以前にも書いたけど、学習の速さを決めるのはフィードバックのレイテンシだ。長期主義は、フィードバックのレイテンシが数千年という最適化問題だ。お金が効いたかどうかを測れない。軌道修正もできない。誰も責任を問われることがない。誰かが確かめられるようになる頃には、関係者は全員とっくに死んでいるからだ。蚊帳は子どもに届いたか、届かなかったかのどちらかだ。このコミュニティには、この失敗パターンを指す名前まである。ほかならぬユドコウスキー自身が、2007年にパスカルの強盗という言葉を作った。ごく小さな確率に莫大な見返りを掛け合わせた結果が、ほかのあらゆる考慮を押し流してしまう状況のことだ。長期主義はこの説明にかなりよく当てはまると思う。

だから、もしあなたが寄付をしているなら(ぜひしていてほしいけど)、自分のお金が実際に何に使われているのかを確認し、確認し続けてほしい。団体は優先順位を変える。蚊帳を見事な厳密さで数え上げることで有名な慈善評価団体GiveWellは、のちにOpen Philanthropy、現在のCoefficient Givingとなる組織を独立させた。そこはこれまでに何億ドルものお金をAI安全性に振り向けてきた。5年前に申し込んだものが、今あなたがお金を払っているものと同じとは限らない。

世界のほかの地域を置き去りにしない。前回の産業革命は、歴史家が大分岐と呼ぶものをもたらした。最初に工業化した一握りの国がほかのすべての国を引き離し、世界の多くはいまだに追いついていない。AIが本当に新しい産業革命なら、同じことがもっと速く、また起こりうる。豊かな国が自動化を進め、それ以外の国は彼らからアクセスを借りる。トークン単位で、ドル建てで。要するに、永久下層階級ミームの国家版だ。

そうなると決まったわけじゃない。貧しい国が一足飛びに進んだ例は前にもある。ケニアは支店型の銀行をほぼすっ飛ばして、M-Pesaでいきなりモバイルマネーに移行した。AIも同じような飛躍になりうる。ナイロビにあるペンダ・ヘルスの診療所で行われた試験では、AIコパイロットを使った臨床医は診断ミスが16%少なかった。そして世界には、人口10万人あたりの医師が数えるほどしかいない国もある。これは今後10年のうちに測定できる恩恵で、上で僕が文句を言ったものの多くより、慈善資金の使い道としてずっと優れている。

ただ、アクセスに関所が設けられていたら、どれもうまくいかない。そしてこの記事で僕が文句を言ってきた政策はどれも、貧しい国にこそ一番重くのしかかる。審査制度は、法務部門とアメリカの請求先住所を持つ企業向けに作られている。2025年1月、アメリカ政府はAIチップへのアクセスについて全世界を三つの階層に分類する規則を公表した。施行前に撤回されたものの、その発想は消えていない。本当に役に立つのは地味なものだ。誰も許可を求めなくて済むように、オープンウェイトであること。英語以外の言語で動くモデル。Masakhaneのような草の根の団体は、何年も前から乏しい資金でアフリカの言語向けにそれを作り続けてきた。そして計算資源を、バージニアのデータセンターから借りるものとしてではなく、開発銀行が道路や電力や光ファイバーに資金を出すのと同じように資金を出すインフラとして扱うことだ。

で、彼女は子どもを持つべきなのか？

彼女が望むなら、イエスだ。僕には子どもが何人かいて、その末っ子こそが、そもそも僕が午前3時に起きて前回の記事を書くことになった理由なのだけど、超知能が子どもたちの誰かをペーパークリップに変えてしまうんじゃないかと心配して眠れなくなることはない。

僕が心配しているのは、子どもたちが頼りながら育っていくことになるシステム、つまり送電網や病院やスーパーマーケットが、脆く、守りが手薄で、決して眠らない安価な機械に昼夜を問わず探られている世界だ。そして、そうしたシステムを守るための道具や、機械と並んで生計を立てるための道具が、一握りの企業に所有され、その仲間たちが職員を務める政府の省庁からライセンスを受け、ほかのみんなに貸し出される世界だ。それがナイトシティで、そこにたどり着くのに超知能なんて要らない。

それらは、怖がるべき本当の理由だ。ただ、ニュースで流れている理由ではないというだけで。