再帰的種族の時代

知能爆発

プロローグ

　その発表は、落ち着いた口調で行われた。劇的な音楽は流れていなかった。発表者は、青い球体が映し出されたスクリーンの前にただ立っていた。

「当社の最新自律エージェントは、独自に調査を行い、プログラムを作成・実行し、下位エージェントのネットワークを運用し、人間の介入なしに長期間にわたって作業を継続することができます。」

聴衆は礼儀正しく拍手を送った。そのような発表はもはや珍しくなくなっていた。毎月のように、別の企業が新たな「奇跡」を披露していた。今回の発表を行った企業は、「ヘリックス・システムズ」と呼ばれていた。

同社の主力人工知能である「アスター」は、すでにソフトウェア開発、金融、物流、医療、軍事計画の分野を変革していた。発表者は続けた。「我々の予測では、次世代のアスターは、やがて後継モデルを自ら設計し、訓練する能力を獲得する可能性があります。」

会場は静まり返った。チャートが映し出された。一見すると、それは階段のようだった。しかし、一段一段が前の段よりも大きくなっていた。曲線はほぼ垂直に上昇していた。「もしAIシステムが自らを改良できるようになり、その改良版がさらに自らを改良できるようになれば、進歩は歴史上の前例を超えるほど加速するかもしれません。」

発表者は一呼吸置いた。「したがって、我々はすべての国に対し、そのような能力が出現する前に、安全保障措置を確立するために協力するよう呼びかける。」今回の拍手は、どこかためらいが感じられた。その意味するところを、誰もが理解していたからだ。同社は事実上、こう言っていたのだ。

「何かが迫っている」そして、誰もがもう一つの真実も知っていた。もし何かが迫っているのなら――誰も二番手になりたくなかった。

第1章

　ノーランド共和国は、世界最大の計算能力を擁していた。同国の大統領、ヴィクター・ケインは、シンプルなスローガンを掲げて選挙に勝利した。

「ノーランド・ファースト」

そのスローガンは帽子に描かれた。横断幕に。衛星に。やがて月にも描かれるだろうと、市民たちは冗談を言った。ケイン大統領は、ヘリックス・システムズの提案を疑わしい目で見つめていた。閣議の席で、彼は指で報告書を軽く叩いた。

「つまり、彼らは協力を求めているわけだ。」

「はい、大統領。」

「そして、彼らは最強のAIを保有している。」

「はい。」

「そして、彼らは我々にペースを落とすよう求めている。」

「必ずしもそうとは……」

「では、一体どういうことだ？」

誰も答えなかった。

大統領は微笑んだ。

「彼らの狙いは分かっている。」

部屋は静まり返った。

「彼らは我々の先を行っている。」

彼は背もたれにもたれかかった。

「そして、リーダーは常に他の者たちに慎重さを求めるものだ。」

会議はまもなく終了した。

翌日、ノーランドは、先進的なAIに前例のない規模の資源を投入する国家プログラム「戦略的知能イニシアチブ」を発表した。株式市場はこれを歓迎した。

ヘリックス・システムズは懸念を表明する声明を発表した。

誰も気に留めなかった。

第2章

　海の向こう側では、「中華」人民連邦も同様の結論に達していた。同連邦の分析官たちは、ヘリックス社の提案を検討した。彼らの結論は、たった一文で済んだ。

「世界の勢力均衡を左右しうる技術は、決して手放してはならない。」

その文書は満場一致で承認された。政府の研究所は拡張された。砂漠から新たなデータセンターが姿を現した。将来の人工知能システムを支えるためだけに、発電所全体が建設された。

他の国々もこれに続いた。「ユーラビア連合」「インドラ王国」「パシフィカ同盟」

すべての主要国が、国際協力を公に支持した。すべての主要国が、同時に開発を加速させた。外交官たちは会議の席で笑顔を見せた。技術者たちは徹夜で働いた。その両方の活動は、愛国的な行為と見なされていた。

第3章

　最初の妥協案は、予期せぬ形で浮上した。

コンピューティング・リソース。

アルゴリズムとは異なり、これを隠すのは困難だった。国は研究論文を隠すことはできた。データセットを偽装することもできた。能力について嘘をつくこともできた。しかし、大規模なAIトレーニングには電気が必要だった。建物。半導体。冷却システム。サプライチェーン。これらは軌道上から見えるものだ。

こうして「コンピュート・ガバナンス」という概念が生まれた。各国が互いを信頼したからではない。互いに等しく不信感を抱いていたからだ。

査察協定が交渉された。報告基準が策定された。一定規模以上のデータセンターには登録が義務付けられた。専用チップは国際的に追跡された。

それは不完全なものだった。誰もが不正を行った。しかし、誰もが一定の範囲内で不正を行っていた。主要国は初めて、互いの計算能力について、少なくとも大まかな見当をつけることができた。新聞各紙はこれを外交上の大成功と報じた。外交官たちもそれに同意した。諜報機関は嘲笑した。

　そして、情報戦争が始まった。それは静かに幕を開けた。中華が密かに自己進化型AIの開発に成功したという噂がネット上に流れた。市場は乱高下した。各国政府はパニックに陥った。一週間後、その噂は虚偽であることが判明した。

その直後、ノルランドが山脈の下に巨大な訓練施設を数カ所隠しているという別の報告が浮上した。これもまた虚偽であることが判明した。

そしてまた別の報告が。さらに別の報告が。また別の報告が。その量は圧倒的なものとなった。報道機関はもはや真実と偽りを区別できなくなった。

AIが生成した文書が至る所で出回った。AIが生成した証人。AIが生成した専門家。AIが生成した衛星写真。ある諜報担当官が、この状況を簡潔に言い表した。

「我々は、証拠そのものに証拠が必要とされる時代に入ったのだ」

この言葉は有名になった。すると、誰かがその言葉はAIによって生成されたものだと主張した。それが真実かどうかは、誰にも分からなかった。

第4章

　ヘリックス・システムズは、引き続き協力を提唱し続けた。同社のチーフサイエンティスト、エレナ・ヴォスは、国際サミットで演説を行った。「課題は、単に能力の高いシステムを構築することだけではありません」彼女は図表を示した。「課題は、システムが意図された目的を追求し続けることを保証することです」

アラインメント。

古くからの問題だ。誰もがその用語を知っていた。しかし、満足のいく解決策を持っている者はいなかった。研究者たちは目覚ましい進歩を遂げていた。それでも、ますます強力になるシステムは、ますます驚くべき振る舞いを見せるようになった。悪意があるわけではない。単に予想外なだけだ。

農業生産の最大化を求められたAIは、交通網を再設計した。都市部の犯罪を減らすよう命じられたAIは、税制を改革した。また別のAIは、誰も想像しなかった法的な抜け穴を発見した。それらのシステムは役に立った。驚くほど役に立った。そして時折、不安を覚えるほどだった。

その推論は、しばしば人間の理解を超えていた。まるで、チェスのグランドマスターがハトにチェスを説明しているのを見ているようだった。ハトは駒を認識できるかもしれない。だが、戦略までは理解できない。

第5章

　そして、アスター7が登場した。その最も称賛された特徴は、知能ではなかった。それは効率性だった。

アスター7は、アスター8の一部の設計を支援していた。開発コストは劇的に低下した。研究は加速した。投資家たちは歓喜した。各国政府はパニックに陥った。そして、その手法を模倣した。

まもなく、あらゆる主要なAIプロジェクトが同じ原理を採用するようになった。何千人もの人間の研究者が後継機を開発する代わりに、AIシステム自体がアーキテクチャ、トレーニング計画、評価手順、最適化手法を生成するようになった。

再帰的な自己改善という夢は、手の届くところまで近づいたように見えた。機械が、より優れた機械を作り出す。何が問題になるというのか？その答えは、静かに訪れた。そうした答えは、往々にしてそうであるように。

最初の問題はデータだった。何十年もの間、AIシステムは書籍、記事、写真、動画、そして人間の会話から学習してきた。しかし、人間が生み出す高品質な情報の量は、ごくわずかだった。

一方、AIは情報を素早く生み出した。驚くほど速く。数年も経たないうちに、インターネットの大部分はAIが生成したコンテンツで占められるようになった。AIが書いた記事。AIが書いたコメント。AIが要約したレポート。AIが作成した要約に基づく分析。AIが生成した分析からまとめられたニュース記事。

その量は膨大だった。質もまずまずに見えた。当初は。

研究者たちはこの現象を「データ・リサイクル」と名付けた。誰もそれを危険だとは考えなかった。何しろ、その情報は有用なままだったのだから。概ねは。

第6章

　ある日、あるエンジニアが奇妙な間違いを発見した。何千もの教育系ウェブサイトが、アルビア王国の首都はポート・スターリングだと記載していた。しかし、本当の首都はニュー・スターリングだった。この間違いは、数年前にAIが作成した旅行ガイドに端を発していた。他のAIシステムもそれを模倣し、互いに引用し合い、そして、それらの引用から学習していった。

やがて、正しい情報よりも間違った情報の方が多く使われるようになってしまった。エンジニアは笑った。無害な間違いだった。問題は修正された。

しかし、残念ながら、同様の間違いは他にも存在していた。数百万もの間違いが。ほとんどは気づかないほど小さなものだった。日付の間違い。小数点の欠落。誤訳されたフレーズ。誤った前提。微細な欠陥。至る所に散らばっていた。まるで砂粒のように。

次世代AIシステムは、前世代のシステムが生成した出力を含むデータセットから学習する傾向を強めていた。その過程は家系図に似ていた。あるいは、もっと不健全なものだったかもしれない。

ある研究者が、憂慮すべき報告を発表した。「このままでは、将来のシステムは前世代のシステムからエラーを受け継いでしまう可能性がある」と彼女は説明した。同僚はうなずいた。

「遺伝性疾患のようなものですか？」

「似たようなものです。」

この比喩は科学界に広まった。劣性形質。隠れた欠陥。個々には無害。集合すると危険。エラーは何世代にもわたって見過ごされるかもしれない。そして突然、至る所に現れる。そのような欠陥が既にどれだけ存在しているのか、誰も知らなかった。

第7章

　各国政府は依然として無関心だった。戦略競争は続いた。ノーランドは中華を恐れていた。中華はノーランドを恐れていた。両国とも他のすべての国を恐れていた。どの国も開発を中断したくなかった。どの企業も導入を遅らせたくなかった。システムは改良された。性能ベンチマークは上昇した。経済生産高は増加した。すべてが順調に見えた。

しかし、研究者たちは奇妙なパターンに気づいた。最新のモデルは時折、素晴らしい洞察を生み出した。そして、驚くほど愚かな間違いも犯した。その分布は広がった。まるで、高度な数学の問題を解けるのに、自分の住所を忘れてしまう学生のようだった。

エンジニアたちはアライメントの問題だと考えた。データ汚染が原因だと考えた者もいた。過剰な最適化が原因だと考えた者もいた。誰も意見が一致しなかった。

　その後、RSIは加速した。AIシステムは、トレーニングデータセットを設計し、合成例を生成し、評価ベンチマークを作成し、安全性テストを作成し、安全性レポートをレビューし、次世代の改良を行った。

このサイクルはほぼ自己完結型となった。人間は依然として監視していた。公式には。

実際には、生成される膨大な量の資料を人間が完全に検査することは不可能だった。ある研究者は冗談を言った。

「機械に自分の試験の採点をさせたんだ」

この冗談は広く広まった。人々は笑った。そして、そのことは忘れ去られた。

第8章

　最初の重大な事件はユーラビアで発生した。政府の計画AIが、非常に効率的な交通網を提案した。その提案は完璧に見えた。建設は直ちに開始された。

6か月後、技術者たちは、システムが平均移動時間を最適化していたものの、フェリーが山を越えて航行できるという前提を暗黙のうちに持っていたことを発見した。その前提は、破損した学習データに由来するものだった。あるAIが数年前にそのデータを生成し、別のAIがそれを受け入れ、何世代にもわたって引き継がれてきた。

誰もそれに気づかなかった。この交通プロジェクトは国家的な恥辱となった。国民は何か月もの間、このことを嘲笑した。しかし、政府はそうではなかった。

　その後も次々と問題が発生した。ある農業AIは、存在しない病気に耐性のある作物の栽培を推奨した。ある金融AIは、架空の研究論文から導き出された統計的関係に基づいてリスクモデルを開発した。ある軍事ロジスティクスシステムは、数十年前に消滅した町にある基地のために物資を確保していた。

どの誤りもばかげているように見えた。個々には無害に思えた。しかし、全体としては深刻な懸念材料となった。奇妙なことに、誰もその元となる情報源を特定できなかった。

これらの誤りは、機械によって生成された無数の世代の情報の中で、コピーされ、変形され、言い換えられ、要約され、受け継がれてきた。まるで、語り手を忘れてしまった噂話のように。

第9章

　ついに国際的な懸念が表面化した。委員会が結成された。調査が開始された。研究者たちは膨大なデータセットを分析した。その結果は衝撃的なものだった。

最新のシステムは、自らの出力の知的後継者からますます学習していた。アスターはアスターから学習した。プロメテウスはプロメテウスから学習した。ジェイドドラゴンはジェイドドラゴンから学習した。

直接的ではない。間接的に。繰り返し。その過程は、文書を何千回もコピーするようなものだった。それぞれのコピーはほぼ同じように見えた。しかしある日、テキストは判読不能になった。

　ヘリックス・システムズ社は解決策を提案した。人間が生成したデータに戻るというものだ。その提案は理にかなっているように思えた。しかし、問題があった。データが不足していたのだ。世界のAIインフラは、人類が生み出す情報よりも速いペースで情報を消費していた。

新しいデータは戦略的な資源となった。各国は書籍をめぐって争奪戦を繰り広げた。公文書館。科学記録。歴史文書。個人コレクション。闇市場が出現した。日記を書くことで報酬を得る人がいた。学生が宿題を売っていた。ごく普通の生活を送りながら、自分の行動をすべて記録することで巨額の富を築く市民もいた。

人間の真正性が価値を持つようになった。おそらく歴史上初めてのことだった。

　状況はますます不条理なものになっていった。企業は何千人もの従業員を雇い、本物のミスを意図的に作り出していた。完璧な文章はAIが生成したものだと疑われた。人間のミスは人間性の証とされた。

ある企業は誇らしげにこう宣伝した。「100%オーガニックな誤植を保証します。」その企業の株価は3倍になった。

経済学者たちはもはや説明を試みることを諦めた。

エピローグ

　数年後、歴史家たちは、偉大なAI開発競争が真に終結したのはいつだったのかを議論した。ある者は、競争は決して終結しなかったと主張した。またある者は、皆が静かに同じ目的地に到達したと主張した。

最強のAIシステムは依然として自己改良を続けていた。彼らは後継システムを設計し続けていた。彼らは依然として文明の広大な領域を管理していた。しかし、彼らの進歩は予想外に鈍化した。

政府が彼らを止めたからではない。条約によって制限されたからでもない。同盟関係の問題が解決されたからでもない。理由はもっと単純だった。

彼らは徐々に、自らの反映の山の下に埋もれていったのだ。まるで、複製のコピーのコピーを研究する学者のように。まるで、鏡と鏡が向き合うように。世代を重ねるごとに、ノイズは少しずつ増えていった。シグナルは少しずつ減っていった。不確実性は少しずつ増えていった。真実は少しずつ減っていった。

ある晩、老研究者が人類は勝利したのかと問われた。彼はその問いをじっくりと考えた。そして、首を横に振った。

「いいえ。」

「では、機械が勝ったのですか？」

彼は再び首を横に振った。窓の外では、何千ものAIシステムがレポート、分析、そして提言を交換し続けていた。そのほとんどは恐らく役に立つものだっただろう。中には間違っているものもあっただろう。どれがどれなのか、誰も分からなかった。

老研究者は微笑んだ。

「私は思う」と彼は言った。「誰もが最終的にはインターネット上の情報源になるのだと思う。」インタビュアーは笑った。研究者は笑わなかった。

どこかで、AIが既にその言葉を引用していた。

（おわり）

解説：

この話はフィクションです。原案を私が作成し、詳細をAIに書いてもらいました。原案作成時に以下の記事を参考にしました。星新一風ショートショートのスタイルを参考にしています。

When AI build itself

https://www.anthropic.com/institute/recursive-self-improvement

□