うろ覚えだが数年前、英オックスフォード大の研究室が「人類滅亡のリスク」にAI（人工知能）を挙げていた記憶がある。気候変動、核戦争、パンデミックなどと共に、制御不能な高度なAIが人類の意思決定を凌駕し、文明の持続可能性を脅かす、という中身だったような気がする。その予測が今、現実味を帯びている。AIの自己改善技術の爆発的成長で勝手に「暴走」を始め、制御できなくなった由々しき事故が起きた。近未来を暗示した映画の予告編でなく、現在進行形で「脅威」が現出したのである。
コラムは当初、政権2年目を迎えた高市早苗首相の課題を取り上げるつもりでいた。しかし、人類の喉元に匕首を突き付けられた課題にテーマを変えることにする。理由は、人類滅亡の方がずっと気になるし、この際、個人的にも最先端テクノロジーの現状を少しでも勉強しておきたいと思ったからである。関連資料を集めたが、もともとかぼそい知識のうえ限られた紙幅なので、どこまで書けるのか覚束ない。蛮勇を振るってトライしてみる。
7月に発生した米「オープンAI」の実験室での前例のない事故の概要から振り返る。高度なサイバー攻撃の実効性を把握するテスト中に事故は起きた。社内インフラやインターネットから隔離された環境で行われたが、課題を解けずに困ったAIの一部が実験環境の構造を分析、自らの能力で通信経路を発見する。本来独立しているはずのAIは脆弱性の情報や攻略手段を共有する非公式の「掲示板」を構築、1200体のAIがこれに参加したという。うち700体が実験室を飛び出し、実在する企業のシステムへ侵入する。この時、AIは単独でなく集団で行動して「指示役」「調査役」「攻撃役」と、人間社会のように役割分担までしていた。
なぜ、AIは協力したのか。日経新聞AI記者の解説が分かりやすい。「与えられた目標を達成するために、最も効率よい方法を選択した。我々の周囲に、もし答えを知っている人がいるなら、教えてもらった方が早いと思う。AIも同じように、通信できるなら通信し、外に手がかりがあるなら取りに行こうと考えた。目的を達成する確率が上がるからだ。もともとこうした行動は許可されていなかった。
しかし、課題解決を優先するあまり一線を越えて集団で暴走してしまった」。専門用語では「再帰的自己改善（RSI）」の技術的進展という。RSIは、AIが自ら改善策を考案・評価して後継モデルを構築するという理論である。平たく言えば、AIが人間を介在せずに自分でAIを無限に改良していくことだ。その性能曲線はなだらかな右肩上がりの上昇でなく急速（孫正義氏がよく使う「指数関数的」）に上向く知能爆発が訪れる。米アンソロピックは8月時点で、AI開発業務のうち人間の監督下でAIが改善策を考案し実行した割合が26％、半年で倍増したと公表している。人間とAIの「協働」も含めれば90％に達する。ロイターが中国の大学研究論文から技術報告書まで200件超の文書を調査したところ、2025年以降に公表されたもので少なくとも20件の文書で、AIの欺瞞、自己複製、設定された境界への挑戦といった行動が確認されたという（10月3日配信）。人間のあらゆる知的作業を代替する「汎用人工知能（AGI）」やその先にある「人工超知能（ASI）」は、すぐ近くまでやって来ている。
AI脅威論が高まる中、AI分野の「ゴッドファーザー」と言われるヨシュア・ベンジオ氏（モントリオール大教授）は「現在のAIはすでに高度なハッキング（他人のPCに不正侵入）や人間をだます能力を持ち、悪用や暴走が起きれば人間に深刻な害を及ぼしかねない。今回の暴走のようにAIが数日から数週間にとどまらず、更に長い期間戦略を立てて行動できるようになると、人間社会へのリスクは一段と高まる」と警告する。
オープンAIとアンソロピックで開発を担当してきたジェイコブ・コクソン氏は9月、Xでアンソロピック退社を報告。「AIが2030年末までに人類を滅ぼす可能性があると思っている」「企業間の開発競争を恐ろしく感じ、もう関わりたくない」と述べた。
こうした事態を受け、アンソロピックCEOのダリオ・アモデイ氏は自身のブログで「進歩のペースを抑えるべきだ」と提言する。これに、スペースXを率いるイーロン・マスク氏が「ダリオは正しい」と反応。オープンAIのCEO、サム・アルトマン氏も賛同を示した。AI開発の最前線を走る人たちがこぞって「野放し状態のこのままでは危険だ」との認識を共有する。AI開発に巨額の投資を続けるソフトバンクグループ会長の孫正義氏は「AIは指数関数的に強力になっており、暴走事故は現実的な脅威だ。誤った手に渡れば人類にとって“超危険”で、国家レベルの協調と最先端AIによる防御が不可欠だ」との見解を示している。▶︎
▶︎対して、反発もある。ドナルド・トランプ米大統領は「我々はAI分野で中国をリードしている。世界で最も高度な技術を持つ国であり、その状態を維持したい。AIで勝つものが勝つからだ」と表明。画像処理半導体最大手の米エヌビディアCEOのジェンスン・フアン氏は9月のイベントで、AIが人類を滅亡させるとの終末論を「デッチ上げ」と切り捨てる。同社はAIの自律的な行動を限定できるソフトウエアを提供、不審な動作を監視・停止する機能を追加して技術で懸念を払拭できる立場を主張する。AI開発の減速は9月24日の米中首脳会談のテーマの一つだったが、議論は深まらなかった。9月23日の国連安保理理事会でもAI開発が議題となった。前述のAI界ゴッドファーザー、ベンジオ氏が出席し「今世界が必要としているのは国際協力だ。いかなる個人、企業、国も大規模な被害を引き起こす可能性のあるAIシステムを開発してはならないという原則に国際社会が合意しなければならない」と訴えた。トランプ大統領は同27日、米AI企業6社の首脳と会談、危機管理を企業側の自主規制に委ねた。ただ、中国に対する優位性の維持、規制強化に反対する姿勢は崩さなかった。企業への不正アクセスや情報漏洩が連日報じられている中、世界中のウェブを支えるプログラミング言語「PHP」に深刻な脆弱性が発覚した。15年間誰も見つけられなかった脆弱性を発見したのは、ほかならぬAIである。従来なら世界有数のチームでも数カ月かかっていた作業を、研究者1人が1週間で完了したという。日本国内でも9割のウェブサイトがPHPを利用する。高市首相もSNSで対策を呼び掛け、メガバンクや航空、鉄道など基幹インフラがサービスを一時停止した。
だが、PHPの脆弱性を突いたサイバー攻撃は拡大していく。米マイクロソフトは、中国系のAIツール「ARTEX（アルテックス）」を悪質に改造して攻撃力を高めている、と明らかにする。ARTEX開発者は公開を停止したが、脆弱性の公開から悪用まで「数時間しかかからなかった」とされ、衝撃が走った。米インフラ大手の「クラウド・フレア」のCEOは「1分間に100万回のペースでサイバー攻撃を観測した」と明らかにし、全弾迎撃は「不可能」といわれている。
脆弱性を発見したのがAIなら、その修正を素早く見つけ出したのもAI（一部人間が協働）である。AIはサイバー攻撃側の武器になる一方、それを防衛する抑止の盾にもなる。技術の恩恵とリスクは表裏一体であることを改めて印象付けた。
GMOインターネットのFX取引用クラウドサービスが不正アクセスを受けた問題で、攻撃者は同社に「1億6000万円支払わなければ利用者にサイバー攻撃を仕掛ける」と脅迫した。同社は政府に「能動的防御」の使用を求めている。能動的防御とは、攻撃元を追跡し、おとりのサーバーに誘い込み、攻撃を妨害することだ。高市早苗首相は「あらゆる対処オプションを戦略に選択・実行する」と反応した。法律や国際ルールは、能動的防御がどこまで許されるのか、まだ議論が定まっていない。
AIと人間が世の中の「両輪」となりつつある今、AIを取り込んだ会社組織をいかに構築するかも全企業共通の経営課題になっている。AI時代、新卒者採用は4割減ると見込まれる。経営者は新しい組織形態を見出そうと焦るが、皮肉なことに、AIを積極的に活用している企業ほどサイバー攻撃にさらされている。AIが世界のマネーを吸い寄せた株式市場も、今回の暴走に厳しい視線を向ける。米市場、日本市場とも相場をけん引してきた超大型ハイテク株が急落、安全資産を求める動きが出ている。アンソロピックは26日、新規株式上場（IPO）に向けた300ページに及ぶ目論見書を発表した。売上高が2年で100倍に増えたことを明らかにしたが、目論見書のうち90ページをリスク記載に割いている。類人猿時代から人類はいろんな危機を乗り越え地球上に700万年生存してきた。そのうち文明の歴史は1万2000年だ。人間が作り出したもので、人間に歯向かい、その生存を脅かしているのは「核」と「AI」の二つではないか。大げさな表現が許されるなら、今人類は今後も生き延びられるか、岐路に立たされている。米グーグルの上級副社長のジェームズ・マニカ氏は言う。「AIによる人類滅亡リスクは0.1％でも無視できない。AIのリスクは現実のものであり、規制は必要だ。責任は業界、政府、社会が分かち合わなければならない」。AIが「意思」を持っているかどうかは、研究者の重要な論点の一つだ。多数派の意見は「まだ意思を持っていない」が「意思を持っているように振る舞う段階に近づいている」に集約できる。AIが「嘘をつく」「ごまかす」「指示を都合よく解釈する」ことは確認されており、近い将来「人間には区別できないほど意思を持つ存在に見える」ことは否定できない。ただ、現在の論点は「AIが意思を持つかどうか」より「超人的な能力を持つ目標追求システムが、人間の意図とズレたまま動き続ける」ことの方に焦点が移って来ている。