カイフー・リーら著「AI ２０４１」から自律兵器の功罪（２０２４年１０月１４～１８日）
＊＊＊ 今週の教養 （AI２０４１①）
先週発表されたノーベル賞では、AI（人工知能）関連が物理学賞と化学賞を受賞した。今週はAIが人類にもたらす功罪を真正面から論じた「AI ２０４１」（文藝春秋、２０２２）を取り上げる。著者は、台湾出身で米国に移住したAI学者カイフー・リー（李開復）氏と、中国人SF作家のチェン・チウファン（陳楸帆）氏の２人。利用分野を１０章に分けて、物語と解説でわかりやすく書いているが、ここではAIで誕生する「自律兵器」の功罪を紹介する。
◎自律兵器とはなにか
火薬、核兵器に続く第3の戦争革命が、自律兵器だ。時代から誘導ミサイルへの進化は序の口だった。行き着く先はAIによる真の自律性だ。捜索、交戦決断、殺害までを人間の関与なしに完遂する。現在実用化されている自律兵器の例としては、イスラエル製のドローン「ハービー」がある。特定エリアをプログラムによって俳諧飛行し、目標を見つけると、搭載した高性能爆薬ごと突入して破壊する。運用側としては、撃ちっ放しでいい。
刺激の強い例としては「虐殺ボット」というタイトルでネット上に拡散されたビデオがある。そこで描かれるのは小鳥くらいのドローンで、自力で標的を探し発見すると、少量の爆薬を対象の頭部に至近距離から撃ち込む。とても小さく機敏なので、捕まえるのも、止めるのも、破壊するのも容易ではない。これに類するものが2018年にベネズエラ大統領暗殺未遂事件を起こしている。趣味で模型工作をできる人なら１０００ドル以下の費用で作れるものだった。部品はすべてオンラインで購入でき、技術はオープンソースで誰でもダウンロードできる。近い将来にロボットが低価格になれば、それを使っても同じことができるだろう。AIとロボット技術が一般化、低価格化した証拠といえる。１０００ドルで政治家を暗殺できるわけだ。これは未来のあやふやな危険ではない。今そこにある明確な危険だ。
＊＊＊ 今週の教養 （AI２０４１②）
◎自律兵器の益と害
AIは急速に進歩してきた。その進歩がごく近い未来に自律兵器を登場させる。自動運転車がレベル１からレベル３～４へ急速に進歩したのと同じことが、自律兵器に起きる。これは不可避だ。これらの殺人ボットは高性能、正確、有能、機敏、低価格であり、さらに群体を作る能力もいずれ備えだろう。チームで行動し、非常時に対応でき、ほとんど阻止不能。1万機のドローンの群体は都市人口の半分を殺害できる。理論的な費用は1000万ドルにすぎない。
自律兵器には利益もある。機械が戦争をするようになれば、人間の兵士を死なせずにすむ。責任ある軍隊が使えば、兵士をサポートして戦闘員だけを狙える。友軍兵や子どもや市民への誤射を防げる。これはレベル２から3の自動運転車が運転者のミスを減らせるのと同じ理屈だ。また暗殺者や犯罪者から身を守るためにも使える。しかし、このような利益ははるかに上回る負の面がある。最大のものはモラルだ。闘争行為で人命を奪う時には、どんな倫理でも宗教でも強い正当性と監視を求められる。国連事務総長のグテーレス氏は「人命を奪う自由や能力を機械に与えるのは倫理に反する」と述べている。
自律兵器は殺人のコストを下げる。自爆テロは大義のために自分の命を捧げる行為なので、実行へのハードルは高い。しかし自律兵器を使った暗殺は、犯人の命を費やさずに実行できる。もう一つの大きな問題は、失敗をした場合の責任の取り方だ。戦場の兵士の場合は確立されている。しかし自律兵器による場合の責任論は不明確だ。自動運転車が歩行者を死傷させた場合の責任の所在の不明確さと同様だ。このままでは侵略者の不正義や国際人道法違反さえ免責になりかねず、戦争への敷居を下げることになる。
＊＊＊ 今週の教養 （AI２０４１③）
◎自律兵器と人類
自律兵器は顔認識や歩容認識、携帯電話やIoT信号追跡によって個人を特定できる。特定の一人の暗殺はもちろん、あるグループを選んで暗殺することも可能になる。ビジネスエリートや著名人を選択的に殺すこともできる。このような複合的な問題を理解せずに機械の自律化を進めると、戦争を加速し犠牲者を増やすことになる。そして破滅的なエスカレーションを引き起こし、核戦争に至ることもありえる。AIは人間的な常識を持たず、領域をまたがる推理力を持たない。AIをどれだけ訓練しても、その行動が領域の外にもたらす影響を完全に理解させることができない。
第１次世界大戦前の英独建艦競争から冷戦時代の米ソ核兵器開発競争まで、国家は軍事的優位性を求める。自律兵器においてはその要素が多元化し、小さく、速く、ステルス性も殺傷性も高くなる。競争は激化するだろう。低コストゆえに参入障壁は低い。小国でも高い技術力があればいい。例えばイスラエルはすでに競争に参加し、蠅のような小型機など先進的な軍事ロボットを開発している。ある国が自律兵器の軍事力を増せば、それを脅威に感じる国も競争に参加してくるのは確実だ。 このような軍拡競争はどこへ向かうだろうか。カリフォルニア大学バークレー校のコンピューターサイエンス教授スチュアートラッセルは次のように述べている。「自律兵器の能力はそれを制御するAIの能力不足よりも、物理法則で制限されることになるだろう。すなわち航続距離、速度、積載量などだ。このような機敏さと殺傷力を持つプラットフォームに対して、人類は全く無防備だ」。このような多面的な軍拡競争を放置すると、待っているのは人類文明の死だろう。
＊＊＊ 今週の教養 （AI２０４１④）
◎自律兵器の危険性への解決策①
核兵器も存亡の危機だが、その使用は自制され、抑止論によって従来型の戦争を抑制する効果もあった。抑止論は、核兵器を持っていれば強国の干渉を阻止できるというものだ。奇襲的な先制攻撃では核兵器の使用能力を破壊されなければという条件がつくが、これがクリアされれば核戦争は相互確証破壊（MAD）に至り、先制核攻撃を行った国は報復攻撃を受ける。ゆえに核の使用は自滅行為となる。
しかし自律兵器において、抑止論は成り立たない。奇襲的先制攻撃を行っても出どころを追跡されにくいので、相互確証破壊を恐れずにすむ。ドローンの追跡困難がその例だ。通信プロトコルをハッキングすることで手がかりは得られるが、稼働中のドローンを捕獲できた場合に限る。これまで解説したように、自律兵器攻撃は急速な連鎖反応を起こし、核戦争に至る可能性がある。先制攻撃を行なうのは国家ではなく、テロリストや非国家主体かもしれない。このことも自律兵器の危険性を高めている。
人類存亡の危機を避けるための解決策はいくつか提案されている。第１は人間を関与させる方法だ。殺害の決断は必ず人間が下す仕組みにする。しかし自律兵器の優秀さは、人間を関与させないことによる速さと正確さに大きく依存している。ここを意図的に譲歩するのは、軍拡競争に勝ちたい国々にとって受け入れ難いだろう。また強制しにくく、抜け道をつくられやすい。
第2の解決策は、条約による禁止だ。これは「殺人ロボット阻止キャンペーン」の書簡が提言している。書簡にはイーロン・マスク、故スティーブ・ホーキングをはじめ、AI専門家数千人が署名している。このような運動は過去にもあり、生物学者、科学者、物理学者が、それぞれ生物兵器、化学兵器、核兵器に反対してきた。禁止は簡単ではないが、失明をもたらすレーザー兵器、化学兵器、生物兵器の禁止は一定の成果を上げているようだ。自律兵器禁止に向けた最大の障害は、ロシア、アメリカ、イギリスが時期尚早として全面的に反対していることだ。元アルファベット会長のエリック・シュミットが委員長を務めるアメリカ人工知能国家安全保障委員会（NSCAI）は２０２１年、自律兵器禁止の定義についてアメリカは拒否すべきという勧告を出している。
＊＊＊ 今週の教養 （AI２０４１⑤）
◎自律兵器の危険性への解決策②
第3の道は、自律兵器に規制の網をかけることだ。しかしこれは、過剰にならずに有効な技術仕様を決める困難さが予想される。自律兵器の定義は何か、違反をどう監督するのか。短期的に難しい障害がいくつもある。しかし本書のテーマは長期の未来予測なので、2041年の条約を夢想させてほしい。その頃までに、未来の戦争はロボットのみ（できればソフトウェアのみ）によって戦われ、人間を犠牲しないとすべての国が合意しているかもしれない。
そして戦利品は戦後に返却する・・・ということができるだろうか。あるいは未来の戦争は人間とロボットによって行い、ロボットが使用する兵器はロボット戦闘員を停止させるだけで、人間の兵士には危害を加えないものにする・・・ということが可能だろうか？ 現時点では空想にすぎないが、将来は現実的な戦略として検討されるかもしれない。
自律兵器はすでに明白な現在の危険であると認識されるべきだ。今後前例のない速さで、より知能的に、より敏捷に、殺傷性が高く、入手しやすいものになっているだろう。核兵器のような本質的な抑止力を持たないため、見えない軍拡競争によってその配備が加速する。AIの応用例として明確かつ深刻に人間のモラルに反し、人類の持続性を脅かす自律兵器の増殖と人類滅亡を防ぐために、専門家と政策決定者はさまざまな解決策を検討すべきだ。