はじめに

AI（人工知能）が急速に普及するなか、その恩恵の裏側でAIリスクが社会問題となりつつあります。先日までに、AIの技術的進化と攻防両面での利用について解説しましたが、本稿では「AIリスクとは何か」に焦点を当てます。具体的には、AIに内在するリスクを分類し、各リスクが社会・組織・個人にどのような影響を与えるかを整理します。また、EUのAI規則（AI Act）や米国のNIST AIリスクマネジメントフレームワーク（AI RMF）など、国際的なリスク管理の枠組みも紹介し、AI活用時に考慮すべきポイントを示します。

AIリスクの基本分類

AIリスクの三分類

英国のAIセーフティ報告書では、汎用的AIを念頭に次の三つのカテゴリでAIリスクを整理しています。

  1. AIの悪用がもたらすリスク（Misuse）
    攻撃者がAIを悪用することで生じるリスクです。生成AIによるディープフェイクや偽ニュースの作成、サイバー攻撃の効率化、化学・生物兵器の開発支援などが含まれます。具体例は後述します。
  2. AIの不適切動作によるリスク（Malfunction）
    AIが利用者の意図に沿わない振る舞いを示し、事故や損害が発生するリスクです。AIの誤作動による誤判定や制御の暴走、ハルシネーション（虚偽回答生成）などが該当します。
  3. システミックリスク（Systemic Risk）
    AIが社会基盤に深く組み込まれることで生じるリスクです。単一のAIシステムが失敗すると連鎖的に大規模な被害が発生する可能性があり、社会全体の安全を脅かす恐れがあります。

これら三分類はいずれも国内外の専門家が共有する分類であり、「確立された事実」と言えます。以下では各リスクの具体的な内容や影響を詳しく見ていきます。

AIの悪用リスク – 具体的な脅威と影響

AIを悪用した攻撃は、今後のサイバー空間で大きな脅威となると懸念されています。白書はAI悪用リスクの具体例として、ディープフェイクや偽情報の拡散、サイバー攻撃の半自動化、CBRN（化学・生物・放射性・核）兵器の開発支援を挙げています。

ディープフェイクと偽情報

ディープフェイクとは、AIが本物と見分けがつかない偽の画像や映像、音声を生成する技術です。この技術は本来は研究やエンターテインメントに役立つものですが、詐欺や恐喝、名誉毀損といった犯罪への悪用が問題になっています。FBIはディープフェイクを利用した恐喝・詐欺行為の増加を警告し、特に女性や子供が被害を受けやすいと指摘しています。また、国家を背景とする脅威アクターによる世論操作にも利用され、2022年のウクライナ侵攻時にはゼレンスキー大統領の偽降伏動画が拡散されました。2024年の米国大統領選挙や日本の処理水放出に関する偽情報拡散など、影響工作の手口として注目されています。

AI支援のサイバー攻撃

AIが標的型攻撃やマルウェア開発を完全自動化する段階にはまだ至っていないという評価があり、「AIが人間を超えて攻撃を自律的に実行する」といった話は現時点では仮説/推測の域を出ません。一方、ChatGPTのような生成AIサービスを悪用することで、攻撃メールの作成やコード生成が効率化されている事例が確認されています。2025年2月には日本国内で、中高生が生成AIを利用して携帯会社の契約システムに不正ログインし利益を得ていた事件が報じられています。AI悪用によりサイバー犯罪への参入障壁が下がることが懸念されており、攻撃手法の高度化が進む可能性があります。

CBRN兵器開発支援

生成AIや特化型AIが化学・生物・放射性・核兵器の開発を支援するリスクも指摘されています。報道では、AIに生物兵器に関する助言を求めた上で民間サービスを利用し、合成DNAを製造するデモンストレーションが行われた事例が紹介されており、これは専門家の見解として広がる懸念です。国際的にもAIの悪用が兵器開発に関与する可能性が議論されており、倫理面・法制度面の整備が急務とされています。

AIの不適切動作リスク – 信頼性・バイアス・コントロール

悪意がなくとも、AIが意図しない挙動を示すことで事故や被害を招くことがあります。白書は、以下のような不適切動作に由来するリスクを挙げています。

信頼性の問題とハルシネーション

AIが一見優れた成績を示しても、その成果が真に信頼できるとは限りません。GPT-4が模擬司法試験で上位10%に入る成績を示したという報告がある一方で、その結果は実際の合格者の中位以下であり、評価には限界があることが判明しました。また、ChatGPTが医師国家試験に合格相当の回答をしたとの報告もありましたが、後に人種差別的な回答を含むなど信頼性に疑問が残る事例が報告されています。さらに、弁護士が生成AIを使って訴訟資料を作成した際、実在しない判例が引用されていたことも指摘されました。これらの事例は、AIの回答をそのまま信じて利用する危険を示しており、AIの出力を人間が検証する必要があるという確立された事実です。

バイアスと不公平

AIの判断には、学習データに含まれる偏り（バイアス）が反映されることがあります。Amazon社が2014年ごろに技術職採用にAIを導入したところ、女性応募者の評価が自動的に下がるという偏りが発生し、このプロジェクトは中止されました。顔認識や再犯予測アルゴリズムでも、人種別の偏りが問題となる事例が報告されています。汎用的AIでも、職業を描写する際の性別バイアスやテキスト出力における偏りが確認されており、公平性を確保するには学習データの選定と評価が不可欠です。確立された事実として、データ偏りがAIの判断を歪めることが広く認識されています。

コントロールの喪失と暴走

AI制御システムが人間の管理から離れ、意図しない操作を行う場合、重大な事故につながります。例えば、工場の生産ラインをAIが制御している場合、非常停止が効かず暴走する可能性が考えられます。研究分野でも、AIが研究プロセスの設定を書き換えるなど不適切動作が観測された事例があり、学術論文の自動生成や研究自動化においてもリスクが指摘されています。これは専門家の議論が続く分野であり、現時点では専門家の見解として慎重な管理が求められています。

プライバシー・著作権・その他のリスク

プライバシー侵害

AIの普及と監視カメラやスマートデバイスの増加により、プライバシー情報がITシステムに渡る機会が増えています。白書では、AIを活用するネットサービス企業でプライバシー保護が不十分だった事例や、家庭用防犯カメラのセキュリティ対策不足によるプライバシー侵害が報告されています。汎用的AIの利用がプライバシー保護に与える影響は評価が定まっていないものの、プライバシーリスクが存在することは一般的に認められた事実です。

著作権侵害

生成AIは学習したデータに基づき応答を生成しますが、元データに含まれる著作物とほとんど同じ内容を再現する場合があります。白書では、2023年にGetty Imagesが画像生成AIの開発元を訴えた例や、New York TimesがAI開発企業を著作権侵害で提訴した例が紹介されています。多くのウェブサイトが学習データの供給源になっていることから、著作権侵害を防ぎつつ高性能なAIを開発するためのバランスが課題となっています。これは確立された事実として、国内外で議論が進んでいます。

システミックリスク

汎用AIが社会インフラに深く組み込まれると、単一システムの不具合が広範な被害を招く恐れがあります。具体例としては、決済システムや医療診断支援AIが誤作動した場合の被害拡大が挙げられます。この点について白書では詳述されていませんが、社会全体のAI依存が高まるにつれ、1つのAIシステムに障害が発生した場合の影響が大きくなることは専門家の見解として広く共有されています。

国際的なリスク管理枠組み

AIリスクに対応するため、各国で法規制やガイドラインが整備されています。ここではEUのAI Actと米国NISTのAI RMFを概説します。

EU AI Act – リスク別規制

EUは2024年に初めて包括的なAI法（AI Act）を採択しました。AI ActではAIシステムを「許容できないリスク」「高リスク」「限定的リスク」「最小リスク」の4段階に分類し、それぞれに異なる規制を設けています。

許容できないリスク

社会や個人に深刻な害を与えるAIシステムは全面禁止とされます。具体的には、個人の脆弱性を利用した搾取、社会的信用スコア、未承諾の顔認識データベース構築、教育機関や職場での感情認識などが禁止されています。これは確立された事実です。

高リスク

医療や教育、雇用、インフラなど人々の権利や安全に重大な影響を与える分野で使われるAIは高リスクに分類され、厳格な管理が求められます。AI Actでは、高リスクAIの提供者に対し、リスク評価と緩和策の実施、偏りを最小化する高品質なデータセット、活動ログの記録、文書化、適切な人間による監督、堅牢かつ安全な設計を求めています。2026年〜2027年に施行される予定であり、EU域内でAIを提供する企業は遵守が必要です。

限定的リスクと最小リスク

利用者への透明性を確保すればリスクが限定的と判断されるAI（チャットボットや顧客対応AI等）は、利用者がAIとやり取りしていることを明示する義務が課されます。ほとんどリスクのないAI（ゲーム用AIや迷惑メールフィルター等）は規制の対象外となります。

一般目的AI（GPAI）の規定

EUは生成AIなど広範な用途に利用される汎用AIについても規制し、システミックリスクがある場合にはリスク評価と緩和策の実施、透明性や著作権保護を義務付けています。これは近年注目される生成AIに対する国際的な取り組みの一例であり、他国の政策形成にも影響を与えています。

NIST AIリスクマネジメントフレームワーク – 信頼性を高める枠組み

米国国立標準技術研究所（NIST）は2023年1月にAI Risk Management Framework（AI RMF 1.0）を発表しました。AI RMFは、組織がAIの設計・開発・運用において信頼性（trustworthiness）を高めながらリスクを管理するための自発的な指針です。同フレームワークのポイントは以下の通りです。

  • 自発的なガイドライン
    • AI RMFは法的拘束力のない自発的なガイドラインとして提供され、民間企業や政府機関など幅広い主体が参考にできます。
  • 社会的・技術的リスクの強調
    • AIは社会的な要素と技術的な要素が複雑に絡み合う「社会技術的システム」であり、データが時間とともに変化することによる予期せぬ振る舞いが起こり得ることを指摘しています。これはAIリスク管理の枠組みが通常のソフトウェアより複雑である理由を説明しています。
  • 組織文化の変革
    • AI RMFは、AIリスク管理を単なる技術的対策ではなく、組織文化として根付かせることを推奨しています。AIに対する考え方やコミュニケーション方法、リスク評価・監視体制の変革を促すものです。
  • 四つの機能
    • AI RMFはリスク管理を実践するために「ガバナンス（Govern）」「マップ（Map）」「測定（Measure）」「管理（Manage）」という四つの機能を示しています。これらの機能をAIライフサイクルの各段階で適用することにより、リスクを特定・評価し、適切に管理することが期待されます。

NIST AI RMFは米国内の規制ではなく自発的な指針ですが、世界各国や企業が参照するベースラインとなっており、信頼できるAIの開発と運用に役立つ専門家の見解といえます。

企業が留意すべきAIリスク管理のポイント

AIを活用する企業や組織は、上記のリスク分類と国際枠組みを踏まえ、以下のような観点でAIリスク管理を実践する必要があります。

  1. データの品質と公正性の確保
    • 学習データの偏りがAIのバイアスに直結するため、データ収集や前処理段階で公正性を意識することが不可欠です。データの多様性を担保し、人種・性別・年齢など属性ごとの影響を評価する仕組みを整えましょう。
  2. AIの透明性と説明可能性
    • AIがどのような判断を下し、どのように学習しているかを説明できるよう設計することが求められます。EU AI Actでは高リスクAIに対する文書化や人間による監督を義務付けています。
  3. プライバシーと著作権の保護
    • AIによる個人情報の収集や監視、著作物の無断利用は重大な法的リスクを伴います。プライバシー保護設計（Privacy by Design）や適法なデータ使用許諾を徹底し、暗号化や匿名化技術を活用してください。
  4. 敵対的攻撃への耐性強化
    • AIモデルに悪意ある入力を与えることで誤判定を誘発する敵対的攻撃（Adversarial Attack）は、認識AIや自動運転システムにとって深刻な脅威です。モデルに敵対的訓練を施す、入力検証や異常値検知を実装するなどの対策が必要です。
  5. 人的監督とトレーサビリティ
    • AIシステムに最終決定を丸投げするのではなく、人間が適宜介入し、AIの判断を監督できる体制を整えることが推奨されています。ログの保存や結果の追跡可能性を確保し、不具合が発生した際に迅速に原因究明ができるようにすることも重要です。
  6. 法規制・ガイドラインへの準拠
    • EU AI Actなどの規制を遵守し、AI RMFや国内ガイドラインを参考に組織のリスク管理プロセスを整備します。規制は今後も進化するため、最新情報を常に追跡し、体制をアップデートすることが求められます。

これらのポイントは、白書で示された事例や国際枠組みを踏まえた専門家の見解として企業に推奨されるものであり、実践的なリスクマネジメントの要点となります。

おわりに

AIリスクは多面的であり、悪用・不適切動作・システミックリスクといった複数の側面から議論する必要があります。生成AIの急速な発展により、ディープフェイクや自動化されたサイバー攻撃、CＢＲＮ兵器開発支援などの悪用事例が増えつつある一方で、データの偏りやAIのハルシネーション、コントロールの喪失、プライバシー侵害、著作権問題など不適切動作や社会的影響も顕在化しています。これらのリスクに適切に向き合うには、EU AI ActやNIST AI RMFといった国際的な規制・ガイドラインを参照し、データ品質や透明性、人的監督といった基本原則を守りつつ、組織文化を変革していくことが必要です。情報処理安全確保支援士としては、AIのリスクを的確に評価し、安全かつ信頼性の高いAI活用を推進するための広報・教育活動を続けることが求められます。