はじめに
生成AIや大規模言語モデル（LLM）の爆発的普及によって、AI技術はビジネスや行政の現場に深く浸透しつつある。その一方で、従来の情報システムには存在しなかったユニークな攻撃面が生まれている。NISTの新しいサイバーセキュリティ・プライバシー・AIプログラムによれば、AIシステムはモデルの重みや学習データ、APIを狙う攻撃などによって従来のサイバー攻撃とは異なる脆弱性を抱えており、データポイズニング、モデルインバージョン、メンバーシップ推論など高度な脅威が現実化している。複数のサードパーティライブラリや事前学習済みモデルが組み合わさるAIのサプライチェーンは複雑で、不適切な管理が組織全体のサイバーリスクを増幅させかねない。AIセキュリティは単に「AIを使って守る」だけでなく、「AIを安全に使う」ことを両輪とする総合的な分野である。
新たな攻撃面：AIが生むリスクの多様化
モデル固有の攻撃
機械学習モデルは数学的構造や重みを狙った新しい攻撃にさらされる。代表的な脅威には以下がある。
- データポイズニング（学習データ汚染）
- 攻撃者が学習データに悪意のあるサンプルを混入させ、モデルの出力を偏らせたり誤った判断をさせる手法。SentinelOneの解説によると、データポイズニングは訓練データのバイアスや誤誘導を引き起こし、従来のセキュリティでは検出しにくい。
- 敵対的サンプル（Adversarial attacks）
- 人間にはほとんど違いが分からないような入力の微小な改変でモデルの出力を誤らせる攻撃。詐欺検知モデルをすり抜けたり、画像認識システムを欺くのに使われる。この問題を軽減する手法として敵対的学習（adversarial training）が提案されており、AI安全性の「狭義」の技術的対策として挙げられている。
- モデルインバージョン／メンバーシップ推論
- モデルに繰り返し問い合わせを行うことで学習データの一部を復元したり、特定のデータが学習に含まれているかを判定する攻撃。SentinelOneはモデルインバージョンやモデル盗用（model theft）をAI固有の脅威として列挙し、これらが機密データの漏洩や知的財産の損失につながると警告している。
- モデル抽出（Model extraction／model theft）
- アップロードする入力と得られる出力からモデルのパラメータやアーキテクチャを再構築する攻撃で、他者が開発したモデルを不正コピーすることを可能にする。
- パラメータ改ざん（Parameter corruption）
- 学習済みモデルの重みやハイパーパラメータを操作し、バックドアを仕込む攻撃。誤った推論を誘発するだけでなく、悪意のある機能を隠密に実行させる危険がある。
これらの攻撃は、AIモデルが「ブラックボックス」であることや、入力と出力の関係が確率的であることに起因する。英国政府の報告書は、AIシステムのデザイン・開発・運用の各フェーズに固有の脆弱性が存在し、設計段階から管理しないと従来のサイバーセキュリティ対策では対応しきれないと指摘する。モデルを適切に守るには、学習データの出所と品質を保証し、敵対的攻撃に対する耐性を検証するなど、従来の攻撃モデルとは異なる視点が求められる。
LLM（大規模言語モデル）特有の脅威
大規模言語モデルはチャットボットや生成AIサービスの中核となっているが、そのインタラクティブな性質と自由度の高い出力が新しいリスクを生む。Oligo SecurityはLLMに固有の攻撃面として、直接・間接的なプロンプトインジェクション、脱獄（jailbreak）、ツール／エージェント乱用、機密データの漏洩（インバージョン・メンバーシップ推論）、システムプロンプトの流出、学習／データ汚染を挙げる。例えばプロンプトインジェクションでは、無害に見える入力の中に「裏口命令」を埋め込み、チャットボットのロジックを乗っ取る。生成モデルが学習データ中の機密文書をそのまま応答に出力してしまうケースも報告されており、適切なフィルタリングや出力の検証が欠かせない。また、サードパーティ製のデータセットやモデルを組み込む場合、その供給元にバックドアが仕掛けられている可能性があり、サプライチェーン全体の信頼性を確保する必要がある。こうした新種の攻撃に対処するため、入力／出力のポリシー強化、文脈隔離（context isolation）、命令のハードニング、最小権限原則でのツール利用、データの秘匿化、レート制限、供給元と生成物の来歴管理、監査ログの保全など、複数層からなる防御が推奨されている。
エージェント型AIの課題
チャットボットをさらに発展させた「AIエージェント」は、外部サービスやAPIと自律的に連携してタスクを実行するため、そのセキュリティはより複雑である。Obsidian Securityのレポートは、AIエージェントが従来のアプリケーションでは存在しなかった攻撃ベクトル――プロンプトインジェクション、モデルインバージョン、メモリ汚染（memory poisoning）――を持ち、既存の脆弱性診断ツールでは検出できないと指摘している。AIエージェントの応答は確率的であり、わずかな入力変更が大きく挙動を変えるため、悪意のあるプロンプトで行動を操れる。従来のペネトレーションテストでは自然言語の意味を理解できず、生成AI特有の出力からの情報漏洩や権限昇格などを検知できない。したがって、AIエージェントのセキュリティ評価には、生成モデルやベクトルDBの挙動を理解した専用フレームワークと継続的なモニタリングが必要であり、レッドチーム演習やAPIファジングによる脆弱性検証を組み込んだDevSecOps／MLOpsパイプラインが推奨されている。
データ、パイプライン、インフラのリスク
サプライチェーンとデータ供給
AIの品質と信頼性は入力データに強く依存する。NSA・CISA・FBIなどが合同で発表したAIデータセキュリティ情報シートは、AIシステムのデータ供給チェーン、悪意のあるデータ改変、データドリフトを三大リスクと位置付け、それぞれに対する対策として暗号化やデジタル署名、データ来歴の追跡、信頼できる供給元の選定を挙げている。サプライチェーンリスクでは、外部データセットや事前学習済みモデルが改ざんされている場合、それを利用したシステム全体にバックドアやバイアスが広がる可能性がある。攻撃者は第三者のリポジトリに悪意のあるライブラリやモデルをアップロードし、不注意な利用者が取り込むのを待つため、供給元の検証やハッシュによる真正性確認が必須である。
パイプラインとAPI
モデルの訓練・デプロイ・運用に関わるMLOpsパイプラインも攻撃対象となる。パロアルトネットワークスの解説は、AIパイプラインが多くのコンポーネントに依存しており、サードパーティライブラリの改竄、API設定の不備、許可されていない「シャドーAI」の導入、インフラの不正利用などがリスクとして挙げられると説明する。このようなパイプライン侵害は、学習データの漏洩やモデルの改竄を引き起こし、 downstream のアプリケーションやサービス全体に影響を与える。
プライバシー・機密データの漏洩
生成AIが出力する文章や画像には、学習データ中に含まれる個人情報や機密情報が含まれることがある。情報セキュリティ白書2025は、生成AIが分散データから個人を特定し得ると警告し、AIサービスや家庭用カメラ製品におけるプライバシー保護の不足を指摘している。モデルのインバージョン攻撃により訓練データが復元されるリスクも大きい。NISTは差分プライバシー（Differential Privacy）が個々のデータを秘匿したまま統計的な分析を可能にする成熟した技術であり、公的機関はこの技術の検証ガイドラインを策定中であると報告している。また、イギリス政府はフェデレーテッドラーニング（連合学習）にプライバシー強化技術を組み合わせることで、センシティブデータを中央に集めることなく機械学習が行えると紹介している。こうした技術や暗号化、匿名化処理を適切に活用することで、学習データや出力からの個人情報漏洩リスクを低減できる。
防御と対策
技術的対策
AI特有の脆弱性に対処するため、以下のような技術的対策が採用され始めている。
- 敵対的学習と検証
- 学習時に敵対的サンプルを混ぜてモデルを訓練し、敵対的入力に対する頑健性を向上させる。白書では、狭義のAI安全性の一部としてこうしたテクニカルな対策を位置付けており、実運用前に adversarial testing を実施することを推奨している。
- データ来歴管理と真正性検証
- データ供給チェーンの各段階でハッシュやデジタル署名によりデータの改ざんを検出し、信頼できる供給元からのデータのみを使用する。Dataversityはデータ供給チェーンのリスクを指摘し、データのプロベナンス管理と暗号化による真正性確認が不可欠と述べる。
- 差分プライバシーと秘密計算
- NISTのガイドラインによれば、差分プライバシーは個々のレコードへの影響を小さくするノイズ付加手法であり、AI学習データの公開や応答生成で個人を特定できなくする。秘密計算や同態暗号は計算中のデータを暗号化状態のまま扱う技術で、AIにおけるプライバシー強化技術として研究が進んでいる。
- プライバシー保護型フェデレーテッドラーニング
- データを中央に集めず、モデルの重みだけを集約する方法に、差分プライバシーや安全な集約技術を重ねることでモデルアップデートから個人情報を復元できないようにする。
- モデル監視と異常検知
- デプロイ後のモデル挙動を常時監視し、予測信頼度の急変や入力分布の逸脱、クエリパターンの異常などから攻撃を検出する。SentinelOneは予測信頼度や入力分布を追跡することが重要で、異常パターンが現れた際にはモデル抽出や敵対的入力の兆候としてフラグを立てるべきだと述べている。
- レッドチーミングとペネトレーションテスト
- Obsidianの報告は、AIエージェントに対するレッドチーム演習やAPIファジングを通じて、プロンプトインジェクションやデータ漏洩など複数の攻撃ベクトルを体系的に試験すべきだと強調する。OWASPのAI Security & Privacy GuideやNISTのAI RMFを参照した標準化されたテスト手法を用いることで、AI特有の脆弱性を検出しやすくなる。
組織的対策とガバナンス
AIセキュリティは技術だけではなく、組織の文化やプロセスに深く関わる。NISTや国際機関はAIリスク管理フレームワークを通じて、ガバナンス（方針と役割の定義）、マッピング（リスクの特定）、測定（リスク評価と指標）、管理（対応と改善）という四つの機能でAIリスクを管理することを提案している。。企業はMLOpsパイプラインにセキュリティチェックポイントを組み込み、モデル開発者とセキュリティチームが協働するDevSecOps体制を整える必要がある。Obsidianの報告は、CI/CDやMLOpsへセキュリティゲートを組み込んでモデルを本番環境に出す前にテストを通過させること、モデルのバージョン管理と来歴追跡を行い、監査証跡を保管することの重要性を指摘している。さらに、Dataversityの記事は、AIセキュリティにはデータチームとセキュリティチームの横断的な協力が不可欠であり、従来のサイロを解消することが求められると述べている。
差分プライバシーやフェデレーテッドラーニングの導入、データ供給元の検査、AIレッドチーム演習などはコストと専門知識を要する。そのため、経営層の支援やリソース配分も重要である。英国の調査では、多くの組織がAI特有のサイバーリスクを十分に認識しておらず、対策の専門知識も不足していると報告されている。AIセキュリティは一部の技術部門のみが担うべき課題ではなく、組織全体でリスクを理解し、継続的に改善していく文化が求められる。
現状の課題と展望
AIセキュリティには、いくつかの継続的な課題が存在する。第一に、AIモデルやエージェントの挙動はブラックボックスであることが多く、内部ロジックの検証や説明が難しい。これにより、予期せぬ動作やバイアスが発生した際の原因究明が困難になる。第二に、サプライチェーンリスクが複雑化している。モデルやデータの供給元が世界中に分散し、オープンソースや商用サービスが混在するため、全ての依存関係を把握し評価するのは容易ではない。第三に、規格やベストプラクティスが乱立し、組織がどの基準に従うべきか判断しにくい現状がある。AI RMFやISO/IEC 42001、OWASP AI Security Guideなど複数の枠組みが存在し、相互参照しながら自社に最適な対策を選択する必要がある。
今後の展望としては、以下のような方向性が考えられる。
- 透明性の向上と第三者検証
- モデルの説明性を高める研究や、第三者による安全性評価・認証の仕組みが進展し、ブラックボックス性を緩和する。
- プライバシー強化技術の標準化
- 差分プライバシーや秘密計算、フェデレーテッドラーニングなどの技術が標準化され、幅広いシステムで利用できるようになる。NISTが差分プライバシー評価ガイドラインを策定していることはその一例である。
- 自律的な防御と復旧
- AI自体がサイバー攻撃の兆候を検知し、迅速に防御・復旧を行う自律的なサイバー防御システムの開発が進む。一方で、AIを攻撃に利用する脅威者も進化しており、攻撃と防御のスパイラルが続くと予想される。
- 国際協調とガバナンスの強化
- AIセキュリティは国境を越えた問題であるため、国際的な基準作りや情報共有が不可欠である。前日の記事で紹介したG7広島プロセスのように、多国間で共通の原則を策定する動きが進んでいる。
おわりに
AIセキュリティは、モデル固有の脅威、データ・サプライチェーンのリスク、プライバシー漏洩、ブラックボックス性など、多面的な課題を抱える分野である。情報セキュリティ白書は「AI安全性」を公平性、プライバシー保護、サイバー攻撃への防御、透明性を含む概念として位置付けており、狭義の技術的対策に加えて広義の社会的ガバナンスが重要と強調している。組織や社会全体がAIセキュリティの現状と課題を理解し、技術・組織・政策の三位一体となった対策を推進することが、安全で信頼できるAIの普及に欠かせない。
