はじめに

AI（人工知能）の進化は、ここ数年で社会やサイバー空間の風景を大きく変えました。ChatGPTの登場を契機に、文章生成や画像生成など多様な分野で生成AIが普及し、技術の進歩が急加速しています。一方で、この急激な進化が、偽情報の拡散やサイバー攻撃自動化など新たな脅威を生み出していることも事実です。本稿では、AIの技術発展の流れを振り返りつつ、AIがサイバー攻撃にどのように悪用されているのか、そしてサイバー防御にどう活用され始めているのかを解説します。また、AIに内在するリスクとAIセーフティの議論にも触れ、エバンジェリストとしての広報活動に役立つポイントを整理します。

AI技術の発展の歴史

20世紀のAI研究

AI研究の歴史は1950年代に始まり、初期にはチェスや将棋のプログラム、論理型プログラミング、自動計画などが開発されました。1980年代末にはニューラルネットワークによる文字認識が実用化されるなど、基礎技術の研究が進みました。

機械学習とディープラーニング

2000年代に入り、インターネットの普及によって大量のデータが生成され、GPUの発展により膨大なデータ処理が可能になりました。この背景のもと、機械学習が急速に発達し、スパムフィルターやECサイトのレコメンドなど様々なサービスで高性能化が実現しました。さらにニューラルネットワークの大規模化技術であるディープラーニングが登場し、画像認識や音声認識など人間と同等かそれ以上の精度を達成するAIが実現しました。

汎用的AIと生成AI

2022年11月にOpenAI社がChatGPTを公開したことで、高度な会話生成や画像生成が可能な汎用的AIが注目を集めました。生成AIは入力の自由度が高く、自然言語や画像など多様なデータを理解して適切な出力を生成する特徴を持ちます。現在ではGPT、LLaMA、Gemini、Claudeなど複数の基盤モデルが競争的に開発され、AI軍拡競争とも呼ばれる状況が生まれています。ディープニューラルネットワークの規模を拡大すれば性能も向上するというスケーリング則が発見されており、今後も急速な性能向上が期待されますが、動作原理はブラックボックス化しており、その安全性が課題となっています。

AIの悪用と攻撃への影響

AI技術の普及はサイバー攻撃の手口を変えつつあります。英国DSITの報告書はAIリスクを「AIの悪用」「AIの不適切動作」「システミックリスク」に分類し、その一つであるAIの悪用について具体的な事例を挙げています。以下では、AIが攻撃手口に組み込まれる代表例を紹介します。

ディープフェイクと偽情報

生成AIによる画像・音声・映像合成技術は“ディープフェイク”と呼ばれ、本物と区別がつかない偽コンテンツを容易に作成できます。人物の顔を入れ替えたり、完全に架空の動画を生成したりすることが可能であり、詐欺や恐喝、名誉毀損などに悪用されています。FBIもディープフェイクの悪用による人権侵害を警告しており、女性や子供が被害者になりやすいという調査結果が報告されています。ディープフェイクは国家レベルの影響工作にも使用され、2022年のウクライナ情勢ではゼレンスキー大統領の偽降伏動画が拡散された事例が知られています。2024年の米国大統領選挙でも偽情報拡散が行われ、日本でも処理水放出に絡む偽情報がSNSで広がりました。

AI支援によるサイバー攻撃の自動化

標的型攻撃などの高度なサイバー攻撃をAIが完全に自動化する段階にはまだ達していないと報告されています。しかし、AIサービスを悪用して攻撃の一部を効率化する試みは既に確認されています。OpenAI社とMicrosoft社は、チャットAIが攻撃コードの作成支援やフィッシングメール作成に使われた事例を摘発しました。AIの利用により高度な技術を持たない人物でもサイバー攻撃を実行でき、犯罪ビジネスへの参入障壁が下がることが懸念されています。日本でも中高生が生成AIを使って通信会社の契約システムに不正ログインし、利益を得た事件が報じられており、教育現場でも対策が必要です。

CBRN兵器開発支援と他のリスク

AIが化学・生物・核兵器の開発支援に悪用される懸念もあります。大規模な汎用AIや、化学分野に特化したAIにより専門家が持つ知識を補完できる可能性が指摘され、実際に合成DNAを作成するデモンストレーションなどが報告されています。また、AIが意図しない挙動を示す不適切動作や、バイアス・信頼性の問題、プライバシー侵害、著作権侵害など社会的なリスクも存在します。

サイバー防御におけるAIの活用と課題

AIは攻撃者にとって強力な武器となる一方、防御側にも多くの機会を提供します。白書は広義のAIセーフティの中で「AIリスクに対抗するための防御におけるAI利用の推進」を挙げており、攻撃を検知・緩和する手段としてAIを積極的に活用すべきとしています。具体的には以下のような応用が期待されています。

  • 脅威検知と異常行動分析
    • 大量のログデータや通信パターンから異常を検出するために機械学習が用いられています。AIは未知の攻撃にも対応できる可能性があり、防御における早期発見に貢献します。
  • マルウェア分類とフィッシング対策
    • ディープラーニングを用いたマルウェア判別や、自然言語処理によるフィッシングメール検出などが研究され、商用ツールにも組み込まれています。
  • 脆弱性発見とパッチ適用支援
    • 大規模なソースコードやシステム構成をAIが解析し、潜在的な脆弱性を発見することで開発者の負担を軽減します。ソフトウェアサプライチェーン全体のリスク管理にも活用されています。
  • 自動応答とセキュリティオーケストレーション
    • インシデント発生時にAIが自動で封じ込めや隔離処理を行う研究も進んでおり、攻撃への対応時間を短縮します。

ただし、防御側のAIも完璧ではありません。AI自身が攻撃対象となる可能性があり、モデルに対する敵対的攻撃やデータ中毒などの問題への対策が必要です。また、AIの判断に過度に依存すると誤検知や見落としが起こるため、人間が最終判断を行う体制が求められます。白書では、AIの出力を別のAIで監視する「AIによるAI監視」や、学習データの品質精査、敵対的学習など技術的対策を挙げています。

AIリスクとAIセーフティ

AIの安全な活用には、技術面だけでなくガバナンス面も重要です。英国で設立されたAIセーフティ・インスティテュート（AISI）は、AIに由来する危害を理解・予防・緩和することをAIセーフティと定義しています。日本でも同様に、人間中心の考え方に基づき、

  • 安全性・公平性の確保
  • プライバシー保護
  • AIシステムの脆弱性や外部からの攻撃に対するセキュリティ確保
  • AIの判定の透明性確保

を満たした状態をAIセーフティとしています。同時に、AIの利用におけるリスクベースアプローチが国際的に共有されており、利用分野や用途に応じたリスク評価と対策が求められます。

AIリスクには、先述した悪用リスク（深層偽造や攻撃自動化）、不適切動作リスク（バイアスや hallucination）、そしてAIが社会インフラに深く組み込まれることで発生するシステミックリスクが含まれます。システミックリスクとは、AIが金融や医療など社会基盤に広く利用されることで、単一の障害が連鎖的に広範な被害を引き起こす可能性を指します。AIセーフティは、これらのリスクを受け入れ可能な水準に抑えるための包括的な枠組みと言えるでしょう。

政策動向とガバナンス

白書は、AIセーフティを実現するための社会的対策の中心としてAIガバナンスを挙げています。AIガバナンスとは、リスクベースアプローチに基づき、用途や危険度に応じた規制・管理を行う仕組みです。EUのAI Actのような包括的な規制だけでなく、各国ではセクター別のガイドラインやデータ保護法の整備が進んでいます。

国際的には、2023年に英国がAISIを設立し、AI安全研究の拠点としました。同様の機関が日本や米国でも検討されており、AIの標準化や国際協調が進められています。白書は、AIガバナンスの実施だけでなく、高リスク用途へのAI導入規制や防御目的でのAI活用推進など、多面的な対策が必要であると指摘しています。

おわりに

AIは急速な進化により、社会に多大な恩恵をもたらす一方、サイバー空間の脅威にも新たな形で影響を与えています。ディープフェイクやAI支援攻撃など、攻撃者側が利用する動きは今後さらに巧妙化する可能性があります。同時に、防御側もAIを活用して大量データから異常を検知し、攻撃の予兆をつかむ研究が進んでいます。AIそのものがリスク源となる危険性も忘れてはならず、AIセーフティやAIガバナンスの整備が不可欠です。

エバンジェリストとしては、AIのメリットとリスクをバランスよく伝え、組織や社会が安全かつ有効にAIを活用できるよう支援することが求められます。本稿が、AIの攻守両面に対する理解を深め、実践的な議論の一助となれば幸いです。