AIを悪用したサイバー攻撃は今までとどう違う？
AI自体も攻撃される？
AI時代のサイバー攻撃について分かりやすく解説
近年、生成AIや大規模言語モデル（LLM）の急速な進化により、これらを悪用するケースも増加しています。本記事では、AIの普及によって変化するマルウェアやサイバー攻撃の最新動向を、分かりやすくご紹介します。
目次
AIを使った攻撃は、今までの攻撃とはどこが違う？
攻撃者は生成AIや大規模言語モデルの活用によって、これまで以上に巧妙なフィッシングやソーシャルエンジニアリング、ディープフェイク、さらには自動化されたマルウェアの生成が行えるようになっています。これにより、「技術力の低い攻撃者」でも質の高い攻撃を容易に仕掛けられるようになりました。
AI生成によるフィッシング攻撃：
- 生成AIを用いれば自然な文面でメールを作成可能になり、判別が困難になる。
- LLMでターゲットのSNS投稿や公開情報を解析すれば、個人に最適化されたメールやチャットも生成可能。
- これらにより、開封率／クリック率（=攻撃の成功率）が従来より高くなる。
フィッシング攻撃に関しては、以下の記事もあわせてご参照ください。
フィッシング攻撃に騙されない！最新の手口は今までとはどこが違う？フィッシングの見分け方、怪しいサイトやメールの事例を挙げて紹介
https://cybersecurity.gftd.co.jp/ja/blog/phishing
音声・映像のディープフェイクの悪用：
- ディープフェイクとは、ディープラーニング（深層学習）の技術を用いて、人の顔や声などを本物そっくりに合成する技術や、その結果作られた偽物のコンテンツを指す。
- 経営者や従業員になりすますことで、重要な情報の開示や金銭の振り込みを要求。
→ 高度化されたソーシャルエンジニアリング攻撃。
- 著名人の声・映像を精巧に偽造し、広告に用いることで、人と金を集める。
マルウェア生成が容易に：
- 専門的な知識が無くても、AIを用いることでマルウェアの作成が可能。
- 既存のマルウェアやエクスプロイトの変種を短時間で作る試み。
AI自体も攻撃される
AIやLLMは、大量の学習データを基に処理を行っているため、学習データ自体が攻撃の対象となることもあります。以下に紹介するのは、AIの持つ学習データを標的とした攻撃手法です。
データポイズニング：
AIや機械学習モデルの学習に使われるデータに「悪意ある改ざん」や「不正なデータ」を混入させ、モデルの性能や挙動を意図的に歪める攻撃手法。
予測の精度が低下し、とくに自動運転や顔認証など安全性が求められる分野では、リスクが大幅に高まる。
モデルインバージョン：
機械学習モデルが学習した内容から、元の学習データを推測・復元する攻撃手法。
本来隠されているはずの学習データに個人情報や機密情報が含まれていれば、それが復元されるおそれ。
プロンプトインジェクション：
ユーザーが与える入力（プロンプト）や外部データを悪用して、対話型AIやLLMに本来意図しない命令を実行させる。
AIの出力結果として、機密情報が漏れ出る可能性。
敵対的サンプル：
人間にはほとんど分からない、あるいはごく小さな摂動（ノイズ）を入力に加えることで、モデルの出力を誤らせる入力データ。
データポイズニングと似ているが、データポイズニングがモデルの学習段階で行われる攻撃であるのに対し、敵対的サンプルは学習済みのモデルに対して入力される。
AIを悪用した攻撃にはどう対策すべきか？（個人レベル）
メッセージ・送金詐欺対策：
- 不審な依頼は即断しない。音声や映像で「上司や親族がお願いしている」場合でも、必ず別のチャネルで本人確認。
（例）電話ならメール・SMSで再確認、SNSなら公式アカウント経由で確認。
- 送金や情報提供の多要素チェック体制を整える。高額送金や個人情報提供時は、複数人での承認や別デバイスでも確認を行う。
個人情報の公開制限：
- SNSやブログに過度な情報を載せない。例えば、誕生日、住所、家族構成、勤務先、趣味・習慣などは攻撃者のターゲティング情報になる。
- 公開情報をもとにした「パーソナライズド（個人に特化した）されたフィッシング攻撃」を防ぐ。
ディープフェイクの見極め：
- 音声・映像の違和感に注意する。例えば、不自然なまばたきや口の動き、音声のトーン・間の違和感、背景照明の不整合。
- 映像や音声だけで判断せず、メールやSMSなどの他のチャンネルでも事実確認。
- 著名人の偽造については、本人が注意喚起していることもある。
技術的防御：
- メール・ブラウザのセキュリティ設定でフィッシング防止機能を有効化、怪しいリンクや添付は即開封しない。
- AI生成コンテンツの検出ツールを必要に応じて導入し、怪しいメールの文面などを確認する。
- パスワード管理と二段階認証の設定をしっかりと行う。オンラインアカウント保護の基本として必須。
教育・認識力向上：
- 詐欺シミュレーションやニュースなどでAIを悪用した攻撃事例を定期的に確認し、自分ならどう判断するかを考える。
- 家族や友人にも「ディープフェイク詐欺」や「AI生成フィッシング」の存在を知らせ、情報を周知 • 共有する。
AIを悪用した攻撃にはどう対策すべきか？（組織レベル）
組織レベルでの対策は、個人向けの対策を組織全体に拡張しつつ、技術・運用・教育・ポリシーを組み合わせた包括的な対策が必要です。
アクセス制御・承認フローの強化：
- ゼロトラスト原則の徹底する。全てのアクセス・操作に対して「信頼せず検証する」姿勢を導入。
- 高リスク操作（送金、機密情報閲覧、システム変更）は必ず複数人で承認するなど、多段階承認プロセスを導入する。
- 社内外からのアクセスに関わらず全社員に、二要素認証／多要素認証の導入を徹底させる。
AI関連資産の保護：
- 社内で使用するAIモデルやトレーニングデータを資産として分類・アクセス制御し、機密データ・モデル・プロンプトの保護を行う。外部連携サービスを利用する場合もログとアクセス権限を厳密に管理。
- データポイズニング・モデル盗用対策として、学習データの改ざんを防ぐチェックと、モデルの利用ログ監視を導入。
検出・監視体制の高度化：
- 従来のシグネチャ検出だけでなく、異常行動・生成コンテンツの検知を組み合わせる。
- セキュリティ情報・イベント管理（SIEM）との統合を行うことで、メール・ネットワーク・クラウドアクセスを横断して攻撃兆候を早期発見を目指す。
- XDR（Extended Detection & Response）を活用し、複数環境で発生する微妙な異常を自動相関分析。
社員教育・演習：
- 定期的なフィッシングやディープフェイク対策の教育や訓練を行い、認識力向上。
- AI悪用攻撃を模した攻撃シナリオで、セキュリティ体制の弱点を洗い出す。
- 社内ニュースや外部情報で最新攻撃手口を共有し、継続的に学習を行う。
サプライチェーン・外部委託先管理：
- MSPやクラウドサービス提供者のセキュリティ体制を評価。
- AIサービスや外注先に対し、ログ提供や監査権限といったセキュリティ要件を契約で明確化。
ポリシー・ルール整備：
- AI利用ポリシーの策定し、社内でのAI利用範囲、禁止事項、機密情報取り扱いを明確化。
- 事件・事故対応マニュアルの整備し、AI悪用攻撃発覚時の対応手順を事前策定。迅速な封じ込めと報告体制を確立。
従来のサイバー攻撃は主に人の手によるもので、フィッシングなどでは文章にぎこちなさが出やすく、大量送信時にはテンプレートのような違和感が目立ちました。また、攻撃規模の拡大にも限界があり、効率面でも人的な技術や労力に依存していたのが実情です。
一方で、ここ数年のAI技術の進展により、サイバー攻撃はますます自動化・高精度化・低コスト化が進んでいます。AIを活用することで、より自然で信ぴょう性の高い文章や、音声・映像（ディープフェイク）で被害者をだます手口が容易になっています。さらに、専門知識がなくてもAIの力を借りて高度な攻撃を仕掛けることができるようになり、攻撃の参入障壁が一気に下がりました。加えて、AIの学習データ自体を標的とした新たな攻撃手法も登場しています。
AI時代のセキュリティ対策としては、これまでの基本的な取り組み（ゼロトラスト、ネットワーク監視、多要素認証の徹底、社員教育など）を一層強化するだけでなく、「AIによる脅威の検知」や「AIの利用ルールの整備」といった新たな対策も効果的になるでしょう。
弊社へのお問い合わせは、下記の著者画像横のメールアイコンから