TOP

セキュアAI研究所

コラム

お問い合わせ

研究メンバー

運営会社

RSS feed Atom feed

AIセキュリティ超入門

- AIとセキュリティにまつわるコラム -

第1話 ~AIをとりまく環境とセキュリティ~

カテゴリ: beginner

近年、ディープラーニングをはじめとする様々な機械学習を活用したAI*1の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術など、様々な分野でAIの社会実装が進んでいます

その一方で、AIに対する攻撃手法も数多く生まれており、「AIを防御する技術」の確立が急務となっています。

しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術のみで対策することは非常に困難です。

そこで本コラムでは「AIセキュリティ超入門」と題し、AIセキュリティに関する話題を幅広く・分かり易く取り上げ、連載形式でお伝えしていきます

なお、本コラムでは、単にAIに対する攻撃手法や想定されるリスクのみを取り上げるのではなく、AIを攻撃から守る方法や気を付けるべきAI開発のポイントなども取り上げていきます。

本コラムが、皆さまのAIセキュリティの理解の一助になれば幸いです。

*1..本コラムにおけるAIの定義
本コラムでは、画像分類や音声認識など、通常は人間の知能を必要とする作業を行うことができるコンピュータシステム、とりわけ機械学習を使用して作成されるシステム全般を「AI」と呼称することにします。

第2回 ~ AIを騙す攻撃 - 敵対的サンプル - ~

カテゴリ: beginner

本連載は「AIセキュリティ超入門」と題し、AIセキュリティに関する話題を幅広く・分かり易く取り上げ、連載形式でお伝えしていきます。なお、本コラムでは、単にAIに対する攻撃手法や想定されるリスクのみを取り上げるのではなく、AIを攻撃から守る方法や気を付けるべきAI開発のポイントなども取り上げていきます。

AIセキュリティ超入門のコラム一覧

本コラムは全8回の連載形式になっています。
今後、以下のタイトルで順次掲載していく予定*1です。

  • 第1回:イントロダクション - AIをとりまく環境とセキュリティ -
  • 第2回:AIを騙す攻撃 - 敵対的サンプル -
  • 第3回:AIを乗っ取る攻撃 - 学習データ汚染 -
  • 第4回:AIのプライバシー侵害 - メンバーシップ推論 -
  • 第5回:AIの推論ロジックを改ざんする攻撃 - ノード注入 -
  • 第6回:AIシステムへの侵入 - 機械学習フレームワークの悪用 -
  • 第7回:AIの身辺調査 - AIに対するOSINT -
  • 第8回:セキュアなAIを開発するには? - 国内外のガイドライン -
*1..順次掲載していく予定
予告なしにタイトルは変更される可能性もあります。ご了承ください。

本記事の概要

第1回では、イントロダクションとして、AIを取り巻く環境とセキュリティについて全体像を解説いたしました。

本記事は連載第2回目として、「AIを騙す攻撃 -敵対的サンプル-」と題し、映像や音声などAIへの入力データに対して細工をすることによって、意図的にAIを誤認識させる攻撃手法と防御手法の現状についてまとめています。

第3回 ~ AIを乗っ取る攻撃 - 学習データ汚染 - ~

カテゴリ: beginner

本連載は「AI*1セキュリティ超入門」と題し、AIセキュリティに関する話題を幅広く・分かり易く取り上げていきます。
本連載を読むことで、AIセキュリティの全体像が俯瞰できるようになるでしょう。

*1:本コラムにおける【AI】の定義
本コラムでは、画像分類や音声認識など、通常は人間の知能を必要とする作業を行うことができるコンピュータシステム、とりわけ機械学習を使用して作成されるシステム全般を「AI」と呼称することにします。

連載一覧

「AIセキュリティ超入門」は全8回のコラムで構成されています。

第1回と第2回は公開済みです。
ご興味がございましたら読んでいただけると幸いです。

本コラムの概要

本コラムは第3回「AIを乗っ取る攻撃 - 学習データ汚染 -」です。

本コラムでは、攻撃者が細工したデータを学習データに注入し、これを攻撃対象のAI(以下、標的AI)に学習させることで標的AIの推論結果を操る攻撃手法である「学習データ汚染」を取り上げます。

本攻撃は防御が難しく、また攻撃の検知も難しいため、被害者は攻撃を受けていることに気付くことすら困難な攻撃です。
そこで本コラムでは、この厄介な学習データ汚染攻撃のメカニズムと防御手法の現状について纏めていきます。

第4回 ~ AIのプライバシー侵害 – メンバーシップ推論 – ~

カテゴリ: beginner

本連載は「AI*1セキュリティ超入門」と題し、AIセキュリティに関する話題を幅広く・分かり易く取り上げていきます。
本連載を読むことで、AIセキュリティの全体像が俯瞰できるようになるでしょう。

*1:本コラムにおける【AI】の定義
本コラムでは、画像分類や音声認識など、通常は人間の知能を必要とする作業を行うことができるコンピュータシステム、とりわけ機械学習を使用して作成されるシステム全般を「AI」と呼称することにします。

連載一覧

「AIセキュリティ超入門」は全8回のコラムで構成されています。

第1回〜第3回は公開済みです。
ご興味がございましたら読んでいただけると幸いです。

本コラムの概要

本コラムは第4回「AIのプライバシー侵害 - メンバーシップ推論 -」です。

本コラムでは、攻撃者が攻撃対象のAI(以下、標的AI)に正常な入力データを与え、標的AIから応答された分類結果を観察することで、入力したデータが標的AIの学習データに含まれているか否かを推論する攻撃手法である「メンバーシップ推論攻撃(Membership Inference Attacks)」を取り上げます。

仮に標的AIが顔情報や医療情報、ライフスタイルに関する情報といった機微情報を含むデータを学習していた場合、メンバーシップ推論が行われることで、情報漏えいやプライバシー侵害が発生することになります。

そこで本コラムでは、標的AIの学習データを推論するメンバーシップ推論攻撃のメカニズムと防御手法の現状について纏めていきます。