TOP

セキュアAI研究所

コラム

お問い合わせ

研究メンバー

運営会社

RSS feed Atom feed

セキュアAI研究所

- AIセキュリティに関する最新論文・技術紹介ブログ -

Adversarial Attacks and Defense on Texts: A Survey multi-level&defence編

カテゴリ: NLP adversarial

概要

NLPのadversarial attack, defenseのサーベイ論文。 画像や音声など入力に微弱なノイズを加えるわけではなく、文字や単語、文単位での入れ替えなど、実際の文章に対して変換を加えるものに限定している。

Adversarial Attacks and Defense on Texts: A Survey sentence-level編

カテゴリ: NLP adversarial

概要

NLPのadversarial attack, defenseのサーベイ論文。 画像や音声など入力に微弱なノイズを加えるわけではなく、文字や単語、文単位での入れ替えなど、実際の文章に対して変換を加えるものに限定している。

Membership Inference Attacks On Neural Networks

カテゴリ: steal leakage

概要

ブラックボックス設定で(DNNベースの)分類器の学習データを推論する攻撃手法。
その名も「Membership Inference Attacks(メンバーシップ推論攻撃)」。

攻撃対象の分類器(以下、標的分類器)に正常な入力データを与え、標的分類器から応答された分類結果を観察することで、入力したデータが分類器の学習データに含まれているか否か(=メンバーシップか否か)を特定することができる。仮に、顔情報やライフスタイルに関する情報といった高度なプライバシー情報を学習した分類器に対してメンバーシップ推論攻撃が行われた場合、プライバシー侵害が発生することになる。一例として、近年プライバシーや自由の侵害などを理由に反対意見が増加している「顔認識技術を含む集団監視システム」のメンバーシップが推論された場合、匿名を条件に顔画像などを提供した人物に不利益が生じることになるだろう。筆者の知る限り、2016年頃から同種の攻撃手法は知られているが、医療データや顔画像・音声などを学習した分類器が登場してきた近年、改めて注目が集まっていると考える。