【読んだ論文】Differentially Private Model Publishing for Deep Learning

1. どんなもの？
   1. DeepNNのパラメータを、そこから学習データが漏れないように匿名化する研究。匿名化方法としてDifferential Privacy（DP:差分プライバシ）、特に、Concentrated Differential Privacy（CDP）を使っている。本論文は、CDP適用の際問題となるプライバシ配置問題について動的に配置することで、効率的な配置を行い、学習器の精度を向上させた。
2. 先行研究と比べてどこがすごい？
   1. プライバシバジェットの分配をプライバシバジェットを使用せずに行い。学習初期にノイズが集中するようにした。こうすることで、同じプライバシバジェットでもより精度の良いモデルをも構築できた。
3. 技術や手法のキモはどこ？
   1. Concentrated Differential Privacy[9]¹[17]²を使ったこと
      1. 大きな計算の上で、厳密な累積プライバシロスの推定を行うために（to provide tight cumulative privacy loss estimation over a large number of computations.）
   2. バッチ学習がDPの構成に与える影響を特定し、プライバシの分配を動的に配置するフレームワークをモデルの精度を向上させるために提案した
4. どうやって有効だと検証した？
   1. 自分の提案した４つの手法を比べて
5. 議論はある？
   1. 現実的なプライバシパラメータが見つかっていない
      1. パラメータ（ε、δ、ρ）
      2. エンドユーザへの説明ができない
      3. 提案１はεとδの関係に関して説明能力がある
   2. データ依存性
      1. トレーニングデータによってはDPは無効？[24]³[25]⁴[28]⁵
      2. 現在のDPは単一のユーザに対して、一つの学習結果以外に存在してはいけないが、将来的には複数の学習結果間でDPを保証できる仕組みが必要だろう
   3. プライバシリスクや攻撃に対する回復性
      1. DPニューラルネットはDPの範疇でパラメータを保護する
      2. 攻撃手法
         1. Model inversion attacks（モデル逆推論攻撃）
            1. モデルのパラメータから学習データにアクセスを試みる
         2. Membership inference attacks（メンバシップ推論攻撃）
            1. Membership(会員数)？つまりは、予測の結果からどの程度対象の属性を持つ人物がいるかを推論する攻撃（攻撃なのか？機械学習器の通常営業な気がするんだが）
      3. これらの攻撃がDPによって保護できるか公式の見解はない。また、DeepNNのDPで具体的に何が守れてるのかよくわからない。
      4. 21⁶はDPによるプライバシ推論への上限を保証していることを示した
      5. DPは推論を防ぐものではない。これはDPや一般のプライバシ保護において大きな問題だ
6. 関連研究
   1. 攻撃
      1. [19]⁷[20]⁸ 薬理遺伝学に関しての攻撃。攻撃者の知らない情報に関して、決定木やNNの出力を使って予測する攻撃。
      2. [34]⁹は個人が学習データに含まれるかどうかを推定するMembership inference attackを行った。
      3. [36][^36]は学習時に多少の変更を学習アルゴリズムに加えることで、学習モデルを出力させてしまうようにした。この研究は非常に高い精度と一般性を有していた。加えて[38]¹⁰ではブラックボックスなアクセスだけで、機能的なコピーを作ることに注目した。これは、モデルの学習データの推論に役立つ。
   2. 防御
      1. [33]は分散的にDeepNNを各々のデータで学習させ、選択的に各々が学習中のパラメータを共有するフレームワークを提案した（これが保護手法として有効なのかよく分からない）
      2. [7]はDP-SGD（差分プライバシ確率的勾配法）を提案した。本提案はこれに近い。
         1. DPは機械学習のプライバシ保護におけるデファクトスタンダードになっている。
            1. ロジスティク回帰[10]¹¹[42]¹², SVM[32]¹³
7. 結論
   1. CDPを適応して、プライバシのロスを厳密に計算できるようにした
   2. バッチ処理とプライバシを考慮した手法をはっきりと区別した
   3. 効率的に動的なプライバシ配置を複数のデータセットでできるようにした 次に読むべき論文は？ [7]¹⁴ うっすら読み [38]¹⁰

2016.

---

1. M. Bun and T. Steinke. Concentrated Differential Privacy: Simplifications, Extensions, and Lower Bounds. CoRR, 5 ↩

2. C. Dwork and G. N. Rothblum. Concentrated Differential Privacy. CoRR, 3 2016. ↩

3. B. Hitaj, G. Ateniese, and F. Perez-Cruz. Deep models under the gan: Information leakage from collaborative deep learning. In Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, CCS ’17, pages 603–618, New York, NY, USA, 2017. ↩

4. D. Kifer and A. Machanavajjhala. No free lunch in data privacy. In Proceedings of the 2011 ACM SIGMOD International Conference on Management of Data, SIGMOD ’11, pages 193–204, New York, NY, USA, 2011. ↩

5. H. B. McMahan, D. Ramage, K. Talwar, and L. Zhang. Learning differentially private language models without losing accuracy. CoRR, abs/1710.06963, 2017. ↩

6. A. Ghosh and R. Kleinberg. Inferential privacy guarantees for differentially private mechanisms. CoRR, abs/1603.01508, 2016. ↩

7. M. Fredrikson, S. Jha, and T. Ristenpart. Model Inversion Attacks That Exploit Confidence Information and Basic Countermeasures. In Proc. of ACM CCS, pages 1322–1333, New York, NY, USA, 2015. ↩

8. M. Fredrikson, E. Lantz, S. Jha, S. Lin, D. Page, and T. Ristenpart. Privacy in pharmacogenetics: An end-to-end case study of personalized warfarin dosing. In USENIX Security Symposium, pages 17–32, San Diego, CA, 2014. ↩

9. Shokri, M. Stronati, and V. Shmatikov. Membership Inference Attacks against Machine Learning Models. In IEEE Symposium on Security and Privacy (S&P), 2017. ↩

10. F. Tram`er, F. Zhang, A. Juels, M. K. Reiter, and T. Ristenpart. Stealing Machine Learning Models via Prediction APIs. In USENIX Security Symposium, pages 601–618, Austin, TX, 2016. ↩

11. K. Chaudhuri and C. Monteleoni. Privacy-preserving logistic regression. In Proc of NIPS, pages 289–296, USA, 2008. ↩

12. J. Zhang, Z. Zhang, X. Xiao, Y. Yang, and M. Winslett. Functional mechanism: Regression analysis under differential privacy. Proc. VLDB Endow., 5(11):1364–1375, July 2012. ↩

13. B. I. P. Rubinstein, P. L. Bartlett, L. Huang, and N. Taft. Learning in a large function space: Privacy-preserving mechanisms for svm learning. CoRR, abs/0911.5708, 2009. ↩

14. M. Abadi, A. Chu, I. Goodfellow, H. B. McMahan, I. Mironov, K. Talwar, and L. Zhang. Deep Learning with Differential Privacy. In Proc. of ACM CCS, pages 308–318, New York, NY, USA, 2016. ↩