レニィ差分プライバシとは何かについて学ぶ

差分プライバシをより一般化した概念であるレニィ差分プライバシについて学習していこうと思う

きっかけ

卒業研究で必要になったから

定義

参考文献

$$
D_{\alpha}(P||Q)=\frac{1}{\alpha - 1}\log \int_x P(x)^\alpha Q(x)^{1-\alpha}dx \le \varepsilon
$$

ここで、

${P,Q}$は隣接DBを学習したモデルによる出力分布
- 例えば、${{0, 1, 1, 1, 1}}$を学習したモデル$P$において、$p_1=0.8$
- $0, 1, 1, 1$を学習したモデル$Q$において、$p_1 = 0.75$
- これが違いすぎたらプライバシ保護できてないよねってこと
非対称
- ${D_{\alpha}(P||Q) \ne D_{\alpha}(Q||P)}$

情報理論で学んだKL(カルバックレイバー)ダイバージェンスの一般化された形
（懐かしい）

$$
D_{\text{KL}} (P||Q) = \int P(x)\log\frac{P(x)}{Q(x)}dx
$$

導出

レニィダイバージェンスの目的は、隣接DBを学習したモデルの出力結果が違いすぎたらまずい指標を作ること
よって、

まず、あるデータポイントに関するモデルの出力結果の違いを定量的に測る
データポイント全体を集める

モデルの出力結果の違い

$$
\left(\frac{P(x)}{Q(x)}\right)^\alpha
$$

ここで、

$x\sim Q$であり、$Q$が出力分布の基準
$P(z)$は、$\Pr[P(X = z)]$
- つまり、$Q$から出力されるあるデータポイント$x$が、隣接DBを学習したモデル$P$でどれくらいの確率で出力されるか？ということ
- 例えば、先ほどの例で言えば、${P(1)=0.8}$, $Q(1)=0.75$なので、$\left(\frac{0.8}{0.75}\right)^\alpha$

データポイント全体を集める

先ほどの値は、$Q$から出力される一つのデータポイントに過ぎなかったので、それを集める

$$
\begin{equation}
\begin{split}
\mathbb E_{x\sim Q}\left[\left(\frac{P(x)}{Q(x)}\right)^\alpha\right]&=\int\left(\frac{P(x)}{Q(x)}\right)^\alpha Q(x)dx \
&=\int P(x)^{\alpha}Q(x)^{1-\alpha}dx
\end{split}
\end{equation}
$$

忘れていたけど

$$
\mathbb E_{x\sim Q}\left[f(x)\right]=\int\left(f(x)\right) Q(x)dx
$$

の変形に注意（具体的に考えればわかる）

つまり、先ほどの例で言えば$\alpha=1$の時、$\frac{0.8}{0.75}\cdot 0.75 + \frac{0.2}{0.25}\cdot 0.25$ってことですな。