本記事は，京都大学人工知能研究会KaiRAのAdvent Calender 8日目の記事です．
概要
ニューラルネットワークの過学習を抑制する方法として代表的なのが，Dropout（ドロップアウト）と呼ばれる手法です．
この記事のメインテーマであるDropconnect（ドロップコネクト）は，Dropoutを一般化した手法です．
Dropconnectを提案した以下の論文などを参考にしながら，解説していきます．
前提
ここでは，入力を$v=(v_1,v_2,\cdots,v_n)\top$，出力を$r=(r_1,r_2,\cdots,r_d)^\top$とする1層の全結合層を持つ，次式のようなニューラルネットワークを考えます．
r = a(v) = a(Wv) \tag{1}
ここで$a(\cdot)$は活性化関数（もちろん非線形な関数），$W\in\mathbb{R}^{d\times n}$はニューラルネットワークのパラメータです．ただし$W$にはバイアスも含んでおり，$v_n$は常に1とします．
Dropoutとは何だったか
Dropoutはニューラルネットワークにおける過学習に対する対策として，2012年にHintonらの論文で提案されたものです．
Dropoutでは層の各ノードを，確率$p$で残し，確率$1−p$で消します（ゼロにする）．
今考えているニューラルネットワーク$(1)$で，中間層と出力層の間にDropoutを挟んだ場合は下図のようになります．
中間層からの出力のうち，$p=2/3$を残し，$1−p=1/3$をゼロにしています．
このことを数式で書くと，次式のようになります．
r = m * a(Wv) \tag{2}
ここで$m\in\mathbb{R}^d$は要素がすべて0 or 1であるマスクベクトルで，$*$は要素ごとの積を表します．出力値に対して1を掛ければそのノードは生き残ることになるし，0を掛ければそのノードは死んだことになるわけですね．
なお，Dropoutでは生き残るノードと死ぬノードを確率的に決めるので，$m$の各要素$m_j\ (j=1,\cdots,d)$はベルヌーイ分布に従います．
m_j\sim Bernoulli(p)
このサンプリング処理は，論文の実装ではForward計算ごとに行っているようです（論文内Algorithm 1を参照）．
【本題】Dropconnectとは
Dropoutではノード（出力値）を消していましたが，Dropconnectではエッジ（重み）を消します．
名前のとおりですね．
- Dropout：outputを消す
- Dropconnect：connectionを消す
イメージはこんな感じです．
数式で表すと，次式のようになります．
r = a((M*W)v) \tag{3}
$M\in\mathbb{R}^{d\times n}$はすべての要素が0 or 1であるマスク行列で，$*$は要素ごとの積です．Dropoutと同じ考え方で，重み$W$の要素に1が掛かればその重みは生き残り，0が掛かればその重みは死ぬことになります．
またDropout同様，$M$の要素はベルヌーイ分布に従います．
ところで上の図で$w_{11}=w_{21}=0$とし，その他は生き残してやるとどうなるでしょうか？
※ただし，活性化関数はReLUやtanhなどのように$a(0)=0$であるとします．
実は，結局Dropoutと同じことになります．なぜなら，
r_1 = a(w_{11}v_1 + w_{21}v_2) = a(0\cdot v_1 + 0\cdot v_2) = a(0) = 0
となり，1番上のノードが消えていることになるからです．
これが「DropconnectはDropoutの一般化」と冒頭で述べた理由です．
推論時はどうするか
今まで述べてきたのは，学習時の話です．
推論するときにはすべてのノード（エッジ）を使用するのですが，「すべてのノード（エッジ）を使う」だけでは不十分です．なぜなら，学習時は割合$p$のノード（エッジ）でbackpropagationを行っている一方，推論時は割合1のノード（エッジ）を使っているため余計な大きい値が出力されてしまいます．
よって，学習時と推論時で「出力の濃さ」を揃えてあげる必要があります（学習時は出力が"薄い"，推論時は出力が"濃い"です）．
そこで，「学習時を濃くする」or「推論時を薄くする」の2択があるわけですが，PyTorchのtorch.nn.Dropoutの実装では「学習時を濃くする」を採用しています．つまり，$\frac{1}{1-p}$を出力に対して学習時にかけているということです．
実装
残念ながら，PyTorchでDropconnectを実装するには手動でやるしかなさそうです．
※nn.Dropout()はあります．
import torch
import torch.nn.functional as F
class DropConnect:
def __init__(self, layer, drop_rate=0.5):
self.drop_rate = drop_rate
self.layer = layer
self.mask = None
def forward(self, x, training=True):
if training and (0.0<self.drop_rate<1.0):
keep_rate = 1.0 - self.drop_rate
W = self.layer.weight
t = torch.rand_like(W).to(W.device)
t += keep_rate
mask = t.floor()
dropped_W = mask * W
x = F.linear(x, dropped_W, self.layer.bias)
return x
else:
return x
使い方は単純で，
class MLPClassifier(nn.Module):
def __init__(self, drop_rate):
....
self.fc1 = nn.Linear(784, 256)
self.dropconnect1 = DropConnect(self.fc1, drop_rate)
...
という感じです．