PRML復活の呪文 part23 (6.1 - 6.3.1)
TL;DR ある2つの入力$x, x'$の特徴ベクトルが$ \phi(x), \phi(x') $だとしたとき、 カーネル関数は$k(x, x') = \phi(x)^T \phi(x') $（...
0
0
Comment0
25 search resultsShowing 1~20 results
Stocked
You need to log-in
新世代GPUで古いバージョンのChainer (v1.24) を使う
背景 私は製造業の研究職です。少し前より深層学習モデルを用いた外観検査システムを運用しており、システムのGPUにはQuadro P6000 (Pascal世代), 深層学習ライブラリにはChai...
0
2
Comment0
PRML復活の呪文 part22 (5.7 - 5.7.3)
TL;DR ベイズ的な考えでニューラルネットワークを解きたいので、重み$w$の事前分布や条件付き確率$p(t|x)$に分布を導入する 分布を導入するとニューラルネットワークの非線形性の影響で数学...
0
0
Comment0
PRML復活の呪文 part21 (5.6)
TL;DR 条件付き分布$ p(t|x) $がガウス分布と大きく離れていると通常のニューラルネットネットはうまくいかない この場合、$ p(t|x) $にパラメトリックな混合モデルを仮定し、混合...
0
0
Comment0
PRML復活の呪文 part2 (1.2 - 1.2.3)
TL;DR 最尤推定＝尤度（パラメータを固定したときに観測値が得られる確率）を最大にするパラメータを推定値とするやり方 MAP推定＝尤度に事前確率（観測値を観測する前にパラメータはこれぐらいの値...
4
4
Comment0
PRML復活の呪文 part20 (5.4 -5.5.7)
TL;DR ニューラルネットワークを使っても過学習の問題は起こるので、これを避けるために色々なアプローチがある 5.4 ヘッセ行列 省略 5.5 ニューラルネットワークの正則化 ニューラルネット...
1
0
Comment0
PRML復活の呪文 part19 (5.2.1 -5.3.4)
TL;DR 誤差関数の値が小さくなるニューラルネットワークの重み$w$を求めるには$w$の勾配$ \nabla E(w) $を計算する必要がある $ \nabla E(w) $を効率よく求める方...
2
0
Comment0
PRML復活の呪文 part16 (4.3 - 4.3.6)
TL;DR 識別モデルでは事後確率をそのままシグモイド関数/ソフトマックス関数でモデル化する。重み$w$は負の対数尤度（誤差）最小化で求める、という進め方はこれまでと同じ。 ただし、誤差最小の点...
1
1
Comment0
PRML復活の呪文 part18 (5.1 -5.2)
TL;DR 複数の「層」の重み$w$と非線形関数を使って入力$x$から所望の出力$y$を得ようとするモデルがニューラルネットワーク 重み$w$を推定するための準備として誤差関数を導出する 5 ニ...
0
0
Comment0
（今さらだが）Mask R-CNNについて勉強したまとめ
Mask R-CNNでは何ができるの？ 画像中のどこに検出したい対象（e.g. 人、車）があるかをピクセル単位で検出し、かつ、対象のクラス（e.g. 人）が複数個映っている場合はそれらを分けて判...
8
12
Comment0
PRML復活の呪文 part17 (4.4 - 4.5.2)
TL;DR ガウス的なアプローチで、予測分布を出したいときは事後確率分布をパラメータ$w$に関して積分する計算が必要。だが、事後確率分布がシグモイド関数/ソフトマックス関数がごちゃごちゃするよう...
1
0
Comment0
PRML復活の呪文 part15 (4.2 - 4.2.4)
TL;DR クラスの条件付確率密度$p(x | C_k)$がパラメトリックであれば最尤推定が使える クラスの条件付確率密度にガウス分布を仮定し、さらにガウスの共分散がすべてのクラスで同じならば、...
4
0
Comment0
PRML復活の呪文 part14 (4.1.5 - 4.1.7)
TL;DR 最小二乗で求めた識別関数の重みベクトル$w$はよくなかったが、クラスの平均間の距離を大きく、かつ、各クラスの分散は小さくする、というフィッシャーの手法を使うといい感じの$w$が得られ...
2
0
Comment0
PRML復活の呪文 part13 (4.1 - 4.1.4)
TL;DR $K$クラスの識別を行うには、2クラスの識別関数を$K$個使えばよい。 識別関数の重みベクトル$w$を最小二乗法で求める方法はいい方法ではない。 4章「線形識別モデル」の準備 3章で...
2
1
Comment0
PRML復活の呪文 part12 (3.5 - 3.6)
TL;DR ハイパーパラメータをどうやって決める？ ⇒ 周辺対数尤度（＝モデルエビデンス）を最大にするようなハイパーパラメータの値を推定値とする方法があり、エビデンス近似という 3.5 エビデン...
4
0
Comment0
PRML復活の呪文 part11 (3.4)
TL;DR いろいろな複雑さのモデルから最も良いモデルを選択する際にモデルエビデンスを使うと、データへのフィッティング度合いとモデルの複雑さのバランスをとったモデルを選ぶことが出来る 3.4 ベ...
2
0
Comment1
PRML復活の呪文 part10 (3.3 - 3.3.3)
TL;DR 線形回帰モデルをベイズ的に扱うことにより、回帰モデルの重み$w$の事後分布や予測値$t$の事後分布が得られる 3.3 ベイズ線形回帰 解こうとする問題に合わせてモデルの複雑さ（基底関...
1
0
Comment0
PRML復活の呪文 part9 (3.1.4 - 3.2)
TL;DR 過学習を防ぐため、誤差関数に正則化項をいれてもよい 正則化が強い予測モデルでは、真の関数へのフィッティング度合いが下がるが、異なる学習データセットで得られた複数の予測モデルごとのばら...
3
1
Comment0
PRML復活の呪文 part8 (3.1 - 3.1.3)
TL;DR 入力$x$に対して非線形な基底関数とパラメータ$w$の線形結合で表される線形モデルを考える パラメータ$w$の誤差最小二乗の最尤推定は正規方程式と呼ばれる式で得られる 3 線形回帰モ...
3
2
Comment0
PRML復活の呪文 part7 (2.3.7 - 2.5.2)
TL;DR スチューデントのt分布は見た目はガウス分布と似ているが外れ値の影響を受けにくい。 （単一の）ガウス分布などパラメトリックな分布では表現が難しい分布は混合ガウス分布やノンパラメトリック...
2
1
Comment0
25 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles