近接勾配法（Proximal Gradient Method）
はじめに 効くか効かないかわからない特徴量が大量にあって、中にはいくつか効くものがきっとある・・・というときに、L1正則化やGroup LASSOが用いられます。これらは微分不可能な点を含むため...
90
57
Comment8
19 search resultsShowing 1~19 results
Stocked
You need to log-in
ベイズ推定６：周辺尤度
周辺尤度 ベイズ推定の周辺尤度による表現 復習すると、ベイズ予測分布は \begin{align*} p(X|\{x_n\}) &= \frac{p(X,\{x_n\}_{n=1}^N)...
14
12
Comment0
Juliaの開発環境構築
はじめに JuliaはMITで開発された言語で、2009年に誕生し、2012年に公表されました。開発者はブログ（訳はこちらから引用）で 我々は、オープンソースでリベラルなライセンスの言語がほしい...
65
65
Comment0
ベイズ推定１：ベイズ推定はどのように予測を構成するのか
はじめに ベイズ推定を学ぼうとしたとき、各種確率分布の定義から共役事前分布やMCMC、変分ベイズ法など、キーワードが多い上に一つ一つが割と重かったり、全体感が掴めていないまま具体的なモデルでのベ...
17
15
Comment0
ベイズ推定３：共役事前分布
「ベイズ推定２：正規分布のベイズ推定」に続き、ベイズ推定の解説記事第３回です。 共役事前分布 正規分布のベイズ推定では$\mu$の事前分布として天下り的に正規分布を用いました。実はこれは$\mu...
14
11
Comment0
最小二乗法のLeave-One-Out誤差の解析解
はじめに 最小二乗法やリッジ回帰（L2正則化最小二乗法）の場合、Leave-One-Out Cross-Validationには解析解があります。導出を久しぶりに追ったのでメモしました。 最小二...
3
1
Comment0
サブサンプリングデータで機械学習して確率予測する
はじめに データが非常に多いときに、サブサンプリングしてデータを少なくしてから機械学習して、確率を予測したいときがあります。 たとえば「広告に対するユーザのアクション（クリックやコンバージョン）...
5
4
Comment0
いろいろな書き方で親しむ線形代数
はじめに 行列の演算は同じことでもいろいろな書き方ができます。いろいろな書き方ができるということは、いろいろな解釈ができるということで、パズルみたいで面白いです。 ベクトル ベクトルは値を一列に...
4
4
Comment0
テイラー展開の再帰的導出法
はじめに 機械学習では二次近似あたりまではよく出てきます。ニュートン法は一次近似＝ゼロを解いて更新則が導出されますし、ベイズ事後分布の正規分布近似（ラプラス近似）は対数事後分布の二次近似ですね。...
4
3
Comment0
JuliaのKrylovKitパッケージでTruncated SVD
はじめに 機械学習ではトレースノルム正則化やLatent Semantic AnalysisなどでSVDが用いられます。行列が大規模になってくるとフルのSVDを求めるのはとても時間が掛かってしま...
4
1
Comment0
ベイズ推定５：ロジスティック回帰のラプラス近似によるベイズ推定
ロジスティック回帰のラプラス近似によるベイズ推定 ロジスティック回帰 特徴量（説明変数）ベクトル$\boldsymbol{x}_n$に対するバイナリ値を取る目的変数値$y_n \in \{0,1...
8
4
Comment0
Juliaで『前処理による特異値分解の高速化』
はじめに 以前『前処理による特異値分解の高速化』を書きました。他の言語で実装したことはあったのですが、最近Juliaの勉強を始めたので試しにJuliaで実装してみました。 通常の特異値分解 Li...
9
7
Comment0
前処理による特異値分解の高速化
はじめに 機械学習ではPCAやLatent Semantic Analysis（LSA）、隠れマルコフモデルの学習、行列パラメータを持つモデルのトレースノルム正則化で、SVD（特異値分解）が必要...
39
31
Comment0
ベイズ推定７：EMアルゴリズム
EMアルゴリズム 変分ベイズ法の前に、ここではEMアルゴリズムについて解説します。 EMアルゴリズムは隠れ変数を持つモデルの最尤推定値を求めるアルゴリズムですが、隠れ変数については分布を推定して...
5
2
Comment0
ベイズ推定４：正規線形回帰モデルのベイズ推定
正規線形回帰モデルのベイズ推定 正規線形回帰モデル 特徴量（説明変数）ベクトル$\boldsymbol{x}_n$に対する目的変数値$y_n \in \mathbb{R}$の組が$N$個得られて...
2
5
Comment0
ベイズ推定２：正規分布のベイズ推定
「ベイズ推定１：条件付確率でわかるベイズ推定」に続き、ベイズ推定の解説記事第２回です。 正規分布のベイズ推定 具体的なモデルでの事後分布の導出に進む前に、少し補足すると事後分布 p(\theta...
10
5
Comment0
Nesterovの加速勾配法（Nesterov's Accelerated Gradient Method）
はじめに 勾配法の加速法にはいろいろ提案されていますが、ここでは前回書いた近接勾配法の加速にも使えるNesterovの加速法について書きます。 Momentum法 Nesterovの加速法の前に...
48
44
Comment0
近接勾配法のオンライン学習アルゴリズム
はじめに 以前の記事で紹介したRDAのように、L1正則化によりスパース解が得られるオンライン学習アルゴリズムはいろいろ提案されています。今回はRDAに似たアルゴリズムであり、AISTATS 20...
6
6
Comment0
確率的近接勾配法： Regularized Dual Averaging
はじめに 前回・前々回の記事では、バッチの近接勾配法とその加速法について紹介しました。バッチの近接勾配法では、各更新のたびに、学習データの全サンプルに対する勾配を求めて更新していました。バッチ勾...
5
5
Comment0
19 search resultsShowing 1~19 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles