近接勾配法(Proximal Gradient Method)
はじめに 効くか効かないかわからない特徴量が大量にあって、中にはいくつか効くものがきっとある・・・というときに、L1正則化やGroup LASSOが用いられます。これらは微分不可能な点を含むため...
19 search resultsShowing 1~19 results
You need to log-in
はじめに 効くか効かないかわからない特徴量が大量にあって、中にはいくつか効くものがきっとある・・・というときに、L1正則化やGroup LASSOが用いられます。これらは微分不可能な点を含むため...
周辺尤度 ベイズ推定の周辺尤度による表現 復習すると、ベイズ予測分布は \begin{align*} p(X|\{x_n\}) &= \frac{p(X,\{x_n\}_{n=1}^N)...
はじめに JuliaはMITで開発された言語で、2009年に誕生し、2012年に公表されました。開発者はブログ(訳はこちらから引用)で 我々は、オープンソースでリベラルなライセンスの言語がほしい...
はじめに ベイズ推定を学ぼうとしたとき、各種確率分布の定義から共役事前分布やMCMC、変分ベイズ法など、キーワードが多い上に一つ一つが割と重かったり、全体感が掴めていないまま具体的なモデルでのベ...
「ベイズ推定2:正規分布のベイズ推定」に続き、ベイズ推定の解説記事第3回です。 共役事前分布 正規分布のベイズ推定では$\mu$の事前分布として天下り的に正規分布を用いました。実はこれは$\mu...
はじめに 最小二乗法やリッジ回帰(L2正則化最小二乗法)の場合、Leave-One-Out Cross-Validationには解析解があります。導出を久しぶりに追ったのでメモしました。 最小二...
はじめに データが非常に多いときに、サブサンプリングしてデータを少なくしてから機械学習して、確率を予測したいときがあります。 たとえば「広告に対するユーザのアクション(クリックやコンバージョン)...
はじめに 行列の演算は同じことでもいろいろな書き方ができます。いろいろな書き方ができるということは、いろいろな解釈ができるということで、パズルみたいで面白いです。 ベクトル ベクトルは値を一列に...
はじめに 機械学習では二次近似あたりまではよく出てきます。ニュートン法は一次近似=ゼロを解いて更新則が導出されますし、ベイズ事後分布の正規分布近似(ラプラス近似)は対数事後分布の二次近似ですね。...
はじめに 機械学習ではトレースノルム正則化やLatent Semantic AnalysisなどでSVDが用いられます。行列が大規模になってくるとフルのSVDを求めるのはとても時間が掛かってしま...
ロジスティック回帰のラプラス近似によるベイズ推定 ロジスティック回帰 特徴量(説明変数)ベクトル$\boldsymbol{x}_n$に対するバイナリ値を取る目的変数値$y_n \in \{0,1...
はじめに 以前『前処理による特異値分解の高速化』を書きました。他の言語で実装したことはあったのですが、最近Juliaの勉強を始めたので試しにJuliaで実装してみました。 通常の特異値分解 Li...
はじめに 機械学習ではPCAやLatent Semantic Analysis(LSA)、隠れマルコフモデルの学習、行列パラメータを持つモデルのトレースノルム正則化で、SVD(特異値分解)が必要...
EMアルゴリズム 変分ベイズ法の前に、ここではEMアルゴリズムについて解説します。 EMアルゴリズムは隠れ変数を持つモデルの最尤推定値を求めるアルゴリズムですが、隠れ変数については分布を推定して...
正規線形回帰モデルのベイズ推定 正規線形回帰モデル 特徴量(説明変数)ベクトル$\boldsymbol{x}_n$に対する目的変数値$y_n \in \mathbb{R}$の組が$N$個得られて...
「ベイズ推定1:条件付確率でわかるベイズ推定」に続き、ベイズ推定の解説記事第2回です。 正規分布のベイズ推定 具体的なモデルでの事後分布の導出に進む前に、少し補足すると事後分布 p(\theta...
はじめに 勾配法の加速法にはいろいろ提案されていますが、ここでは前回書いた近接勾配法の加速にも使えるNesterovの加速法について書きます。 Momentum法 Nesterovの加速法の前に...
はじめに 以前の記事で紹介したRDAのように、L1正則化によりスパース解が得られるオンライン学習アルゴリズムはいろいろ提案されています。今回はRDAに似たアルゴリズムであり、AISTATS 20...
はじめに 前回・前々回の記事では、バッチの近接勾配法とその加速法について紹介しました。バッチの近接勾配法では、各更新のたびに、学習データの全サンプルに対する勾配を求めて更新していました。バッチ勾...
19 search resultsShowing 1~19 results
Qiita is a knowledge sharing service for engineers.