久々の投稿です、@kenmatsu4 です ![]()
久々なのですが、新規投稿ではなく今までの記事まとめです ![]()
昨年末くらいにまとめを書くといっていながら半年が経過してしまいましたが、ようやっと公開します。
統計学、機械学習、プログラミング、数学、その他にカテゴリ分けしてみました。
統計学
| カテゴリ | タイトル |
|---|---|
| 一般 | 【統計学】初めての「標準偏差」(統計学に挫折しないために) |
| 統計学に全く親しみがない方向けの標準偏差の解説です。Σ記号の説明から行います。 | |
| 一般 | 統計学基礎の基礎 |
| 統計学の基礎について講義スライドです。(グラフ描画をしたPythonコード付き) | |
| 一般 | 複雑怪奇な正規分布の数式の意味を読み解く |
| 正規分布の数式をよく見ると、この式に意味があることが見えてきます。 | |
| 一般 | 【統計学】正規分布とカイ二乗分布の関係を可視化してみる。 |
| カイ二乗分布は正規分布と密接な関係があります。 | |
| 一般 | 【統計学】中心極限定理のイメージをグラフで掴む |
| 統計学で最も重要な定理と言われる、中心極限定理とは何者かをグラフで解説します。 | |
| 一般 | 【統計学】尤度って何?をグラフィカルに説明してみる。 |
| 読み方も難しい尤度(ゆうど)について説明します。犬度ではありませんw | |
| 一般 | 【統計学】ROC曲線とは何か、アニメーションで理解する。 |
| 小難しい概念であるROC曲線についてアニメーションを交えて解説します。 | |
| 一般 | 【統計学】Q-Qプロットの仕組みをアニメーションで理解する。 |
| さらに小難しい概念であるQ-Qプロットの仕組みをアニメーションを用いて解説します。 | |
| 回帰分析 | Pythonを使った回帰分析の概念の解説 その1 |
| 回帰分析で線を引くロジックがどのような仕組みなのかを解説します。 | |
| 回帰分析 | pythonを使った回帰分析の概念の解説 その2 |
| 回帰分析で線を引くロジックがどのような仕組みなのかを解説します。 | |
| 回帰分析 | Pythonを使った回帰分析の概念の解説 番外編1 |
| 回帰分析で線を引くロジックがどのような仕組みなのかを解説します。 | |
| 回帰分析 | 【統計学】一般化線形混合モデル(GLMM)を理解するための可視化。 |
| 分布が複数使われており複雑な一般化線形混合モデルをアニメーションを使って解説します。 | |
| 回帰分析 | 【統計学】【R】分位点回帰を使ってみる。 |
| 平均ではなく分位点(75%分位点など)を使った回帰分析を紹介します。 | |
| 回帰分析 | 【統計学】外れ値があってもいい感じで回帰直線を引いてみる |
| 外れ値をうまく扱ってくれるRのライブラリの紹介です。 | |
| MCMC | 【統計学】マルコフ連鎖モンテカルロ法(MCMC)によるサンプリングをアニメーションで解説してみる。 |
| MCMCの動作原理をアニメーションを用いて解説します。 | |
| MCMC | 【統計学】ハミルトニアンモンテカルロ法をアニメーションで可視化して理解する。 |
| メトロポリスヘイスティング法を改良した、ハミルトニアンモンテカルロ法をアニメーションを用いて解説した記事です。 | MCMC | 【統計学】stanでロジスティック回帰の実行を割と詳しく解説してみる(w/ Titanic dataset) |
| 同じくMCMCのライブラリStanを使ってみたデモンストレーションです。 | |
| MCMC | 【統計学】MCMCサンプリングのMultiprocessing化 |
| MCMCサンプリングを並列化してマルチコアを有効活用するためのコードの解説です。 | |
| 主成分分析 | 主成分分析PCAを用いて手書き数字を分析する。その1 |
| 手書き数字データセットで主成分分析をやってみます。 | |
| 主成分分析 | 主成分分析PCAを用いて手書き数字を分析する。その2 |
| 手書き数字データセットで主成分文政をやってみます。 | |
| 時系列解析 | Pythonによるパーティクルフィルタの実装と状態空間モデルへの適用 |
| 状態空間モデルを推定するためのオンライン版MCMCであるパーティクルフィルタの仕組みについての解説です。 | |
| 時系列解析 | pythonからdlmを呼び出して時変係数回帰モデルを実行する |
| 時間とともに回帰係数が変化していくようなモデルを状態空間モデルで表現したものです。 | |
| 時系列解析 | 【統計学】[時系列解析] ARMAモデルをひたすらプロットして傾向をつかむ。 |
| 時系列モデルARMAのパラメーターとグラフの形状の関係性をプロットして感覚をつかもうという記事です。 | |
機械学習
| カテゴリ | タイトル |
|---|---|
| 一般 | EMアルゴリズム徹底解説 |
| 混合ガウス分布を題材に、EMアルゴリズムという機械学習界隈では有名なアルゴリズムを丁寧に解説します。 | |
| 一般 | EMアルゴリズム徹底解説(おまけ)〜MAP推定の場合〜 |
| 上記の解説に加え、MAP推定の適用方法について少し解説します。 | |
| 一般 | 確率的勾配降下法とは何か、をPythonで動かして解説する |
| 最適化を行うアルゴリズムの1つ、確率的勾配降下法をアニメーションで解説します。 | |
| 一般 | 【機械学習】LPノルムってなんだっけ? |
| 一見何者かわからないLPノルムを図示することで理解を試みます。 | |
| 一般 | 【機械学習】モデル評価・指標についてのまとめと実行( w/Titanicデータセット) |
| 地味ですが、モデルの性能をきちんと測ることが重要です。そのための解説です。 | |
| 一般 | 【機械学習】OOB (Out-Of-Bag) とその比率 |
| こちらも地味ですが、ブートストラップサンプリングの裏にネイピア数$e$が潜んでいたという興味深い話です。 | |
| 一般 | 多変量正規分布の場合のKullback Leibler Divergenceの導出 |
| カルバックライブラーダイバージェンスの確率モデルに多変量正規分布を適用した場合の計算の詳細について解説しています。 | |
| 手書き数字 | 手書き数字をpythonでもてあそぶ その1 |
| みなさんよく使う手書き数字のデータセットMNISTで遊んでみる記事です。 | |
| 手書き数字 | 手書き数字をpythonでもてあそぶ その2(識別する) |
| テンプレートマッチング法で手書き文字を識別してみます。 | |
| 手書き数字 | 【機械学習】k-nearest neighbor method(k最近傍法)を自力でpythonで書いて、手書き数字の認識をする |
| もっと性能の良い方法k近傍法を使って手書き文字を識別してみます。 | |
| Deep Learning | 【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 |
| さらに性能の良い、Neural Networkを使って手書き文字の識別を行います。 | |
| Deep Learning | 【ディープラーニング】ChainerでAutoencoderを試して結果を可視化してみる。 |
| DeepLearningで使用されるAutoEncoderが何者かを図示して理解を試みます。 | |
| Deep Learning | Variational Autoencoder徹底解説 |
| Deep Learningによる生成モデルの基本的なモデルであるVariational Autoencoder(VAE)について詳細に解説してみました。 | |
| Spark MLlib | 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す |
| Sparkの機械学習ライブラリMLlibを使うための環境設定です。 | |
| Spark MLlib | 【機械学習】Spark MLlibをPythonで動かしてレコメンデーションしてみる |
| MLlibを使ってレコメンデーションを行ってみます。 | |
| Spark MLlib | 【機械学習】Yahoo Newsの記事をMLlibのトピックモデル(LDA)でクラスタリングする。 |
| こちらも話題のトピックモデルをMLlibで試してみます。 | |
| 異常検知 | 【機械学習】「異常検知と変化検知 1章」ネイマンピアソンの補題の式の行間を埋めてみる |
| 異常検知本の数式の行間を埋めてみました。 | |
| 異常検知 | 【機械学習】「異常検知と変化検知」 Chapter 1の図をPythonで描いてみる。 |
| 異常検知本の理解の向上のために、グラフを書いてみました。 | |
| 異常検知 | Rの密度比推定パッケージdensratioをPythonから利用する |
| PythonからRのパッケージを呼び出すrpy2をつかってRの密度比推定パッケージdensratioを使って異常検知をしてみました。 | |
| スパース | 【PyStan】Graphical LassoをStanでやってみる |
| Graphical Lassoは精度行列の事前分布にラプラス分布を設定した多変量正規分布であるということをStanで確かめてみるという記事です。 | |
| まとめ | 機械学習プロフェッショナルシリーズ輪読会スライドまとめ |
| 機械学習の勉強会で使われたスライド集です。良い資料がたくさんあるので、おすすめです! | |
プログラミング
| カテゴリ | タイトル |
|---|---|
| スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その1 | |
| Pythonを使ってTwitterのREST APIを呼び出してデータを保存してみます。 | |
| スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その2 | |
| 取得したTwitterデータからスパムを分離します。 | |
| スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その3 | |
| ある日を境にツイート数が増えた訳を分析してみます。 | |
| スタバTwitterデータ位置情報のビジュアライゼーションと分析 | |
| Twitterにひそむ位置情報の視覚化を行います。 | |
| Twitter Stream APIデータに対して初歩的な感情分析を試みる。 | |
| 日本語評価極性辞書を使って感情の分析を試みます。 | |
| 世界で最も影響力のある100人の技術系ツイッターユーザー情報をpythonで取得する。 | |
| スクレイピングの習作です。 | |
| 便利帳 | 私的Python 便利帳 (随時更新) |
| 私がよく使うPythonの小技を便利帳として貯めています。 | |
| グラフィクス | MacでPythonからアニメーションGIFを生成する環境設定 |
| 私がよく使う手法、アニメーションを生成するための設定方法です。 | |
| グラフィクス | moviepyによる動画変換処理 with ndarray |
| 動画の加工をする手順について解説します。動画をDeep Learningにかけてその結果をさらに動画でアウトプットするときなどに利用します。 | |
| グラフィクス | 【Python】matplotlibによるグラフ描画時のColormapのカスタマイズ |
| グラフの色を絶妙に調整したいときの小技です。 | |
| Cython | Jupyter NotebookでCythonを使う[Python] |
| Cythonによる高速化をJupyter Notebook上で試すための方法の解説です。 | |
| Word Cloud | Word Cloudで文章の単語出現頻度を可視化する。[Python] |
| ある文章に多く表示される単語を一目で理解できるようにする手法の解説です。 | |
| グラフDB | Pythonでグラフデータベース Neo4j入門 for ビギナー (Mac OSX向け) |
| 新しいタイプのデータベースグラフデータベースを試してみました。 | |
| Julia | JupyterでJuliaを動かして回帰分析をやってみる。 |
| 話題のプログラミング言語Juliaでインストールから回帰分析を実行できるまでを解説しました。 | |
数学、その他
| カテゴリ | タイトル |
|---|---|
| 数学 | 【数学】「内積」の意味をグラフィカルに理解すると色々見えてくる その1 |
| 内積は計算はできるけど、絵的なイメージがすぐに思い浮かばない方もいるのではないでしょうか。この記事はグラフィカルに内積を理解するための解説です。 | |
| 数学 | 【数学】固有値・固有ベクトルとは何かを可視化してみる |
| 固有値、固有ベクトルもやはり絵的なイメージがつかみにくいという方もいらっしゃるのではないでしょうか。これもアニメーション多用して解説を試みてみた記事です。 | |
| 数学 | イェンセン(Jensen)の不等式の直感的理解 |
| 確率変数に関するイェンセン(Jensen)の不等式がグラフィカルにどう理解できるかを表してみた記事です。 | |
| 数学 | ピザで理解する分数の割り算の意味 |
| ちょっとした小ネタです・・・、が結構お気に入りです。 | |
| まとめ | 【Qiita API】[統計学•機械学習] 今までの投稿記事のまとめと分析やってみた。 |
| 少し古いのですが、自分が書いた記事をデータ分析してみました。 | |