AI/機械学習を学ぶ中で気になった用語集【随時更新】

随時追加、整理します。

数学関連

ヒンジ(hinge)
統計量の1種。
四分位数の簡易な求め方として、中央値より上の値の中央値と、中央値より下の値の中央値を使う場合があり、この値のことをヒンジと呼ぶ。

シグモイド関数
あらゆる入力値を0.0～1.0の範囲の数値に変換して出力する関数

潜在変数
統計学において、直接は観察されないが、観測された他の変数から推定される変数を意味する。

主成分分析
相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法。データの次元を削減するために用いられる。

線形回帰の過学習を抑制する方法

Ridge回帰
正則化された線形回帰の一つで、線形回帰に「学習した重みの二乗の合計（L2正則化項）」を加えたもの
Lasso回帰
正則化された線形回帰の一つで、線形回帰に「学習した重みの合計（L1正則化項）を加えたもの
Elastic Net
リッジ回帰とLasso回帰の折衷案で「Lasso回帰のモデルに取り込める説明変数の数に制限がある」という問題点をカバーできる方法

機械学習

ニューラルネットワーク
人間の脳内にある神経細胞（ニューロン）とそのつながり、つまり神経回路網を人工ニューロンという数式的なモデルで表現したもの。
機械学習や深層学習（ディープラーニング）などを学ぶ際に知っておくべき基本的な仕組み。
入力層、出力層、隠れ層から構成され、層と層の間には、ニューロン同士のつながりの強さを示す重み「W」がある。

CNN
畳み込みニューラルネットワーク（Convolutional Neural Network)

RNN
再帰型ニューラルネットワーク（Recurrent Neural Network)
ニューラルネットワークを拡張して時系列データを扱えるようにしたもの

回帰
未知のデータまで予測する。

分類
すでにあるデータを分ける。

機械学習のパラメータ更新方法

バッチ学習
学習に用いるデータ全てで勾配を計算した後にモデルのパラメータを更新する手法。
ミニバッチ学習
一度のパラメータを更新に用いるデータの数はバッチサイズと呼ばれる人手で設定するハイパーパラメータによって決定
オンライン学習
学習データ1つごとにモデルのパラメータを更新する手法。

Kaggle

多くのデータサイエンティストが参加するデータ分析コンペ。Kaggleチュートリアル
日本企業でもメルカリが「適正な販売価格の予測」のコンペなどを開催している。
Kaggle メルカリ価格予想チャレンジの初心者チュートリアル

Kernels
初心者向け機能。
各データセットに対して他のユーザーが構築した予測モデルのコードや説明が公開されている。

Discussion
世界中のデータサイエンティスト・機械学習実装者とのコミュニケーションが可能。

SIGNATEとの違い
大きな違いは「日本語」で記載されているのか「英語」で記載されているのか。
コーディングの環境が用意されていない。他の参加者の実装内容が公開されていない

その他

ティッカーシンボル
欧米などで金融商品取引所に上場する銘柄を識別するために付けられるコード

活性化関数
ニューラルネットワークのニューロンにおける、入力のなんらかの合計から、出力を決定するための関数で、非線形な関数とすることが多い。

目的関数、目的変数
最適化問題で、値を変化させるものを変数といいます。
最小にしたい、あるいは最大にしたい値、あるいは関数値のことを目的関数といいます。

アンサンブル学習
個々に別々の学習器として学習させたものを、融合させる事によって、未学習のデータに対しての予測能力を向上させるための学習

ベイズ統計
確率のベイズ的解釈に基づく統計学の分野における理論。主観確率を扱う統計学。
データが不十分でも、”ある事態が発生する確率”を最初に設定（＝事前確率を設定）した後、さらなる情報が得られる度に”ある事態が発生する確率”（＝事後確率）を更新していき、本来起こるであろう事象の確率（主観確率）を導き出す。

GAN（Genera tive Adversarial Networks）
敵対的生成ネットワーク。
教師なし学習で使用される人工知能アルゴリズムの一種。
生成モデルの一種であり、データから特徴を学習することで、実在しないデータを生成したり、存在するデータの特徴に沿って変換できる。

特徴量

特徴量エンジニアリング
今あるデータの特徴量から新しくデータの特徴量を作成する作業のこと

スパース行列(疎行列)
成分のほとんどが零である行列のこと
scipyのスパース行列に変換すると、メモリ削減・処理速度向上の効果がある。