【E資格対策ノート】情報理論(情報量・交差エントロピー・ダイバージェンス)
情報理論の重要な3要素 ➀ 情報量(自己情報量):どれだけ起こりにくいか。起こりにくいことほど、情報量は大きい。 I(x) = -\log p(x) ➁ エントロピー(平均情報量):情報量の期...
11 search resultsShowing 1~11 results
You need to log-in
情報理論の重要な3要素 ➀ 情報量(自己情報量):どれだけ起こりにくいか。起こりにくいことほど、情報量は大きい。 I(x) = -\log p(x) ➁ エントロピー(平均情報量):情報量の期...
最尤法とは 最尤(さいゆう)法とは 観測したデータをもっともらしく説明する確率分布のパラメータを見つけるための方法 大数の法則により、十分なデータがあれば真の値に近づくことが特徴(漸近一致性...
最適化手法とは 最適化手法(Optimizer)は、ニューラルネットワークの学習において損失関数を最小化するためのアルゴリズム。 勾配降下法をベースに、学習の収束速度や安定性を向上させる様々な...
活性化関数とは 活性化関数(Activation Function)は、ニューラルネットワークにおいて、複雑なパターンを学習可能にするための関数。 活性化関数の主な役割は次の3つ: 非線形性の...
固有値・固有ベクトルとは? 行列 $A$ によってベクトル $\mathbf{v}$ を変換しても、 向きは変わらず、長さだけ変わる 場合: A\mathbf{v} = \lambda \ma...
確率分布とは 「ある値がどのくらいの確率で起こるか」を表したもの。 E資格では、主に基本的な離散分布・連続分布を押さえておく必要がある。 期待値と分散 期待値(mean):確率分布の「中心」を...
学習曲線とは 機械学習における学習曲線とは、trainデータ、validationデータそれぞれにおける学習時のパフォーマンスをプロットしたグラフのことである。 一般的な学習曲線のグラフは横軸が...
Anaconda install リンク先にアクセスします。 画面を下へスクロールし、Windows 64-bit用をクリックし、インストール用のexeファイルをダウンロードします。 ダウンロー...
標準化とは 標準化とは、特徴量を標準正規分布(平均を0,分散を1)のスケーリングに合わせる処理のことです。変換の式は、次式となります。 $$ x_{std, i} = \frac{x_i-\mu...
分類と回帰、両方に使える評価手法 ホールドアウト検証 モデルの汎化性能を評価する方法 交差検証(Cross-validation) モデルの汎化性能を評価する手法 分類に使える評価手法 混同行列...
AI, 機械学習, ディープラーニングの違い 機械学習とは 機械学習とは、コンピューターが大量のデータを学習し、分類や予測などのタスクを遂行するアルゴリズムやモデルを自動的に構築する技術。 機械...
11 search resultsShowing 1~11 results
Qiita is a knowledge sharing service for engineers.