応用数学：
「第 1 章：線形代数」
固有値分解：正方行列の場合は、固有値を対角線上に並べた行列Aとそれに対応する固有ベクトルを並べた行列Vについて、AV＝VAとなり、A＝VAV（Vの右上に－1）。これにより、行列の累乗の計算が容易になる。
特異値分解：正方行列以外の行列Mについて、固有値分解に似たことをするためには、
Mv（vの上に→（ベクトル））=σu（uの上に→）
M（右上にT（転置行列））u（uの上に→）＝σv（vの上に→）
という特殊な単位ベクトルがあれば、特異値分解できる。
M=USV（Vの右上に－１）。算出式は割愛するが、例えば、ユーザーがどのような作品（動画など）を好むかを予測し、推薦するといったシステムのアルゴリズムを作成する際などに活用される。

「第 2 章：確率・統計」
事象が発生する頻度（客観確率）に対して、信念の度合いで測るベイズ確率がある。複数の仮説に基づいて尤もらしさ（信念の度合い）を考え、実験や観測によって新しいデータを収集し、それらを組み合わせてベイズの定理によってその確率を改定するもの。スパムメールの発見などにも活用される。
共分散とは、２つのデータ系列の傾向の違いである。確率分布には、ベルヌーイ分布（２種類の結果のみ）、マルチヌーイ分布（複数の結果）、二項分布（ベルヌーイ分布の多試行版）、ガウス分布（釣鐘型の連続分布）がある。

「第 3 章：情報理論」
自己情報量とは、（確率が決まっている）事象に対して定義される量であり、対数の底が２のとき、単位は、bit、対数の底がネイピアのとき、単位は、nat。
エントロピーとは、確率分布に対して定義される量で、シャノンエントロピーとは、自己情報量の期待値であり、すべての情報を得たときに、ゼロになる。
カルバック・ライブラーダイバージェンスとは、同じ事象・確率変数における異なる確率分布P、Qの違いを示し、２つの分布の違いによる情報量の違いを示す。次元削減や機械学習で活用する。交差エントロピーとは、KLダイバージェンスの一部分を取り出したもので、事前に考えていた情報に対して、現実がどれだけかみ合っているかを考えるもの。