今更ながら確率系の勉強をしていて、諸々の表記法がごちゃごちゃして分からなくなってきたので整理してみます。
独学なので厳密な定義や表記には誤りがあるかもしれません。気がついたら適宜ご指摘いただけると幸いです。

条件付き確率

$P\left(A|B\right)$

事象$A$と事象$B$
事象$B$が起こったときに事象$A$が起きる確率

$P\left(A|B\right) = \dfrac{P(A\cap B)}{P\left(B\right)}$
と定義される

同時確率

$P(A,B)$
事象Aと事象Bが同時に起こる確率

$P(x=a,y=b)$
の様にx=aかつy=bになる確率、といった表記で利用することもある

$E_{p\left( x\right)}\left[ x\right] $
や
$\langle x\rangle _{p\left( x\right) }$
確率$p\left( x\right)$での$x$の期待値

$x\sim p$
$x\sim p(x)$

確率$p(x)$のもとで$x$を取り出すこと

$A\perp B$

私が書籍でみたものは縦棒が2つなのですが、LaTexでの表現方法が分からず。。

事象Aと事象Bの発生がお互いに影響しないこと。

$p(x)$
大文字の$P$だと一般的に確率を示すが、
小文字の$p$は一般的に確率密度関数を示す。

$\mathcal{N}(x| \mu,\sigma^2)$
または$x|$を省略して
$\mathcal{N}(\mu,\sigma^2)$

ガウス分布または正規分布と呼ぶ

$\sigma^2$は分散
$\mu$は平均値