Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
Help us understand the problem. What is going on with this article?

ディリクレ分布、ディリクレ過程

More than 1 year has passed since last update.

モチベーション

ディリクレ過程混合モデルによるクラスタリングを理解したい。
LDAとかでもディリクレ分布は使うし、今勉強するしかねえ

今回取り組む範囲

ディリクレ分布の理解
ディリクレ過程の理解
まずはこれらの表面をなぞる。

ディリクレ分布

  • wiki
    ディリクレ分布(ディリクレぶんぷ、英: Dirichlet distribution)は、連続型の確率分布である。ベータ分布を多変量に拡張して一般化した形をしており、そのため多変量ベータ分布とも呼ばれる。ディリクレ分布の確率密度関数は、同時に発生することのない $K$ 個の事象がそれぞれ$\alpha_{i}-1$回発生したときに、各事象の起こる確率が ${\displaystyle x_{i}}$である確率を与える(ただし、${\displaystyle \alpha_{i}}$は整数である必要はない)。つまり、試行の回数が無限大なら各事象の発生の相対頻度は ${\displaystyle x_{i}}$になるが、試行回数が有限だと、そこにずれが生じる。そのずれを表すモデルである。

  • wikiを要約
    ベータ分布は二項分布の共役事前分布
    ディリクレ分布は多項分布の共役事前分布
    ディリクレ分布はベータ分布の一般化=多変量ベータ分布

    "同時に発生することのない $K$ 個の事象がそれぞれ$\alpha_{i}-1$回発生したときに、各事象の起こる確率が ${\displaystyle x_{i}}$である確率を与える"のイメージ
    スクリーンショット 2018-07-19 13.15.52.png
    引用元: https://www.slideshare.net/stjunya/ss-29629644

とりあえずふんわりとだけど理解できた。
次はディリクレ過程

ディリクレ過程(Dirichlet Process)

  • そもそもディリクレ過程って何者?
    基底測度と呼ばれる確率分布から離散分布を生成する確率過程。
    イメージ図
    スクリーンショット 2018-07-19 13.33.26.png
    引用元: http://chasen.org/~daiti-m/paper/ieice10npbayes.pdf
    基底測度が1次元上連続分布の場合、生成される離散分布は無限次元の多項分布。 つまり無限次元のディリクレ分布と言える。
    要約:ディリクレ分布の確率分布
  • 用途
    離散分布を生成する。
    イメージ:ディリクレ過程サイコロを振ると離散分布が生成される。

まとめ

  • ディリクレ分布
    • 多項分布の共役事前分布
    • 多変量ベータ分布
  • ディリクレ過程
    • 離散分布を生成する確率過程
    • 無限次元のディリクレ分布

今回はここまで、次は、クラスタリングに触れるとこまで書きたいけど、ノンパラメトリックベイズか続パタ読んでからになりそう

参考文献

http://proc-cpuinfo.fixstars.com/author/takashi-osawa/

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away