本稿は、「今井秀樹(1984) 『情報理論』昭晃堂」の第一章を簡単にまとめたものである。
1. 情報理論とは
1.1 情報の伝達
情報理論とは、情報の伝達をいかに効率よく、そして信頼性高く行うかに関する理論である。情報が伝達されれば、受け手の知識によって構成される世界に変化が起きる。この受け手の世界の変化が情報の伝達の本質的な点である。
情報理論においては、この受け手の世界の変化をある集合に対する確率分布の変化として表す。(逆に言えばそのように表せるものに理論の適用範囲を制限する。)
1.2 通信システムのモデル
通信は、
情報源→符号化→通信路→復号→宛先
という過程を経て行われる。これらの過程について説明する。
情報源とは、文字通り情報を発信する源である。ここから情報は生まれる。情報源から発せられる対象を通報という。英語や数字のように離散的なものをデジタル通報、音やテレビのような連続的な量をアナログ通報という。
情報は通信路を介して、宛先へ送られる。通信路には何らかの雑音やひずみが存在し、情報が誤って伝えられることもある。一般に通報はそのまま通信路に入力できず、何らかの変化をする必要があり、その変換を符号化と呼ぶ。そして、通信路の出力を通報に戻す操作のことを復号と呼ぶ。
1.3 符号化
符号化には、大きく分けて2種類の方法がある。
一つは、情報源の統計的性質を利用して、通信の効率化を図る方法で、一般に情報源符号化と呼ばれる。（例：英文を0と1の列に変換して送るとき、使用頻度の高い文字に（E,T,A,Oなど）短い符号を割り当て、逆に頻度の低い文字(Z,Q,J,Xなど)に長い符号を割り当てる。）
もう一つは、通信路の雑音や誤りに対処して高信頼化を図る方法で、一般に通信路符号化と呼ばれる。（例：010と送りたいときに、000111000と3回繰り返して送る。）
そして情報理論とは、この情報源符号化と通信路符号化をいかに行うべきか、またその限界はどこか、ということに関する理論である。