統計学入門メモ（第2章_vol2_ヒストグラム操作）

やったこと

ヒストグラムの色を変える(もうggplot2使った方がいいような・・）
度数分布表データを算出する
累積度数グラフを書く
ローレンツ曲線を書く

ざっと読んでキーワード収集

階級値、相対度数、累積度数、累積相対度数、双峰型、単峰型、層別、歪んだ分布（感覚とは逆に歪むので注意）
スタージェスの公式（目安となる階級数を求める）
$$ k = \frac{(log_{10}n)}{log_{10}2} $$

使ったデータ

R標準のdata()で出てきたサンプルデータを利用しました
LinkDataも良いんですが、地図データが多い印象で今回の記事での応用方法が分からず・・・。
leafletで使うと多分超楽しい

Rで実施

普通にヒストグラムを書く

hist(sunspot.year)

もうちょっと細かく見たり、色をつけてみたい。

hist(sunspot.year,breaks=50, col = "orange", border="red")

階級数、階級値、度数、相対度数、累積度数、累積相対度数を求める

参考ページより、hist(データ,plot=F)とすると、
度数分布表のデータが得られる。

hist(sunspot.year,plot=F)
$breaks
 [1]   0  20  40  60  80 100 120 140 160 180 200

$counts
 [1] 87 61 44 39 21 18 10  7  0  2

$density
 [1] 0.0150519031 0.0105536332 0.0076124567 0.0067474048 0.0036332180 0.0031141869 0.0017301038
 [8] 0.0012110727 0.0000000000 0.0003460208

$mids
 [1]  10  30  50  70  90 110 130 150 170 190

$xname
[1] "sunspot.year"

$equidist
[1] TRUE

attr(,"class")
[1] "histogram"

出力結果を抜粋して、意味は以下の通り

変数名	意味
$breaks	階級の区切り
$counts	度数
$mid	階級値

相対度数は度数の割合を出す。
累積度数、累積相対度数は度数、相対度数を順に足して行けばOKなので、

# 度数を変数に
sun_counts <- hist(sunspot.year,plot=F)$counts
# 相対度数
sun_relative_freq <- sun_counts / sum(sun_counts)
sun_relative_freq
 [1] 0.301038062 0.211072664 0.152249135 0.134948097 0.072664360 0.062283737 0.034602076
 [8] 0.024221453 0.000000000 0.006920415
# 累積度数
sun_cumulative_freq <- cumsum(sun_counts)
sun_cumulative_freq
 [1]  87 148 192 231 252 270 280 287 287 289
# 累積相対度数
sun_cumulative_relative_freq <- cumsum(sun_relative_freq)
sun_cumulative_relative_freq
 [1] 0.3010381 0.5121107 0.6643599 0.7993080 0.8719723 0.9342561 0.9688581 0.9930796 0.9930796
[10] 1.0000000

累積度数グラフを書いてみる

なんかそれっぽいの出てきた。
累積のbarplotとlinesをまとめて表示。

barplot(sun_cumulative_freq)
lines(sun_cumulative_freq)

ヒストグラムと並べてみる

う、うーん。
並べる意味あんのかこれ。

par(mfrow=c(2,1))
hist(sunspot.year,breaks=50, col = "orange", border="red")
plot(sun_cumulative_freq,,"l")

ローレンツ曲線を描いてみる

r-de-rさんにご指摘いただいて図を修正

データ数1000個で偏りのあるサンプルデータを生成しました。
生成方法はrnormを調整して適当に。
標準偏差は150で固定

1.ヒストグラムが左に歪むもの

# 900個のサンプルデータを値高めの800で
high_data <- abs(rnorm(900,800,150))
# 100個のサンプルデータを値低めの300で
low_data <- abs(rnorm(100,300,150))
# データ結合してヒストグラムを書く
hist(c(high_data, low_data))
# ローレンツ曲線を書く準備
x <- cumsum(hist(c(high_data, low_data),plot=FALSE)$counts / sum(hist(c(high_data, low_data),plot=FALSE)$counts))
y_tmp <- hist(c(high_data, low_data),plot=FALSE)$counts * hist(c(high_data, low_data),plot=FALSE)$mids
y <- cumsum(y_tmp / sum(c(high_data, low_data)))
# 描画
plot(x,y,type="l",xlab="data_count",ylab="data_value")
# par(new=T)
# plot(0:1,0:1,type="l",col="blue")
# 高水準のplot関数にlinesで線を追加する事で軸が二重に描画されないようにする
lines(0:1,0:1,col="blue")

ヒストグラム

ローレンツ曲線

青はy=xの格差がない状態
黒がローレンツ曲線
想定通りの線がでました

2.ヒストグラムが右に歪むもの

※データの作り方だけ異なり、ほかは同様

# 100個のサンプルデータを値高めの800で
high_data <- abs(rnorm(100,800,150))
# 900個のサンプルデータを値低めの300で
low_data <- abs(rnorm(900,300,150))
# その他のコマンドは同様

ヒストグラム

ローレンツ曲線

3.ヒストグラムがほぼ左右対称になるもの

mid_data <- rnorm(1000,500,150)
hist(mid_data)

ヒストグラム

ローレンツ曲線

ほぼまっすぐになると思ったのだが、分布の歪みがどうあれ格差があるのでこの結果は妥当なのかな。

4.一様な分布の場合

runif関数をつかって395から405の間でほぼ一様な分布を作る

uniform_data <- as.integer(runif(1000,395,405))
hist(uniform_data)

ヒストグラム

ローレンツ曲線

ほぼ一致

学べた事

分布からサンプルデータを求める方法
ローレンツ曲線の特性
- 右に歪む場合上に凸になると思っていた・・・。

思ったこと

ヒストグラムと累積度数グラフの使い分けはいつ？
双峰型データの検知は階級数を高めればわかるのか？実データで試したい。
- 確認出来なかったので次やりたい。

今回使ったRコマンド

※別途1記事にまとめて行きます。

参考資料

統計学入門 (基礎統計学)
Rによる優しい統計学
 岩波データサイエンスvol1
LinkData
トライフィールズRデータ一覧
 leaflet
はじめてのR（その４）
統計解析フリーソフト R の備忘録頁 ver.3.1 55. 複数の図