気象庁ホームページのの過去のアメダスデータから、Pythonでデータを取り出すことを考える。例として福岡県八幡の1983年の月ごとの値のページの合計降水量を取得してみる。

Pythonでデータを取り出す(スクレイピングする)方法は色々あるが、ここではpandasのread_htmlを使って簡単にやってしまおう。HTMLを解析する必要はない。

padasを読み込む。

import pandas as pd

URLはこれ。

url="https://www.data.jma.go.jp/obd/stats/etrn/view/monthly_a1.php?prec_no=82&block_no=0780&year=1983&month=&day=&view="

read_htmlを使う。これでWeb内のテーブルが読み込める。

table=pd.read_html(url)

出力はリストで2つ内容が入っていることがわかる。

print(type(table))
print(len(table))

<class 'list'>
2

1番目の中身。

print(table[0])

     月 降水量(mm)               気温(℃)                                 風向・風速(m/s)  \
     月      合計  日最大  最大         平均                      最高      最低       平均風速   
     月      合計  日最大 1時間 10分間   日平均     日最高     日最低      最高      最低       平均風速   
0    1      65   22   9  ///   5.9     9.1     2.6    15.9    -1.0        2.4   
1    2      84   22  10  ///   5.0   8.2 )   1.3 )  14.1 )  -3.9 )        2.4   
2    3     250   47  19  ///   9.0    12.2     5.7    20.3    -0.4        1.9   
3    4     205   59  12  ///  15.3  19.1 )  10.7 )  27.7 )   3.9 )        2.3   
4    5     154   64  20  ///  18.4    22.7    14.2    28.2     9.6        1.8   
5    6     216   77  13  ///  21.5  25.4 )  17.8 )  29.2 )  13.9 )        1.8   
6    7     280  125  20  ///  25.6    28.8    22.8    33.6    17.8        2.6   
7    8     192  110  30  ///  27.2    30.7    24.2    35.1    20.9        2.1   
8    9     212   60  32  ///  24.0    27.4    21.3    31.8    15.6        1.9   
9   10      88   22   7  ///  17.8    21.7    13.9    26.9     7.1        1.5   
10  11      37   23   5  ///  11.3    15.4     7.4    20.1     1.9        2.1   
11  12      45   13   5  ///   6.4   9.2 )   3.0 )  16.1 )  -1.7 )        2.6   

                         日照時間(h) 雪(cm)              
   最大風速      最大瞬間風速      日照時間(h) 降雪の合計 日降雪の最大 最深積雪  
     風速   風向     風速   風向 日照時間(h) 降雪の合計 日降雪の最大 最深積雪  
0     6  西北西    ///  ///   146.6   ///    ///  ///  
1     9  西北西    ///  ///   152.5   ///    ///  ///  
2     7    西    ///  ///   150.7   ///    ///  ///  
3     8  西南西    ///  ///   186.4   ///    ///  ///  
4     8  南南西    ///  ///   246.1   ///    ///  ///  
5     9   南東    ///  ///   220.4   ///    ///  ///  
6     7  南南西    ///  ///   220.8   ///    ///  ///  
7     7  南南西    ///  ///   275.3   ///    ///  ///  
8     7    北    ///  ///   185.5   ///    ///  ///  
9     5  南南西    ///  ///   205.6   ///    ///  ///  
10    7  西北西    ///  ///   188.1   ///    ///  ///  
11    7  西北西    ///  ///   160.5   ///    ///  ///

2番目の中身。

print(table[1])

         0            1          2           3
0  利用される方へ  よくある質問（FAQ）  気象観測統計の解説  年・季節・各月の天候

ということで、1番目の中身が欲しいテーブルだ。そこで、リストの1番目から中身を取りだして、typeを確かめて見れば、pandasのDataFrameになっていることがわかる。

df=table[0]
print(type(df))

<class 'pandas.core.frame.DataFrame'>

コラムの内容を見てみる。

df.columns

MultiIndex([(         '月',       '月',       '月'),
            (   '降水量(mm)',      '合計',      '合計'),
            (   '降水量(mm)',     '日最大',     '日最大'),
            (   '降水量(mm)',      '最大',     '1時間'),
            (   '降水量(mm)',      '最大',    '10分間'),
            (     '気温(℃)',      '平均',     '日平均'),
            (     '気温(℃)',      '平均',     '日最高'),
            (     '気温(℃)',      '平均',     '日最低'),
            (     '気温(℃)',      '最高',      '最高'),
            (     '気温(℃)',      '最低',      '最低'),
            ('風向・風速(m/s)',    '平均風速',    '平均風速'),
            ('風向・風速(m/s)',    '最大風速',      '風速'),
            ('風向・風速(m/s)',    '最大風速',      '風向'),
            ('風向・風速(m/s)',  '最大瞬間風速',      '風速'),
            ('風向・風速(m/s)',  '最大瞬間風速',      '風向'),
            (   '日照時間(h)', '日照時間(h)', '日照時間(h)'),
            (     '雪(cm)',   '降雪の合計',   '降雪の合計'),
            (     '雪(cm)',  '日降雪の最大',  '日降雪の最大'),
            (     '雪(cm)',    '最深積雪',    '最深積雪')],
           )

マルチインデックスのコラム名になってややこしいようであるが、ようはつなげていけば、細目に降りていく。

df["降水量(mm)"]

	合計	日最大	最大
	合計	日最大	1時間	10分間
0	65	22	9	///
1	84	22	10	///
2	250	47	19	///
3	205	59	12	///
4	154	64	20	///
5	216	77	13	///
6	280	125	20	///
7	192	110	30	///
8	212	60	32	///
9	88	22	7	///
10	37	23	5	///
11	45	13	5	///

df["降水量(mm)"]["合計"]

	合計
0	65
1	84
2	250
3	205
4	154
5	216
6	280
7	192
8	212
9	88
10	37
11	45

df["降水量(mm)"]["合計"]["合計"]

0      65
1      84
2     250
3     205
4     154
5     216
6     280
7     192
8     212
9      88
10     37
11     45
Name: 合計, dtype: int64

最後の出力のtypeを確認すると、pandasのSeries形式になっている。

type(df["降水量(mm)"]["合計"]["合計"])

pandas.core.series.Series

後は、インデックスを日付形式にしたり、年でforループを回して連結したり、他の地点に変えたりと、いかようにも扱えるはず。