日本の地震データ
今回は気象省から出ている地震のデータを整形していく。
https://www.data.jma.go.jp/svd/eqev/data/bulletin/shindo.html
フォーマットはこれで、これをみながら整形を進めていく
https://www.data.jma.go.jp/svd/eqev/data/bulletin/data/shindo/format_j.pdf
# データ読み込み
import pandas as pd
df=pd.read_csv('dat/i2019.dat', sep=';', encoding='shift-jis')
# データフレーム出力
df
A2019010104042854 018 432000 061 1460541 097 512009832V 5111 1 27根室半島南東沖 1K
A2019010106533565 020 354111 057 1404558 082 466514635V 5111 3110千葉県東方沖 2K
A2019010110014516 012 320410 031 1315008 065 340410431V 5111 7300日向灘 1K
A2019010118455550 012 241154 057 1241409 057 144816542D38V5111 7290石垣島近海 3K
A2019010118551331 014 241096 061 1241460 061 144819642D40V5111 7290石垣島近海 5K
A2019010200095642 011 385340 030 1420462 064 445210036V 5111 2 66宮城県沖 1K
A2019010207053808 020 354396 049 1401202 072 658116936V 5111 3 92千葉県北西部 12K
A2019010217471388 010 364256 027 1405714 057 321311938D38V5112 3111茨城県沖 19K
A2019010218442606 011 361049 030 1400676 044 513808839D39V5112 3 88茨城県南部 141K
A2019010221255892 013 400770 027 1422849 068 336211638D40V5111 2 61岩手県沖 5K
A2019010223243815 011 385129 031 1420287 070 452111336V 5111 2 66宮城県沖 7K
A2019010317244867 004 332806 013 1321788 013 473103732V 5111 6244愛媛県南予 8K
A2019010317490340 015 365093 040 1411969 087 430613336V 5111 3111茨城県沖 1K
こんな感じのよくわからないデータ😭
まず、根室半島南東沖のところから、二つの違うところからとったデータが一緒に入っていることが推測できる。
formatから、根室半島の行の最初の文字はアルファベットなので、
最初の文字がアルファベットの行だけ表示させる
# 先頭が数字の行のインデックスを格納
drop_index=[]
for i in range(len(df)):
if df['index'][i][0].isdecimal():
drop_index.append(i)
# 数字の行のインデックスを削除
df = df.drop(drop_index)
#df表示
df
A2019010104042854 018 432000 061 1460541 097 512009832V 5111 1 27根室半島南東沖 1K
A2019010106533565 020 354111 057 1404558 082 466514635V 5111 3110千葉県東方沖 2K
A2019010110014516 012 320410 031 1315008 065 340410431V 5111 7300日向灘 1K
A2019010118455550 012 241154 057 1241409 057 144816542D38V5111 7290石垣島近海 3K
A2019010118551331 014 241096 061 1241460 061 144819642D40V5111 7290石垣島近海 5K
A2019010200095642 011 385340 030 1420462 064 445210036V 5111 2 66宮城県沖 1K
A2019010207053808 020 354396 049 1401202 072 658116936V 5111 3 92千葉県北西部 12K
A2019010217471388 010 364256 027 1405714 057 321311938D38V5112 3111茨城県沖 19K
A2019010218442606 011 361049 030 1400676 044 513808839D39V5112 3 88茨城県南部 141K
A2019010221255892 013 400770 027 1422849 068 336211638D40V5111 2 61岩手県沖 5K
A2019010223243815 011 385129 031 1420287 070 452111336V 5111 2 66宮城県沖 7K
A2019010317244867 004 332806 013 1321788 013 473103732V 5111 6244愛媛県南予 8K
A2019010317490340 015 365093 040 1411969 087 430613336V 5111 3111茨城県沖 1K
A2019010318102764 002 330164 008 1303326 009 104403251D49W511C2 7264熊本県熊本地方 522K
A2019010318194870 002 330161 008 1303296 009 106703324V 5111 7264熊本県熊本地方 3K
A2019010318485456 002 330156 007 1303356 008 110903132V 5112 7264熊本県熊本地方 17K
A2019010320282439 015 372166 032 1412666 081 346012138D38V5111 2 69福島県沖 6K
A2019010409571538 012 321168 030 1315757 055 196014329V 5111 7300日向灘 1K
次に各カラムを作り、そこに格納していく。
今回はデータの中で意味のありそうな
['レコード種別ヘッダー','時刻','緯度','経度','深さ','マグニチュード','最大震度','被害規模','津波規模','大地域区分番号','小地域区分番号','震央地名','観測点数']
この１４のカラムをデータフレームに格納していきたい
その時、このformatに従い、インデックスを決めていく
# データフレームに格納
for i in range(len(df)):
df['レコード種別ヘッダー'][i]=df['index'][i][0]
df['時刻'][i]=df['index'][i][1:13]
df['緯度'][i]=df['index'][i][22:28]
df['経度'][i]=df['index'][i][33:40]
df['深さ'][i]=df['index'][i][45:49]
df['マグニチュード'][i]=df['index'][i][53:54]
df['最大震度'][i]=df['index'][i][61:62] #最大震度
df['被害規模'][i]=df['index'][i][62:63]
df['津波規模'][i]=df['index'][i][63:64]
df['大地域区分番号'][i]=df['index'][i][64:65] #大地域区分番号
df['小地域区分番号'][i]=df['index'][i][65:68] #小地域区分番号
df['震央地名'][i]=df['index'][i][68:84] #震央地名
df['観測点数'][i]=df['index'][i][85:95]
このようにすることで、各値を各カラムに格納することができる
最後に時刻を直して、終わり
#時刻の数字の列をdatetime型に格納する
list_dt=[]
for i in range(len(df)):
dt=datetime.datetime(int(str(df['時刻'][i])[0:4]),int(str(df['時刻'][i])[4:6]),int(str(df['時刻'][i])[6:8]),\
int(str(df['時刻'][i])[8:10]),int(str(df['時刻'][i])[10:12]))
list_dt.append(dt)
df['dt']=list_dt
# csvファイルを保存
df.to_csv('earthquake_full.csv')
プログラムと結果と20年分のcsvファイルはgithubに置いてあります。