気象庁の1日毎の過去の気象データをPythonでスクレイピングしてPostgreSQLにINSERTしてみた

はじめに

やること

• 気象庁の1日ごとの気象データをスクレイピングする
• 取得したデータをPostgreSQLのDBにINSERTする
• 取得するデータは2007年～2022年の「今日」の一日前まで、全国の観測地点でデータがあるところ

環境等

• プログラミング言語: Python3.10
• DBサーバ: Amazon AWS RDB
• 実行環境: Amazon AWS EC2
• スクレイピングに使うライブラリ: BeautifulSoup

参考にした情報

制作にあたり、以下の記事と記載のコードを参考にさせていただきました。

• GoogleColaboratoryで気象庁の過去気象データをスクレイピングしてみた。
• 気象データの観測地点一覧　（2017年3月時点）

やろうと思ったきっかけ

私は写真が趣味でして、撮影するのに天候は重要なわけですが、気象庁などの天気予報はせいぜい１～２ヶ月先がいいところ。しかし、撮影の計画は数ヶ月前から練るもので、この日にしようと思った日がたまたま撮影に適さない天候だったら悲しいわけです。

そこで、最終的な目標を「未来の任意の日付の日地点における天候が、撮影に適しているかを評価する」としまして、まずはそのバックデータを取得することが必要だったわけです。

というわけで、そのバックデータとなる気象データをローカルのDBに落としてこなければならないな、とおもいこんなことを考えました。

...という事もありますが、最近流行のビッグデータでAIで機械学習がどうのこうの、とか、AWSとかいろいろなモノの勉強も兼ねてます。

準備

スクレイピングについて

気象庁の気象データは、なんかをﾁｮﾁｮっと操作すればCSVとかでドガっとデータが得られる...というふうに都合良く行かないので、正攻法では手動でポチポチする必要があります。この辺の話はこちらの記事にわかりやすくまとめてあります。

データが無いならスクレイピングすればいいじゃん！！ってことで、そのやり方もわかったので光明がみえてきました。

データベースについて

スクレイピングしたデータはどこかに仕舞っておく必要がありますね。最近はやりのNoSQLみたいなやつもありますが、昔ながらのリレーショナルデータベースでいきます。
後でやる(予定の)計算とかもRDB側のクエリでなんとかしたいな、って言う思いがあるので、PostgreSQLでやってます。

実行環境について

実行環境は、Amazon RDSとEC2です。オンプレでも仮想環境でもラズパイでも動かせると思います。

取得するデータ

取得する気象データは、今回は１日ごとのデータです。気象庁のサイトから取得できるデータは、次の通りでした。日本語の部分は気象庁のWEBサイトでの表記で、アルファベットの部分は私が勝手に英訳したものです。テーブル名とかになってます。

• 日付: date
• 気圧(hPa)[現地]: pressure_ground
• 気圧(hPa)[海面]: pressure_sea
• 降水量(mm)[合計]: rainfall_amount
• 降水量(mm)[最大(1時間)] : rainfall_max_one_hour
• 降水量(mm)[最大(10分間)]: rainfall_ten_minute
• 気温(℃)[平均]: temperature_ave
• 気温(℃)気温[最高]: temperature_max
• 気温(℃)気温[最低]: temperature_min
• 湿度(％)[平均]: humidity_average
• 湿度(％)[最小]: humidity_min
• 風向・風速(m/s)[平均風速]: windspeed_ave
• 風向・風速(m/s)[最大風速_風速]: windspeed_max_value
• 風向・風速(m/s)[最大風速_風向]: windspeed_max_direction
• 風向・風速(m/s)[最大瞬間風速_風速]: windspeed_max_instant_value
• 風向・風速(m/s)[最大瞬間風速_風向]: windspeed_max_instant_direction
• 日照時間(h): sunshine_hour
• 雪(cm)[降雪合計]: snowfall_amount
• 雪(cm)[最深積雪]: snow_depth
• 天気概況(昼)[06:00-18:00]: weather_overview_daytime
• 天気概況(夜)[18:00-翌日06:00]: weather_overview_night

観測地点に関するデータ

これに加えて、場所を表すコードを使います。観測地点の場所を表しているのだと思います。
観測地点に関する情報は、こちらのサイトにあるものを参考にさせていただきました。

更新されてから時間が経っているようですが、そんなに頻繁にかわるものでもないので、まあ問題ないでしょう。

どこかに最新版ないかな...

テーブル構造

このデータを格納するテーブルの構造を考えます。上記の取得データは１日毎のデータです。これを１レコードとして考えます。地点を表すコードも入れておきます。
地点コードは数字だけで構成されています。地点コードだけだと場所が分かりませんが、別テーブルに地名（と座標）を入れておいて、あとで結合すれば良いでしょう。

というわけで、テーブルを作成するクエリです。

• 主キーは登録順の整数シリアル値で(MySQLでいうAUTO_INCREMENT)、INSERTするごとに自動インクリメントになります。
• 温度、気温、気圧などは小数点を扱える型にします
• 風向き(wind*_direction)は、気象庁のデータでは"北"とか"南南西"とか言う表記になっています。あとで機械学習するときにこれだと不便かもしれないので、北を0度とした360度表記にするので整数型にしています。
• 地点コードは、整数型か文字列を扱える型にするか迷いましたが整数型にしました。たぶん、ソートとかするときラクそうです。
• weather_overview* は、天気概況です。「晴時々曇り」とかそういうのです。文字列として表記してます。試しにスクレイピングしたところ、表記のバリエーションがかなり多いし、長い文字列になる場合もあるので余裕をみておきます。

create_table.sql

CREATE TABLE weather_table(
    id SERIAL PRIMARY KEY ,
    date          DATE,
    prec_no			 INTEGER,
    block_no		 INTEGER,
    pressure_ground  REAL,
    pressure_sea     REAL,
    rainfall_amount  REAL,
    rainfall_max_one_hour  REAL,
    rainfall_ten_minute    REAL,
    temperature_ave  REAL,
    temperature_max  REAL,
    temperature_min  REAL,
    humidity_average  REAL,
    humidity_min      REAL,
    windspeed_ave     REAL,
    windspeed_max_value    REAL,
    windspeed_max_direction  INTEGER,
    windspeed_max_instant_value   REAL,
    windspeed_max_instant_direction  INTEGER,
    sunshine_hour  REAL,
    snowfall_amount  REAL,
    snow_depth   REAL,
    weather_overview_daytime   VARCHAR(200),
    weather_overview_night     VARCHAR(200)
);

その他DB設定

AWS RDBで作成したインスタンスは、デフォルトのユーザが管理者権限をもっています。アプリ(Python)側からこの権限を使うのは危ないので、アプリから接続する専用のユーザを作っておきます。

ちなみに、PostgresSQLでは、ユーザのことをロール(ROLE)と呼ぶそうです。

CREATE ROLE username LOGIN PASSWORD 'password';

作成したテーブルにSELECTとINSERTの権限を付与します。

GRANT SELECT, INSERT ON weather_table TO username;

SERIALのデータ型を使っているので、それを使うための権限も付与します。

GRANT USAGE ON SEQUENCE weather_table_id_seq TO username;

テーブルが出来たので、スクレイピングしたデータを受け入れる準備が整いました。

コードの前に、実行結果

実行例

こんな感じでスクレイピングとデータのINSERTが進んでいきます。

$ python3 weather_scraper.py
weather_scraper.py started!!
fetch failed for 三森山!! wait 10 second.__________________________________________________________.

INSERTしたデータはこんな感じになりました

どれくらい時間がかかるか

どの地点を選択するかにもよりますが、こちらのサイトで紹介されている地点をすべて網羅すると、全行程で３～５日かかるっぽいです。

サーバからBANされないか

コードの所々にsleep()を入れています。sleep()入れないで実行すると、実行途中にサーバ側から接続切られることが多々ありました。とりあえずですが、10秒くらいsleep()入れておけば、サーバ側から切られることが無くなりました。
もしかすると、もうちょっと長くsleep()した方が良いかもしれませんが...

コードの説明

実際に動いているコードを記載します。

部分毎の説明

説明とともにコードを掲載します。（全文通したのは後述）

• 使用するライブラリなど import

.py

from bs4 import BeautifulSoup  

import csv
import json
import requests
import psycopg2
from datetime import datetime 
import codecs
import time

-スクレイピングするURLとよく使う処理

.py

# URLで年と月ごとの設定ができるので%sで指定した英数字を埋め込めるようにします。
base_url = "http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=%s&block_no=%s&year=%s&month=%s&day=1&view=p1"


# 取ったデータをfloat型に返還する。変換できない文字は0.0で代用。
def str2float(str):
    try:
        return float(str)
    except:
        return 0.0


#場所データのcsvファイル名
place_csv_file_name = './place.csv'

#logfile名
logfile_name = "./weather_scraper.log"

#ログファイルに記録する
def printlog(label_str, body_str):
    print(datetime.now(), ',' ,label_str, ',', body_str,
                            file =  codecs.open(logfile_name, 'a', 'utf-8'))

#端末に印字する（文字が流れていかないように1行で上書きする）
def printmsg(msg):
    print('\r___________________________________________________________________________________________________' , end='')
    print('\r%s' % msg, end='')

• DBMSに接続する処理など

.py

#SQLサーバの情報
dbms_hostname = 'xxxxxxxxx.rds.amazonaws.com'
dbms_port = 12345
dbms_database_name ='postgres'

#SQLサーバに接続するためのユーザ名とパスワード情報を保存したファイル名
db_auth_filename = 'auth.json'

#DBの認証情報をファイルから読み取る
def read_auth(filename):
    file = open(filename, "r")
    auth = json.load(file)
    file.close()

    return auth

#DBMSに接続する
def connect_dbms():
    auth = read_auth("auth.json")
    dbms_username = auth['username']
    dbms_password = auth['password']

    con = psycopg2.connect(
        host = dbms_hostname,
        port = dbms_port,
        database=dbms_database_name,
        user= dbms_username, 
        password=dbms_password)
    
    return con

• 方角を0度～360度で表す(北を0度とする)
• 風向きは「北」とか「北北東」とかの文字列で取得されるので、0度を北としたときの角度で表記する

def kanji_direction_to_degree(kanji_direction):
    direction = -1

    match   kanji_direction:
        case '北北東':
            direction = 23
        case '東北東':
            direction = 68           
        case '東南東':
            direction = 113
        case '南南東':
            direction = 158
        case '南南西':
            direction = 203
        case '西南西':
            direction = 248
        case '西北西':
            direction = 293
        case '北北西':
            direction = 335
        case '北東':
            direction = 45
        case '南東':
            direction = 135
        case '南西':
            direction = 225
        case '北西':
            direction = 315
        case '北':
            direction = 0
        case '東':
            direction = 90
        case '南':
            direction = 180
        case '西':
            direction = 270
        case _:
            direction = -1
    return direction

• プログラムを開始
• 最初に、地点データをCSVから読み込んでくる
• ちなみに、CSVはこんな感じ

No.,i,地点名,prec_no,block_no,緯度（度）経度（度、分）標高(m),緯度（分）,経度（度）標高(m),経度（分）標高(m),標高(m)
1,1 ,稚内,11 ,47401 ,45,24.9 ,141 ,40.7 ,2.8 
2,2 ,沓形,11 ,2 ,45,10.7 ,141 ,8.3 ,14.0 
3,3 ,浜頓別,11 ,3 ,45,7.5 ,142 ,21.0 ,18.0 
4,4 ,北見枝幸,11 ,47402 ,44,56.4 ,142 ,35.1 ,6.7 

• コードはこれ

.py

if __name__ == "__main__":
    #場所データを格納する配列を初期化
    place_code_prec_no = []
    place_code_block_no = []
    place_name = []

    print('weather_scraper.py started!!')

    #場所データをcsvから読み込み
    csv_file = open(place_csv_file_name, 'r', encoding='utf-8', errors='', newline='' )
    f = csv.reader(csv_file, delimiter=",", doublequote=True, lineterminator="\r\n", quotechar='"', skipinitialspace=True)
    
    header = next(f)
    for row in f:
        place_code_prec_no.append(int(row[3].strip(' ')))   #地域コード
        place_code_block_no.append(int(row[4].strip(' ')))  #地点コード
        place_name.append(row[2].strip(' '))  #地点名
    
    csv_file.close()

• DBMSに接続する

.py

   #DBMSに接続
   connector = connect_dbms()
   
   #cursorの取得
   cursor = connector.cursor()

• 一番外側のループで地点を設定する
• ログファイルに進行状況も記録します

.py

    #各地点(地域・場所)をスクレイピングする
    for place in place_name:
        exception_place_count = 0  #その地点(地域・場所)での例外カウンタをクリア        

        place_count = place_count + 1

        printlog('NEW_PLACE_FETCH_START', place)

        fail_flag = False   #失敗フラグ初期化
        
        index = place_name.index(place)

• 年ごとにデータを取得するためのループ
• 後の方にあるループで、データ取得に失敗していたときに、その地点を諦めるかどうかを判断ためにfail_flagを利用しています。

.py

        # データを取得する年、とりあえず15年前まで
        years = [2022, 2021,
                 2020, 2019, 2018, 2017, 2016, 2015, 2014, 2013, 2012, 2011, 
                 2010, 2009, 2008, 2007]
        for year in years: 
            
            #取得に失敗していたら、この地点は諦める
            if(fail_flag == True):
                printmsg('fetch failed for %s!! wait 10 second.' % place)
                printlog('FETCH_FAILED', place)
                            
                time.sleep(10)    #サーバへの気遣いsleep
                break  #次の地点へ

• 月ごとのデータを扱うループ。「今年」の場合は、「今月」までの取得とする

.py

            #各月のデータを取得する
            month = 1 #1月から開始
            month_max = 12 #最終月

            #今年の場合は、今月が最終月
            if(year == datetime.now().year):
                month_max = datetime.now().month

            while(month <= month_max):
                # インクリメントは、ループの終わりでやっている。（例外発生時にその月をやり直すため）

                printmsg("fetching.  area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                printlog("FETCHING", "area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))

• ここまで来れば、取得するべきURLができあがる。
• URLを指定してデータを取得する
• データを取得出来なかったときは例外が発生するとおもうので、ある程度リトライして、それでも取得出来なければあきらめる。

.py

                #URLを指定してデータを取得(fetch)する
                try:
                    # 2つの地点コードと年と月を当てはめる。
                    r = requests.get(base_url % (
                        place_code_prec_no[index], place_code_block_no[index], year, month))
                except:
                    printmsg("exception. wait 30 second. After wait, retry fetching.")
                    printlog('EXCEPTION', 'fetch retry.')


                    exception_place_count = exception_place_count + 1
                    exception_amount_count = exception_amount_count + 1

                    #例外の合計回数が10回以上の場合
                    if(exception_amount_count >= 10):
                        #サーバから嫌われたと思って、プログラム終了する
                        printmsg("too many exception!! terminated.")
                        printlog('TERMINATED','')
                        exit(-1)  #プログラム終了

                    #その地点での例外の回数が3回以上の場合、残りの月を放棄してその地点を諦める
                    if(exception_place_count >=3):
                        printmsg("skip this area due to exception")
                        printlog('AREA_SKIPPED','area: %s' % place)
                        #この地点はあきらめる
                        fail_flag = True
                        time.sleep(30)  #30秒待つ。サーバへの気遣い
                        break
 
                    #規定回数未満の場合は、この月をやりなおす
                    time.sleep(30)  #30秒待つ。サーバへの気遣い
                    continue

                #データ取得終了
                printmsg("fetched.  area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                printlog("FETCHED", "area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))

                #取得に成功したので、失敗フラグクリア
                fail_flag = False

• 取得したデータをBeautifulSoupに渡して解析してもらう
• 指定した地点・年月のデータがないときは、その地点は諦める
• (新しくできた地点だと、あまり昔のデータは登録されていないかもしれない。直近の年月から昔に遡って取得しているので、なるべく多くのデータを取得できるはず。）

.py

                r.encoding = r.apparent_encoding

                #BeautifulSoupに取得したデータを渡す
                soup = BeautifulSoup(r.text, 'html.parser')

                # findAllで条件に一致するものをすべて抜き出します。
                # 今回の条件はtrタグでclassがmtxになってるものです。
                rows = soup.findAll('tr', class_='mtx')

                # 表の最初の1~4行目はカラム情報なのでスライスする。(indexだから初めは0だよ)
                rows = rows[4:]
                
                #データがない場合は、その地点は諦める
                if(len(rows) == 0):
                    printmsg("fetched but no data found.  area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                    printlog("FETCHED_NO_DATA", "area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                    fail_flag = True
                    break

• ここまでで、１ヶ月分のデータが取得できている。
• データはテーブルに入っている。
• 1日が1行となっている。
• 列が各項目になっている。これらを分解して、DBMSに登録できる表記に変換する

.py

                # 1日〜最終日までの１行を網羅し、取得します。
                for row in rows:
                    # 今度はtrのなかのtdをすべて抜き出します
                    data = row.findAll('td')
          
                    #日時(yyyy/mm/dd), date
                    date = str(year) + "/" + str(month) + "/" + str(data[0].string);
                                        
                    # 地点コードA, prec_no
                    prec_no = place_code_prec_no[index]
                    
                    # 地点コードB, block_no
                    block_no = place_code_block_no[index]
                                        
                    # 気圧(hPa)[現地], pressure_ground
                    pressure_ground = str2float(data[1].string)

                    # 気圧(hPa)[海面], pressure_sea
                    pressure_sea = str2float(data[2].string)

                    # 降水量(mm)[合計], rainfall_amount
                    rainfall_amount = str2float(data[3].string)

                    # 降水量(mm)[最大(1時間)] , rainfall_max_one_hour
                    rainfall_max_one_hour = str2float(data[4].string)

                    # 降水量(mm)[最大(10分間)], rainfall_ten_minute
                    rainfall_ten_minute = str2float(data[5].string)
                    
                    # 気温(℃)[平均], temperature_ave
                    temperature_ave = str2float(data[6].string)

                    # 気温(℃)気温[最高], temperature_max
                    temperature_max = str2float(data[7].string)

                    # 気温(℃)気温[最低], temperature_min
                    temperature_min = str2float(data[8].string)

                    # 湿度(％)[平均], humidity_average
                    humidity_average = str2float(data[9].string)

                    # 湿度(％)[最小], humidity_min
                    humidity_min = str2float(data[10].string)

                    # 風向・風速(m/s)[平均風速], windspeed_ave
                    windspeed_ave = str2float(data[11].string)

                    # 風向・風速(m/s)[最大風速_風速], windspeed_max_value
                    windspeed_max_value = str2float(data[12].string)

                    # 風向・風速(m/s)[最大風速_風向], windspeed_max_direction
                    if(len(data[13])>0):
                        windspeed_max_direction = kanji_direction_to_degree(data[13].string.string.strip(' ').strip('　').strip(']').strip(')'))
                    else:
                        windspeed_max_direction = -1

                    # 風向・風速(m/s)[最大瞬間風速_風速], windspeed_max_instant_value
                    windspeed_max_instant_value = str2float(data[14].string)

                    # 風向・風速(m/s)[最大瞬間風速_風向], windspeed_max_instant_direction
                    if(len(data[15])>0): #データが取れていなかったら -1 にする
                        windspeed_max_instant_direction = kanji_direction_to_degree(data[15].string.strip(' ').strip('　').strip(']').strip(')'))
                    else:
                        windspeed_max_instant_direction = -1
                    # 日照時間(h), sunshine_hour
                    sunshine_hour = str2float(data[16].string)

                    # 17番(降雪量合計)は、記録なしのときは"--"となるみたいなので、0になおす
                    snowfall_amount = 0
                    if(len(data[17]) > 0):
                        if (data[17].string != '--'):  # 雪(cm)[降雪合計], snowfall_amount
                            snowfall_amount =str2float(data[17].string)
                        
                    
                    # 雪(cm)[最深積雪], snow_depth
                    snow_depth = str2float(data[18].string)

                    # 天気概況(昼)[06:00-18:00], weather_overview_daytime
                    
                    if( len(data[19]) > 0):
                        weather_overview_daytime = data[19].string.replace(' ','').replace('　','').replace(')','').replace(']','')
                    else:
                        weather_overview_daytime = "-"
                    
                    # 天気概況(夜)[18:00-翌日06:00], weather_overview_night
                    if( len(data[20]) > 0):
                        weather_overview_night = data[20].string.replace(' ','').replace('　','').replace(')','').replace(']','')
                    else:
                        weather_overview_night = "-"

                    

• 1レコードのデータができた
• しかし、なぜか「今月」の場合も最終日までデータがあるようです。この場合、全てのデータが0になっているっぽい。気圧データは0になるってことはあり得ないので、気圧が0ならDBにINSERTしないことにします。
• INSERTするクエリをつくったあと、クエリを実行します
• ログファイルにも、使ったクエリ文を記録しておきます

.py

                    #データがなかったら(気圧が取れてないのはデータが取れてないと言うこと)
                    if( (pressure_ground > 0 ) and (pressure_sea) > 0 ):
                        printmsg("inserting.  area: %s,  year: %s, month: %s, records_inserted: %s, place_count: %s." % (place, year, month, inserted_count, place_count))

                        #クエリを実行して追加
                        cursor.execute('INSERT INTO weather_table ( date, prec_no, block_no, pressure_ground, \
                                pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, \
                                temperature_ave, temperature_max, temperature_min, humidity_average, \
                                humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, \
                                windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, \
                                snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night) \
                                VALUES( %s, %s,  %s, %s, %s,   %s,   %s,   %s,   %s, %s, \
                                        %s,     %s,      %s,   %s, %s, %s, %s, %s, %s, %s, \
                                        %s,    %s, %s)' , (
                                date, prec_no, block_no, pressure_ground, 
                                pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, 
                                temperature_ave, temperature_max, temperature_min, humidity_average, 
                                humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, 
                                windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, 
                                snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night)
                                ) 
                        
                        #反映する
                        connector.commit()
                    
                        printmsg("inserted.  area: %s,  year: %s, month: %s, records_inserted: %s, place_count: %s." % (place, year, month, inserted_count, place_count))
                        printlog('INSERTED', 'area: %s,  year: %s, month: %s, \"INSERT INTO weather_table ( ' 
                                'date, prec_no, block_no, pressure_ground, '
                                'pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, '
                                'temperature_ave, temperature_max, temperature_min, humidity_average, '
                                'humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, '
                                'windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, '
                                'snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night) '
                                'VALUES( %s, %s, %s,  %s, %s, %s, %s, %s, %s, %s, '
                                        '%s, %s, %s,  %s, %s, %s, %s, %s, %s, %s, '
                                        '%s, %s, %s)\"' % (
                                place, year, month, date, prec_no, block_no, pressure_ground, 
                                pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, 
                                temperature_ave, temperature_max, temperature_min, humidity_average, 
                                humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, 
                                windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, 
                                snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night))

                        #挿入済みカウンタをインクリメント
                        inserted_count = inserted_count + 1
                    

コードの全文

コードの全文を掲載します

weather_scraper.py

from bs4 import BeautifulSoup  

import csv
import json
import requests
import psycopg2
from datetime import datetime 
import codecs
import time
from urllib.error import HTTPError
from urllib.error import URLError
import sys

# URLで年と月ごとの設定ができるので%sで指定した英数字を埋め込めるようにします。
base_url = "http://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=%s&block_no=%s&year=%s&month=%s&day=1&view=p1"


# 取ったデータをfloat型に返還する。変換できない文字は0.0で代用。
def str2float(str):
    try:
        return float(str)
    except:
        return 0.0


#場所データのcsvファイル名
place_csv_file_name = './place.csv'

#logfile名
logfile_name = "./weather_scraper.log"

#ログファイルに記録する
def printlog(label_str, body_str):
    print(datetime.now(), ',' ,label_str, ',', body_str,
                            file =  codecs.open(logfile_name, 'a', 'utf-8'))

#端末に印字する（文字が流れていかないように1行で上書きする）
def printmsg(msg):
    print('\r___________________________________________________________________________________________________' , end='')
    print('\r%s' % msg, end='')


#SQLサーバの情報
dbms_hostname = 'xxxxxxxxxxxx.rds.amazonaws.com'
dbms_port = 12345
dbms_database_name ='postgres'

#SQLサーバに接続するためのユーザ名とパスワード情報を保存したファイル名
db_auth_filename = 'auth.json'

#DBの認証情報をファイルから読み取る
def read_auth(filename):
    file = open(filename, "r")
    auth = json.load(file)
    file.close()

    return auth

#DBMSに接続する
def connect_dbms():
    auth = read_auth("auth.json")
    dbms_username = auth['username']
    dbms_password = auth['password']

    con = psycopg2.connect(
        host = dbms_hostname,
        port = dbms_port,
        database=dbms_database_name,
        user= dbms_username, 
        password=dbms_password)
    
    return con



#方角を整数値に変換、
def kanji_direction_to_degree(kanji_direction):
    direction = -1

    match   kanji_direction:
        case '北北東':
            direction = 23
        case '東北東':
            direction = 68           
        case '東南東':
            direction = 113
        case '南南東':
            direction = 158
        case '南南西':
            direction = 203
        case '西南西':
            direction = 248
        case '西北西':
            direction = 293
        case '北北西':
            direction = 335
        case '北東':
            direction = 45
        case '南東':
            direction = 135
        case '南西':
            direction = 225
        case '北西':
            direction = 315
        case '北':
            direction = 0
        case '東':
            direction = 90
        case '南':
            direction = 180
        case '西':
            direction = 270
        case _:
            direction = -1
    return direction



if __name__ == "__main__":
    #場所データを格納する配列を初期化
    place_code_prec_no = []
    place_code_block_no = []
    place_name = []

    print('weather_scraper.py started!!')

    #場所データをcsvから読み込み
    csv_file = open(place_csv_file_name, 'r', encoding='utf-8', errors='', newline='' )
    f = csv.reader(csv_file, delimiter=",", doublequote=True, lineterminator="\r\n", quotechar='"', skipinitialspace=True)
    
    header = next(f)
    for row in f:
        place_code_prec_no.append(int(row[3].strip(' ')))   #地域コード
        place_code_block_no.append(int(row[4].strip(' ')))  #地点コード
        place_name.append(row[2].strip(' '))  #地点名
    
    csv_file.close()
        

    #DBMSに接続
    connector = connect_dbms()
    
    #cursorの取得
    cursor = connector.cursor()

    inserted_count = 0     #何レコード挿入したか
    place_count = 0      #何カ所廻ったか
    exception_amount_count = 0 #例外が合計何回発生したか


    #各地点(地域・場所)をスクレイピングする
    for place in place_name:
        exception_place_count = 0  #その地点(地域・場所)での例外カウンタをクリア        

        place_count = place_count + 1

        printlog('NEW_PLACE_FETCH_START', place)

        fail_flag = False   #失敗フラグ初期化
        
        index = place_name.index(place)
        # データを取得する年、とりあえず15年前まで
        years = [2022, 2021,
                 2020, 2019, 2018, 2017, 2016, 2015, 2014, 2013, 2012, 2011, 
                 2010, 2009, 2008, 2007]
        for year in years: 
            
            #取得に失敗していたら、この地点は諦める
            if(fail_flag == True):
                printmsg('fetch failed for %s!! wait 10 second.' % place)
                printlog('FETCH_FAILED', place)
                            
                time.sleep(10)    #サーバへの気遣いsleep
                break  #次の地点へ

            #各月のデータを取得する
            month = 1 #1月から開始
            month_max = 12 #最終月

            #今年の場合は、今月が最終月
            if(year == datetime.now().year):
                month_max = datetime.now().month

            while(month <= month_max):
                # インクリメントは、ループの終わりでやっている。（例外発生時にその月をやり直すため）

                printmsg("fetching.  area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                printlog("FETCHING", "area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))

                #URLを指定してデータを取得(fetch)する
                try:
                    # 2つの地点コードと年と月を当てはめる。
                    r = requests.get(base_url % (
                        place_code_prec_no[index], place_code_block_no[index], year, month))
                except:
                    printmsg("exception. wait 30 second. After wait, retry fetching.")
                    printlog('EXCEPTION', 'fetch retry.')


                    exception_place_count = exception_place_count + 1
                    exception_amount_count = exception_amount_count + 1

                    #例外の合計回数が10回以上の場合
                    if(exception_amount_count >= 10):
                        #サーバから嫌われたと思って、プログラム終了する
                        printmsg("too many exception!! terminated.")
                        printlog('TERMINATED','')
                        exit(-1)  #プログラム終了

                    #その地点での例外の回数が3回以上の場合、残りの月を放棄してその地点を諦める
                    if(exception_place_count >=3):
                        printmsg("skip this area due to exception")
                        printlog('AREA_SKIPPED','area: %s' % place)
                        #この地点はあきらめる
                        fail_flag = True
                        time.sleep(30)  #30秒待つ。サーバへの気遣い
                        break
 
                    #規定回数未満の場合は、この月をやりなおす
                    time.sleep(30)  #30秒待つ。サーバへの気遣い
                    continue

                #データ取得終了
                printmsg("fetched.  area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                printlog("FETCHED", "area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))

                #取得に成功したので、失敗フラグクリア
                fail_flag = False

                r.encoding = r.apparent_encoding

                #BeautifulSoupに取得したデータを渡す
                soup = BeautifulSoup(r.text, 'html.parser')

                # findAllで条件に一致するものをすべて抜き出します。
                # 今回の条件はtrタグでclassがmtxになってるものです。
                rows = soup.findAll('tr', class_='mtx')

                # 表の最初の1~4行目はカラム情報なのでスライスする。(indexだから初めは0だよ)
                rows = rows[4:]
                
                #データがない場合は、その地点は諦める
                if(len(rows) == 0):
                    printmsg("fetched but no data found.  area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                    printlog("FETCHED_NO_DATA", "area: %s,  year: %s, records_inserted: %s, place_count: %s." % (place, year, inserted_count, place_count))
                    fail_flag = True
                    break

                # 1日〜最終日までの１行を網羅し、取得します。
                for row in rows:
                    # 今度はtrのなかのtdをすべて抜き出します
                    data = row.findAll('td')
          
                    #日時(yyyy/mm/dd), date
                    date = str(year) + "/" + str(month) + "/" + str(data[0].string);
                                        
                    # 地点コードA, prec_no
                    prec_no = place_code_prec_no[index]
                    
                    # 地点コードB, block_no
                    block_no = place_code_block_no[index]
                                        
                    # 気圧(hPa)[現地], pressure_ground
                    pressure_ground = str2float(data[1].string)

                    # 気圧(hPa)[海面], pressure_sea
                    pressure_sea = str2float(data[2].string)

                    # 降水量(mm)[合計], rainfall_amount
                    rainfall_amount = str2float(data[3].string)

                    # 降水量(mm)[最大(1時間)] , rainfall_max_one_hour
                    rainfall_max_one_hour = str2float(data[4].string)

                    # 降水量(mm)[最大(10分間)], rainfall_ten_minute
                    rainfall_ten_minute = str2float(data[5].string)
                    
                    # 気温(℃)[平均], temperature_ave
                    temperature_ave = str2float(data[6].string)

                    # 気温(℃)気温[最高], temperature_max
                    temperature_max = str2float(data[7].string)

                    # 気温(℃)気温[最低], temperature_min
                    temperature_min = str2float(data[8].string)

                    # 湿度(％)[平均], humidity_average
                    humidity_average = str2float(data[9].string)

                    # 湿度(％)[最小], humidity_min
                    humidity_min = str2float(data[10].string)

                    # 風向・風速(m/s)[平均風速], windspeed_ave
                    windspeed_ave = str2float(data[11].string)

                    # 風向・風速(m/s)[最大風速_風速], windspeed_max_value
                    windspeed_max_value = str2float(data[12].string)

                    # 風向・風速(m/s)[最大風速_風向], windspeed_max_direction
                    if(len(data[13])>0):
                        windspeed_max_direction = kanji_direction_to_degree(data[13].string.string.strip(' ').strip('　').strip(']').strip(')'))
                    else:
                        windspeed_max_direction = -1

                    # 風向・風速(m/s)[最大瞬間風速_風速], windspeed_max_instant_value
                    windspeed_max_instant_value = str2float(data[14].string)

                    # 風向・風速(m/s)[最大瞬間風速_風向], windspeed_max_instant_direction
                    if(len(data[15])>0): #データが取れていなかったら -1 にする
                        windspeed_max_instant_direction = kanji_direction_to_degree(data[15].string.strip(' ').strip('　').strip(']').strip(')'))
                    else:
                        windspeed_max_instant_direction = -1
                    # 日照時間(h), sunshine_hour
                    sunshine_hour = str2float(data[16].string)

                    # 17番(降雪量合計)は、記録なしのときは"--"となるみたいなので、0になおす
                    snowfall_amount = 0
                    if(len(data[17]) > 0):
                        if (data[17].string != '--'):  # 雪(cm)[降雪合計], snowfall_amount
                            snowfall_amount =str2float(data[17].string)
                        
                    
                    # 雪(cm)[最深積雪], snow_depth
                    snow_depth = str2float(data[18].string)

                    # 天気概況(昼)[06:00-18:00], weather_overview_daytime
                    
                    if( len(data[19]) > 0):
                        weather_overview_daytime = data[19].string.replace(' ','').replace('　','').replace(')','').replace(']','')
                    else:
                        weather_overview_daytime = "-"
                    
                    # 天気概況(夜)[18:00-翌日06:00], weather_overview_night
                    if( len(data[20]) > 0):
                        weather_overview_night = data[20].string.replace(' ','').replace('　','').replace(')','').replace(']','')
                    else:
                        weather_overview_night = "-"
                    
                    #データがなかったら(気圧が取れてないのはデータが取れてないと言うこと)
                    if( (pressure_ground > 0 ) and (pressure_sea) > 0 ):
                        printmsg("inserting.  area: %s,  year: %s, month: %s, records_inserted: %s, place_count: %s." % (place, year, month, inserted_count, place_count))

                        #クエリを実行して追加
                        cursor.execute('INSERT INTO weather_table ( date, prec_no, block_no, pressure_ground, \
                                pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, \
                                temperature_ave, temperature_max, temperature_min, humidity_average, \
                                humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, \
                                windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, \
                                snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night) \
                                VALUES( %s, %s,  %s, %s, %s,   %s,   %s,   %s,   %s, %s, \
                                        %s,     %s,      %s,   %s, %s, %s, %s, %s, %s, %s, \
                                        %s,    %s, %s)' , (
                                date, prec_no, block_no, pressure_ground, 
                                pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, 
                                temperature_ave, temperature_max, temperature_min, humidity_average, 
                                humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, 
                                windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, 
                                snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night)
                                ) 
                        
                        #反映する
                        connector.commit()
                    
                        printmsg("inserted.  area: %s,  year: %s, month: %s, records_inserted: %s, place_count: %s." % (place, year, month, inserted_count, place_count))
                        printlog('INSERTED', 'area: %s,  year: %s, month: %s, \"INSERT INTO weather_table ( ' 
                                'date, prec_no, block_no, pressure_ground, '
                                'pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, '
                                'temperature_ave, temperature_max, temperature_min, humidity_average, '
                                'humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, '
                                'windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, '
                                'snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night) '
                                'VALUES( %s, %s, %s,  %s, %s, %s, %s, %s, %s, %s, '
                                        '%s, %s, %s,  %s, %s, %s, %s, %s, %s, %s, '
                                        '%s, %s, %s)\"' % (
                                place, year, month, date, prec_no, block_no, pressure_ground, 
                                pressure_sea, rainfall_amount, rainfall_max_one_hour, rainfall_ten_minute, 
                                temperature_ave, temperature_max, temperature_min, humidity_average, 
                                humidity_min, windspeed_ave, windspeed_max_value, windspeed_max_direction, 
                                windspeed_max_instant_value, windspeed_max_instant_direction, sunshine_hour, 
                                snowfall_amount, snow_depth, weather_overview_daytime, weather_overview_night))

                        #挿入済みカウンタをインクリメント
                        inserted_count = inserted_count + 1
                        
                # 次の月へ
                month = month + 1
                #ひと月ごとに10秒休む(WEBサーバへの気遣い)
                time.sleep(10)

            #１年ごとにさらに10秒の休止
            time.sleep(10)

                                      
                                 

以上