GoogleAnalyticsのrawデータをBigQueryにcloud functionsを使って定時エクスポート

#GoogleAnalyticsのrawデータをBigQueryにcloud functionsを使って定時エクスポート

2日目の記事と内容がほぼ同じなのですが、しばらくして、2日目の記事がcloud functionsからだと使えないことがわかったので、詰まったところと、その対処方法までお伝えしていきたいと思います。

##やること

1. GoogleAnalytics APIを使ってpythonにrawデータをはき出す
2. pandasを使って、GoogleCloudStarageにアップロード
3. GCSからBig Queryにエクスポート

##つまったところ
###1.ローカルにファイル作成ができない
2日目のものはローカルで実行する分には問題ありませんでした。
しかし、cloud functionではread onlyであり、csvファイルを作成することができません。
なので、直接BigQueryにエクスポートするか、GCSにcsvファイルを作成することなくアップロードするしかありません。
結果から言うと、後者を選びました。

/tmp/ディレクトリならファイル作成できるとか記事があったんですが、試してうまく行かなったので途中であきらめました。

###2.なんか勝手に実行する関数に2つの変数を与えられている
実行する関数には2つの変数を用意しておかないといけないようです。

##理由
前者だと、letter,number,under_scoreしかpagePathに使えないらしく、また、ほかにもルールがいろいろとあるようで使えませんでした。

##GCSに直接アップロードする方法
記事を探していたら、この方の記事がわかりやすかったです。
PythonでGoogle Cloud Storage(GCS)、BigQueryへpandas DataFrameをcsv保存するclass

##コード
day5.py

##5日目も終了！
ちょっとこういうのを塚回すのもどうかなって思ったんですが、めっちゃ時間かかっちゃったので、ほかにも同じ人がいたら助けになれたら幸いです。
みなさんもコロナには気を付けてください！