はじめに
こんにちわ。satoru_magと申します。
さて、BigQueryを使い始めて半年ぐらいが経ちました。
最初は海のものとも山のものともわかりませんでしたが、使っていくうちにいかに便利かということがわかってきました。
でもね、でもね、ほとんど情報が無い!
『インチキな速さ!』とか『安い!』とか『fluentdにも連携できる!』とか、技術的なお話しとかはよく聞くわけですよ。
でも、『こんな感じで使ってるよ』とか『このあたりは要注意!』とか『こういう工夫がいるよね?』みたいなものが一切ない!
まぁ、それぐらい簡単に使えるということなんですけどね。
と、いうわけで私が使っていてこんなのあるよって感じのTipsとかを書いていきたいと思います。
BigQueryとの出会い
出会いってほどのもんじゃないんですけどね。
社長から『BigQuery使ってみろ!』って言われただけなんですけど(笑)
最初はすんごい懐疑的でした。『BigDataなんてものはうちに無いよ』ってね。RDBMSしか使ったこと無かったから、『更新出来ないのはうちに合わない』とも思っていた。
でもね、ちょっと使ってみるだけで凄さがわかった。
サンプルデータ(wikipedia?)でも分かるかもしれないけど、実際の業務で使っているデータを放り込んでみると『GoogleのBigQueryはバケモノか!』となったわけです。
BigDataなんて言葉に恐れるな!
みんな『凄すぎ!』って言葉にビビッて『うちでは使いこなせないっすよ、恐縮です!』って思ってるのかな?ここまで情報が少なすぎるとホントそう思う。もしくはセキュリティとか?クラウドだし・・・。などなど。
しかも、結構素敵な技術者の人たちが専門用語バリバリで記事書いてくれていたり。
『BigData』『データサイエンティスト』『テラバイト級のデータが一瞬で!』『高速分析!』
知るか!そんなもん!わしゃ運用やっとるんじゃ!(おれ)
と、いうことでそういう人ほど使ってみてください。現場の声を一番知ってるんじゃないですか?
『こんなデータを出して欲しい』と言われても『そんなSQL投げたらDB止まっちゃう!』なんてことなかったですか?で、細切れでSQL投げてExcelでちまちま加工して。どんだけ工数かけてデータ作っても、『やっと出たのかよ』と言われて、結局会議で一回使うだけとか。
もう、うちの子(部下)たちにそんな悔しい思いさせない!
むしろドヤ顔で『あぁ、BigQueryで出ますよ』って言ってやりますよ!
と、いうことで。
おっと、半分愚痴になっちゃいましたね。
ということで色々書いていきたいと思います。包み隠さず、『そんなこと知ってるよ』ってところまで書いていきます。
誰かの参考程度になれば幸いです。