D-Oceanのログインから

D-Oceanはデータプラットフォームであり、いろいろな種類のデータを使うことができる。データ処理の練習したい人にはおすすめかも。右上のログインボタンを押して、Google アカウントなどでログインしよう。

ログインするとこんな感じのページにくる。

【注意】
授業などでGROUPでデータが共有されることもある。
GROUP内のデータを使う場合、GROUP をそのまま押してはいけない。

GROUPを押してプルダウンメニューが出たグループをクリックしないと、グループ内に共有されたデータは見ることができない。
なんというシステムでしょう。。。

これでグループ内で共有されたデータは見れるはずなので、ひとつクリックしてみよう。
クリックすると以下のようなウィンドウになる

下にcomment、queryがあるので、queryを押してみよう！
ここからはqueryでsql文を書くことになる。

BigQueryとは何か

BigQueryに興味がある人は以下のリンクからみてみるのが一番早いと思われる。
https://thinkit.co.jp/story/2015/08/27/6346

BigQueryにおけるSQL文

SQL文はあんまり詳しくないので、以下の基本的な文法構造だけのせておきます。

SELECT column FROM table_name

が基本構造で、*はすべての列、LIMITは何行か指定して選ぶことができる。
SQLはムズイです！

csvデータの読み込みと分析

csvのデータはQueryからcsvをプルダウンで選んだ後、ダウンロードできる。
今回は1000行だけダウンロードする。

csvファイルをダウンロードしたらここからはpythonの出番。
このcsvファイルをダウンロードしたら、テキストエディタをなにか開いてpythonファイルをつくろう。

import.py

import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv('downloads/data/file_name.csv')

data.tail()
# 下から5行取得可能

pandasはpythonで使えるめっちゃはやいエクセル、だと勝手に考えている。
pd.read_csv()という関数でcsvファイルをpandasのdataframe(エクセルの表みたいな)に落とし込むことができる。
これでdataを料理する準備はできました！

ちなみに上から5行抽出したい場合は以下のhead()を使って確認することができる。

head.py

data.head()

| Name_ | location | latitude | longitude | phone |
|--:|:--|:--|--:|--:|:--|
| 0 | 関子ども家庭支援センター | 練馬区関町北1-21-15 | 35.726719 | 139.578657 | 03-5927-5911 |
| 1 | 練馬子ども家庭支援センター（児童福祉担当係石神井） | 練馬区石神井町3-30-26 石神井庁舎4階 | 35.743405 | 139.602759 | 03-3995-1108 |
| 2 | 練馬子ども家庭支援センター練馬駅南分室 | 練馬区豊玉北5-18-12 | 35.737083 | 139.654433 | 03-3993-4100 |
| 3 | 光が丘子ども家庭支援センター | 練馬区光が丘2-9-6 光が丘区民センター6階 | 35.759233 | 139.629303 | 03-5997-7759 |
| 4 | 練馬子ども家庭支援センター | 練馬区豊玉北6-12-1 東庁舎4階 | 35.735650 | 139.652422 | 03-3993-8155 |