はじめに
GoogleのColaboratoryにて、無料でGPUが使えるという嬉しすぎる報告から簡易テスト用はこれを使うこと一択!と思っています。
しかも、TeslaのK80という太っ腹過ぎます!
いつも使っているディープラーニングフレームワークであるChainerでも対応しており、TensorFlow, Pytorchと基本はノートブック内で !pip install 〜
とするだけでOKです。
参考:【秒速で無料GPUを使う】TensorFlow/Keras/PyTorch/Chainer深層学習環境 on Colaboratory
簡単にMNISTを通すテストだけでは気づかなかったのですが、実務で使い始めると、画像やCSVファイルを読み込みたいケースがあり、その時に控えめに言っても結構めんどくさいし、全然リファレンスが見つかりませんでしたので、今回ざっくりとまとめておきます。
- もっと他にスマートな方法があれば教えてもらえるとありがたいです m(_ _)m
前提としては、Googleのアカウントを持っていることだけです。
1. ファイルをアップロード
それでは、今回は sample.csv
ファイルを読み込む練習をしてみましょう。
まずは、Google Driveのどこでも良いので、ドラッグドロップでアップロードしましょう。
![1.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2Fef72b9d5-a919-2e0c-415d-ed6654e4e09d.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=d138534f60d3049f3207ea1dfd083b77)
2. 共有リンクを取得
ファイルを右クリックでメニューを開き、『共有可能なリンクを取得』しましょう。
![2.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2Fba3a3e7b-b790-4439-b089-02df39d010fd.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=b987cf16dc30a255c1272ae2a1dafb93)
リンクの共有がオフです
と出てくる場合は、右側のバーをスライドさせて共有をオンにしましょう。
![3.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2Ff4e8cf18-3332-8760-4e14-0401ad701e6a.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=1771fe53582330268d59cb45a7cf33e4)
そうすると、共有リンクが取得できるため、こちらをコピーしておきましょう。
大事なところは、id=
以下になります。
例えば、ここからは https://drive.google.com/open?id=kikagaku
だとして話を進めていきましょう。
![4.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2F4d2204d3-a977-ed1c-a5ff-abfea89a4db7.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=f11d19ac33ca57eebe0c2a6edeec5a1f)
3. Colaboratoryでノートブックを開く
Google Colabにアクセスして、新規もしくは既存のノートブックを開いてください。
ノートブックは自動的にGoogle DriveのColab Notebook
というフォルダに保存されています。
このフォルダに読み込みたいデータをアップロードしておけばOKかな?と思ったのですが、全然そういう訳ではありませんでした。
![スクリーンショット 2018-02-10 16.36.47.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2F0df2468a-2d39-94fb-de44-6288f058fedb.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=442c487a677720fac8ab533fa570a31c)
最初には datalab
という得体の知れないファイルのみあり、それ以外は何もありません。
4. Google Driveにアクセスするための準備
まず、PyDrive
というGoogle Driveと接続するためのモジュールをインストールしておく必要があります。
!pip install -U -q PyDrive
つぎに、インストールした中で必要なライブラリを読み込んでおきましょう。
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials
もし、google
がありませんとエラーが出た場合は、同様に !pip install google
でインストール完了です。
そして、Google Cloud SDKの認証を行いましょう。
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)
こちらを実行すると、下記のようにGoogle Cloud SDKの認証リンクが出てきます。
![5.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2F89fd7d56-e5b5-43b5-c9a0-a81d56fabb3a.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=ace870c2164ef9dfa31fca462e37277a)
リンクへアクセスし、ユーザーIDを選択して、Google Cloud SDKでの使用を許可すると、下記の画面のように Verification Code が得られます。
![6.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2F2113ae3d-78a9-9442-b364-a26d2dc464bf.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=7dc906f835e376d79d442476ef8f1cfc)
こちらのコードをEnter verification code
の部分にコピペしてEnterです。
特にエラーが起きなければ認証完了です。
5. Google Drive上のファイルにアクセス
ここで、Step2で取得していた共有リンクの出番です。
id
という変数に、共有リンクで取得した id= より後の部分を貼り付けて、下記のコードを実行してください。
id = 'kikagaku' # 共有リンクで取得した id= より後の部分
downloaded = drive.CreateFile({'id': id})
downloaded.GetContentFile('sample.csv')
こちらを実行して特にエラーが出なければ、Google Drive上のファイルがダウンロードされています。
ディレクトリの中身を確認してみましょう。
![7.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2F4cddc89e-9323-d9cd-d3ac-f13f897dd03b.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=e1299d63f0aa7dca24cc361212d46abe)
これで後はローカルのファイルと同様に読み込むことができます。
6. (補足)ディレクトリ毎アップロードしたい場合
ディレクトリは id
とは異なる共有リンクであるため、zipファイルに圧縮してアップロードを行いダウンロードするのが無難そうです。
例えば、images.zip
というファイル名で圧縮した後にGoogle Driveへアップロードを行った場合、前述の手順と同様に共有リンクを元にダウンロードを行います。
![スクリーンショット 2018-02-10 17.01.33.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2F34660131-debd-968d-b717-0d4133a61620.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=af7227e5464994705eba503b11c949bf)
こんな風に images.zip
をダウンロードしてくることができるのですが、解凍しないと使えないため、unzip
コマンドで解凍しましょう。
!unzip images.zip
![スクリーンショット 2018-02-10 17.03.08.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2Fd6b51028-5160-2264-621e-6c972bc37a02.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=3a3d5da9c1c4c4e380fb3e9f79544b99)
非常に簡単に解凍できました。
解凍後にimages.zip
が必要なければ、!rm images.zip
で削除すればOKです。
![スクリーンショット 2018-02-10 17.04.43.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.amazonaws.com%2F0%2F130181%2F764e875f-5a34-ec32-b575-3e7fdbf06232.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=e33796f3a7badc2c2feae878115ca144)
こんな風にディレクトリのアップロードも完了しました。
おわりに
Dropbox等であれば、wget
で取ってくる方法もあるそうです。
参考:colaboratory をつかってみる CSVのファイルをアップロード
みなさん、ハッピーなディープラーニングライフを送りましょう!
著者紹介
TwitterでAI関連の情報をつぶやいていますので、フォローお待ちしています!