LoginSignup
0
0

More than 1 year has passed since last update.

Google Colaboのセットアップとデータ読み書き

Last updated at Posted at 2021-11-28

ハイライト

google driveのマウント

from google.colab import drive
drive.mount('/content/drive')
!ls drive/MyDrive/

google drive上のデータ読み込み

import pandas as pd
df = pd.read_csv('drive/MyDrive/ML/Pytorch-sample-luna/luna_sample_candidates.csv')

google drive上のpythonモジュールの読み込み

ROOT_PATH = 'drive/MyDrive/ML/pytorch-sample-luna/'
sys.path.append(ROOT_PATH)

import dsets

外部データを直接Driveにダウンロードする

!wget -P 'drive/MyDrive/ML/pytorch-sample-luna/' 'https://zenodo.org/record/3723295/files/annotations.csv?download=1'

セットアップ

Google Colaboratory Appの追加

左上の「新規」> 「その他」> 「アプリを追加」でアプリを追加。(添付写真ではすでに追加してある)

Screen Shot 2021-11-27 at 22.44.07.png

Screen Shot 2021-11-27 at 22.45.45.png

IO周り

Google DriveとColabを連携させる

mountさせる

from google.colab import drive
drive.mount('/content/drive')

Screen Shot 2021-11-27 at 22.50.30.png

認証・認可を求められるので指示に従って入力
Screen Shot 2021-11-27 at 22.50.52.png
Screen Shot 2021-11-27 at 22.51.32.png
(以下省略)

成功するとMountedと表示される
Screen Shot 2021-11-27 at 22.52.40.png

試しにlsコマンドを実行するとdriveが表示されている
Screen Shot 2021-11-27 at 22.53.16.png

Google Drive上のCSVファイルの読み込み

適当なCSVファイルを、Colaboと同じフォルダに入れる
Screen Shot 2021-11-27 at 22.58.06.png

Colab側からCSVが見えるか確認

!ls drive/MyDrive/ML/pytorch-sample-luna

Screen Shot 2021-11-28 at 11.57.59.png

Pandasでパスを指定してインポート(パスは適宜変える)

import pandas as pd
df = pd.read_csv('drive/MyDrive/ML/Pytorch-sample-luna/luna_sample_candidates.csv')

df

Screen Shot 2021-11-27 at 23.04.56.png

Google Drive上にCSVファイルを保存

試しにデータ部分の1行目を削除したファイルを保存

df[1:].to_csv('drive/MyDrive/ML/Pytorch-sample-luna/luna_sample_candidates_2.csv')

Screen Shot 2021-11-27 at 23.05.01.png

無事にファイルが追加されていることを確認
Screen Shot 2021-11-27 at 23.05.16.png

Pythonモジュールの読み込み

適当なモジュールを用意(画面中のdsets.py)
Screen Shot 2021-11-27 at 23.23.53.png

importしてみるとモジュールを発見できずエラー

import dsets

Screen Shot 2021-11-27 at 23.23.44.png

原因はdrive/がsys.path上に無いので、発見できないこと

Screen Shot 2021-11-27 at 23.23.28.png

pathを追加

ROOT_PATH = 'drive/MyDrive/ML/pytorch-sample-luna/'
sys.path.append(ROOT_PATH)

Screen Shot 2021-11-27 at 23.25.23.png

ロードできる(エラーはdsets.pyの中身についての指摘なのでファイルは読み込めている)

import dsets

Screen Shot 2021-11-27 at 23.26.09.png

外部データを直接Driveにダウンロードする

!wget -P 'drive/MyDrive/ML/pytorch-sample-luna/' 'https://zenodo.org/record/3723295/files/annotations.csv?download=1'

Screen Shot 2021-11-28 at 15.31.33.png

その他

必要に応じてドライブストレージを増やしましょう(個人アカウントはGoogle Oneかも)
https://drive.google.com/settings/storage

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0