機械学習体験の手引き～AWSとGoogle Colaboratoryの違い～

はじめに

　巷で話題になっている人工知能や機械学習。実際に触ることがほとんどないのが実情ですよね。（かくいう筆者もその一人だった・・・）
しかし、この世の中では機械学習を無料で、かつ誰でも気軽に手を出すことができる便利な機能が存在する。
　その方法が今回紹介するAmazon Web Service（以降はAWSと呼ぶ）とGoogle Colaboratoryの２つだ。

いきさつ

　筆者は情報系の学科に属する大学生で、研究室で機械学習に関する研究を行っている。（とはいえまだまだ初歩の初歩・・・）
もともと機械学習？あーはいはいあれね最近流行りのやつねくらいの知識で、日常生活とはかけ離れたものだと考えていた。だが、この２つの機械学習体験を通して機械学習がどういったものなのか、日常生活にどのように生かされているのかを知る機会を得た。

　機械学習について少し気になるけどなにから始めればいいのかわからない、実際の使い勝手はどうなんだろうと思っている方にぜひ読んでいただきたい。

　実際に使ってみた感想とそれぞれの説明を以下に記す。

AWS Educate

Amazonというと　あれ？通販サービスか？と思う人もいるかもしれない。実はAmazonは機械学習関連については非常に発展している。
AWSを使って機械学習を行うなかでAmazon Sagemakerというシステムを用いた。

基本的にAWSは有料で、実際に使用した分だけの金額が必要になるのだがAWS Educateを利用すれば学生は無料で体験することができる。
AWS Educate は Amazon のグローバルイニシアティブとして、クラウド技術のスキルを身に付けるための総合的なリソースを学生に提供します。AWS Educate は実世界の応用学習経験に焦点を置いた学習コンテンツで、若い学習者が自分のペースでクラウドコンピューティング技術を学ぶことができます。これらのクラウドコンピューティングは、人工知能、音声認識、顔認識、ゲーム、医療の進歩などの分野でイノベーションの推進力となります。
14 才以上の方は無料で AWS Educate に参加し、クラウドの学習を始められます。また最高 75 USD の AWS プロモーションクレジットも受け取ることができます。
（AWS Educate公式サイトから引用）

SageMakerの概要

SageMakerは「オーサリング」「トレーニング」「ホスティング」の3つのモジュールで構成されている。
####<オーサリング>
いわゆるデータセットの前処理の工程のこと。機械学習の9割はデータセットの前処理だ、と言われているほど重要な工程である。
AWS SageMakerでは、Jupyter NotebookをCPUベースやGPUベースなど、クラウド上で利用状況に合わせて簡単にセットアップ＆利用が可能となっている。

####<トレーニング>
SageMakerが提供しているBuilt-inのアルゴリズムやDeep Learningフレームワーク、Dockerによる独自学習環境を使ってモデルをトレーニングすることができる。
生成したモデルはS3に保存される。
このモデルはそのままSageMakerにホスティングを出来るほか、AWS以外に持ち出してIoTデバイスなどにデプロイすることもできる。

####<モデルホスティング>
構築したモデルをリアルタイムで使えるように、HTTPSエンドポイントが提供される。

AWS Educateを利用するには・・・

機械学習を行うために必要な手順は以下の5つである。
1．アカウント登録
2．AWS マネジメントコンソールの画面を開く
3．Amazon S3 バケットを作成する
4．Amazon SageMaker ノートブックインスタンスの作成
5．Jupyterノートブックを作成する

####1．アカウント登録
以下のサイトからAWSのサイトに飛ぶことができる。
https://aws.amazon.com/jp/education/awseducate/
初めての方は赤枠をクリックしていただき、アカウントをお持ちの方は下のサイトからログインしていただく。ここでは登録の工程の詳細は省略する。

####2．AWSマネジメントコンソールの画面を開く
ログイン後右上のAWS Accountをクリックしてコンソールに移動する。

その後、サービス検索から自分の使いたいサービスを検索する。今回はS3とAmazon Sagemakerを利用する。

####3．AmazonS3バケットの作成
　S3バケットとはSimple Storage Serviceの略でインターネット用のストレージサービスのことである。要するにデータを保存したり、結果を残しておくフォルダのようなものだと考えていただければよいと思う。
　サービス検索からS3を開き、バケットを作成するを押して指示に従ってバケット作成を行う。
リージョンはリージニア北部に設定し、バケット名は既に存在するものでなければなんでもよい。（ただしリージョンを変えてしまうとアクセス制限を食らったりする・・・）

####4．Amazon SageMaker ノートブックインスタンスの作成
サービス検索からAmazon Sagemakerを開き、以下の画面を開く。
右のノートブックインスタンスの作成をクリックすると次の図のような画面が表示される。Create notebook instanceをクリックして指示に従いながらノートブックインスタンスを作成する。ここでのインスタンスはデフォルトのml.t2.mediumに設定している。

####5．Jupyterノートブックの作成
ノートブックインスタンスを作成してしばらくするとOpen Jupyterと表示されるのでクリックし、次のような画面を開く。

ここまでが準備段階となっている。

こちらのサイトを参考にしてk-meansクラスタリングを行った。
https://qiita.com/leomaro7/items/a524121f366764819a98

細かいプログラム等は省略するがk-meansクラスタリングについて軽く説明する。
#####k-meansとは
機械学習の手法の一つで、ラベル付けされていないデータに対応する教師無し学習である。クラスタの平均を用いて与えられたクラスタ数に分類する手法のこと
。。。よくわからない。。。
→今回であれば0~9の手書き数字の特徴を捉えてそれを10個に分類分けする！

すると・・・
データセットのダウンロード、調査、前処理が終わり、トレーニングに差し掛かろうとしたとき、事件はおきた！

上図のプログラムを実行すると以下のエラーが表示された。
ClientError: An error occurred (AccessDeniedException) when calling the CreateTrainingJob operation: User: arn:aws:sts::136879011433:assumed-role/AmazonSageMaker-ExecutionRole-20191028T204023/SageMaker is not authorized to perform: sagemaker:CreateTrainingJob on resource: arn:aws:sagemaker:us-east-1:136879011433:training-job/kmeans-2019-10-28-21-15-39-958 with an explicit deny

作成したノートブックインスタンスのIAMロールがトレーニングを実行することに対して許可がないという風なエラーメッセージ・・・
有料じゃないと進めないのか・・・と思っていたがここから進むにあたってインスタンスを変更する必要があった。デフォルトではml.t2.mediumとなっていたが、これをml.m4.xlargeに変えて実行することでこのエラーを乗り切ることができた。
よっしゃあこれでいけるぞおお
.
.
.

またエラーかいいいいいいい
簡単に説明するするとこのアカウントのリソースが限度に達したので、AWSサポートに問い合わせて上限解放して的なことが書いてあるみたい。
無料枠だとこれが限界みたいです泣

教授にClass roomの申請をお願いして続きを行うことにした。ここにClass roomの紹介を記したサイトを示す。これは教育者と学生がクレジットカードを使用せずにプロジェクトを実行できるように作られた機能で、申請には理由と所属がわかるリンクなどが必要であり、審査を通らなければならない（みたい）
https://aws.amazon.com/jp/blogs/publicsector/introducing-aws-educate-classrooms/
インスタンスをml.t2.mediumに変更し、実行するとなんとか動かすことができた。
トレーニング・・・ml.m4.xlarge
ホスティング・・・ml.t2.medium
#####※ちなみに

一つのインスタンスに対しては一つのエンドポイントが対応しており、同時に複数の実装を行おうとすると上記のようなエラーが表示される。なので一つ機械学習の内容が終わったらエンドポイントを削除しておくことをおすすめする。

すると以下のように結果が得られた。これは100個分の推論結果であり、100個の手書き数字の画像を分類分けしたものの一部である。違う数字が混じっているのもあるが大体分類分けできていることが確認できる。

ここでGoogle　Colaboratoryに移行する。

Google Colaboratory

　こちらは特別な手続きが少ないうえにブラウザとインターネットさえあれば機械学習のプロジェクトが始めることができる。実際に使ってみた。
###メリット

環境構築がほぼ不要

　Google Colaboratoryはジュピター・ノートブックをクラウド上で動かすが、PythonやNumpyなど、機械学習で必要なほぼ全ての環境がすでに構築されている。必要なのはブラウザのみで、すぐに機械学習を始めることが可能。

チーム内での共有が簡単

　Google Colabで書いたコード（ノートブック）は、グーグルドライブで保存される。なので、チーム内でノートブックの共有などが非常に簡単で、かつ権限管理などGoogle Drive上で行えるので安心。

GPUを含めて無料で利用が可能

　Google Colabがこれだけ話題になったのも、GPU（Tesla K80 GPU）が無料で使えるためである。機械学習では大規模なデータを、高負荷がかかる計算をすることが多々ある。GPU環境を使うことで、時間短縮が可能。・・・しかも無料で使える。
###デメリット

データの読み込みなどで特殊な処理を覚える必要がある

　今までローカルで使っていたデータセットなどを読み込む際に、一つ処理を加えてあげる必要がある。Google DriveのAPIを利用したり、PyDriveなどのラッパーを利用してデータを読み込む必要がある。難しい処理ではないので、一度覚えてしまえば特に問題にはならない。

Jupyter Notebookと使い勝手が多少異なる

　ショートカットキーの設定を変更したり、セルの追加や削除などの基本的な操作方法に慣れる必要がある。

連続で12時間までしか使用できない

　ノートブックを開いて12時間までしか使用できないので開いたままにして保存を忘れているとせっかく実行した内容をもう一度初めからやり直さないといけなくなる。筆者も保存を忘れていて発表の際に実行しなおして時間がかかった覚えがある。セッションが切れてから90分以上経つと、インスタンスが落とされる仕様になってるため、そもそも重い処理を長時間かけて回す、学習させるといった用途には向いてない。

実際に筆者もGoogle Colaboratory試してみてあまりのお手軽さに驚いた。

###Google Colaboratoryを利用するには・・・
####1．Googleアカウントを作成
Googleアカウントを作成して以下のサイトにアクセスする
https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja
####2．左上のファイルからPython3の新しいノートブックを作成をクリック

.
.
.
終了！　。。。。え？これだけ？

その後以下のサイトを参考にして２つほど試して動かしてみた。こちらもプログラム等は割愛する。
➀手書き数字の認識
➁画像から顔を検出してモザイクをかける
https://ueqareer.net/2980

####➀手書き数字の認識
まず、MNISTとよばれるデータケースを使って、手書き数字の認識を行う。
MNISTとは手書き数字画像60000枚とテスト画像10000枚を集めた画像データセットのことで以下の図のようにそれぞれの数字の画像が含まれている。

詳細な内容やプログラムは大体どの機種で試しても変わらないのでここでの説明は省くことにする。GoogleColaboratoryではGoogleDriveをマウントする必要がある。その後、GoogleDriveのなかにディレクトリを作成し、手書き画像用のフォルダを作成してそのフォルダに移動する。

ここで簡単かつ重要なのが
フォルダに画像をアップロードするだけで使える
ということである。
　機械学習では基本トレーニングを行い、モデルを作成して未知のデータに対する動きをみて結果を確認するが、大体のExample（特にAWS）は元のデータケースから訓練用データとテスト用データにわけておき、最後のホスティングの段階でそのテスト用データを使って結果を確かめることが多い。しかし、新しく加えたデータに関するテストを行うには手がかかる。そういう意味ではGoogle Colaboratoryは非常に便利で、画像をアップロードし、プログラム内で画像のURLを参照しているところを変えるだけで済むのである。これは非常に便利な機能である。画像を扱う内容の機械学習をやる者にとっては助かることが多い。

実際に動かしてみると

このように結果が得られる。上の画像をGoogleドライブにおき参照すると正しくそれが５であると認識している。

####➁画像から顔を検出してモザイクをかける
次に画像から顔を認識してモザイクをかける。
こちらも大体の工程は➀と大して変わらない。どうやって顔を認識するのか、どうやってモザイクをかけるのか簡単に解説する。
#####・顔検出について
そもそも画像のこの部分は人の顔/人の顔ではないという判定をする評価器が必要で、それには通常何千枚というテストデータを学習させて作らないといけないが、OpenCVには標準で多くの識別器がついており、正面顔検出の識別器も存在する。今回はそれを利用する。

#####・モザイクのかけ方
今回は非可逆変換のモザイク処理を行う。
OpenCVにはモザイク処理のライブラリがないので自分で作らないといけない。下図のように一定領域の色情報を読み込んでその平均値を算出し求められた結果をもとに画像を処理する方法を使う。

実行すると以下のような結果が得られた。

正面を向いていなかったりかなり個性的な顔をしている者は顔と認識されず、モザイクがかからなかった。

##まとめ
これら２つの簡単な機械学習を通して自分なりに評価をしてみた。Exampleというのは俗にいう実行例のことである。AWSでは次のようなサイトから得ることができる。https://github.com/awslabs/amazon-sagemaker-examples

　気軽に機械学習を触りたい！という方ならGoogle Colaboratoryをおすすめする。AWS Educateでは無料でできるとは書いてあるものの実行していくなかで制限があり、申請にも時間がかかってしまう。また、新しいデータを使ってテストする際もGoogle Colaboratoryの方がより手軽に実行できるのも良い点だといえる。
　しかし、これから長く機械学習を行っていくならExampleの数も多く、世間一般的にも流通しているAWSの方がよいと感じた。実際にQiitaの記事数をみても圧倒的にAWSに関する記事の方が多く、まだまだGoogleColaboratoryが流通していないことがわかる。

初めてのQiitaへの投稿なので分かりにくい表現や正しいかどうか危ういところもあったと思うがご了承いただきたい。また、細かいプログラムなどは文量的に書けず、途中URLを貼らせていただいた。
ここまで読んでいただきありがとうございました。