はじめに
久しぶりの勉強会まとめです。今回はAI×Blockchain - GMO次世代勉強会 2019 fall【渋谷】に参加してきたのでその内容についてまとめます。
ディープラーニングの学習を効率化するメタ学習と転移学習を検証してみた
最初にAIと人工知能の振り返りの話がありましたが、ここでは省略します。ベーシックなニューラルネットワークについては過去に書いた記事があります。
ディープラーニングの課題として時間とお金があります。その課題の解決のためにメタ学習と転移学習を利用します。
メタ学習
メタ学習は端的に言うと学習方法を学習する手法です。機械学習の基本となるパラメーターの最適化・loss関数などの学習プロセスすべてを学習します。ハイパーパラメータの学習にはfew-shot learningを利用して学習のコストを抑えます。
ここではModal-Agnostic Meta Learning(MAML)という手法について紹介されました。この手法を用いてRegresssionの学習に適用させました。具体的には日本気象庁の過去の100年分の月ごとの気温を教師データとして、一年間の気温の変化を学習させて高い精度を出すことができました。
転移学習
転移学習とは優れたタスクのモデルを使って他の学習に転用する手法です。ここでは音声に適用した例を紹介されました。実験では池と滝の音ファイルを学習させました。音の波形を画像データとして、分類のための学習コストVGG16モデルを転移学習させたものと普通のCNNと比較して学習コストを抑えられていることが確認されました。
Plasmaの研究トレンド
既存のブロックチェーンのEthereumはスケーラビリティという課題があります。このPlasmaはEthereumのコントラクトをより最適化させるための仕組みです。この方法を用いるとブロックチェーンを並行的に計算を行うことができるので1秒間に数十億のトランザクションが実行できると見込まれています。ここでは、Plasmaの研究の歩みについて紹介されました。Plasmaは現段階では送金のみにこの手法が適用されていますが、今後はさらに多種多様なことにこのPlasmaが適用させるために研究が進められています。
私はブロックチェーンについての知識があまりなかったので、細かい内容までまとめることができませんでした。。。Qiita書きながら聞くと細かい内容を聞き流してしまうので、細かい話を掘り下げていく形のセッションだと何もわからなくなってしまうので良くありませんね（笑）ここのページに基礎的な内容がまとまっていたのでこれを読んで勉強してみようと思います。
金融×最先端技術：FX予測においてON-LSTMとGANはLSTMに勝てるのか？
時系列予測あるあるのFX予測的なものがこのセッションでした。このFXの為替レートをLSTMとGANとON-LSTMそれぞれで予測したもので比較します。用いたライブラリはtensorflowとkerasでした
LSTMで予測
データをforextesterの2018/1-2019/1の物を使い、60日ごとに区切ります（バッチサイズ）。その学習データをもとに売り買いのルールを学習させます。今回は200回の学習を行って、2.107のRMSEと0.968のCorr（相関係数）という結果で、実際に売り買いを行うと－４５万という結果でした。
ON-LSTMで予測
この手法は端的に言うとLSTMの改善版です。活性化関数にcumsumを用いて既存のLSTMの各ユニットの独立という課題を改善させることができるとのことです。
学習回数は同様で、1.6732のRMSEと0.97のCorr（相関係数）という結果でした。しかし実際の売り買いではあまりLSTMとの変化はありませんでした。。。
GAN+ON-LSTMでの予測
GANのGeneratorにON-LSTMを用いてFX予測の精度を高めるという試みです。学習回数は同様で、3.860のRMSEと0.873のCorr（相関係数）という結果でした。逆に精度が悪くなるという結果でした。
statefullを使う
あまりよろしくない結果だったので、statefullの機能を追加して各バッチごとのデータを保持させるという危険な方法を試してみたとのことです。このことでLSTMとON-LSTMでより高い精度を出すことができて実際の売り買いで黒字を出すことができました。
発表資料には実装のポイントなどがまとめられているので、イベントページにUPされるであろう資料を見てみてください。
さいごに
各セッションについての資料は後日上がると思いますのでイベントページを追っかけてみてください。機械学習もそうですが、なんだかんだでBlockchainもまだ熱い分野なんだなと感じました。