背景と目的
機械学習工学 / MLSE Advent Calendar 2018 23日目の記事です。
Hasktorchというテンソルの型をコンパイル時にチェックできる機械学習のライブラリの話です。
機械学習で使用するベクトル、行列、テンソルの型をコンパイル時にチェックしたいという要求があります。ここでいう型はベクトルの場合は数字の型（intやfloatなど）とその大きさ・長さ(RGBの色であれば3）です。
コンパイルでなくて実行時チェックだと検証に漏れがでてくる恐れがありますし、JaSST Tokyo 2018の招待講演の資料にもありますがコンパイルでテストできればテストファースト開発におけるフィードバックループが短くなるので開発の効率が高いです。
しかし、コンパイル時にテンソルの型をチェックするのは困難で依存型を使う必要があります。依存型を扱える言語はCoq、Agda、Idris、Haskellがあります。現状、依存型が使えるプログラム言語で各種ライブラリや汎用的な用途で使える実用的な言語はHaskellだけです。
そういう中、ICFP2018での発表(動画)でPythonのpytorchにあたる機械学習のライブラリであるHaskellのHasktorchがでました。
残念ながら後にも問題を書きますが、Hasktorchは動かすのが難しく、全く評価できませんでした。今回はビルドしてDockerイメージを作成しました。
Hasktorch とは
Hasktorchはテンソルやニューラルネットワークを扱うHaskellのライブラリです。PyTorchで使っているコアのC++言語のライブラリ(ATen)を使っています。新しいcabal (newがつくコマンド)とBackpackを使って開発しています。
Backpack?（ちょっと脱線）
Backpackはひな形のパッケージから特定の型（intとかfloat）のパッケージを作るのに利用します。例えば下記のC言語のaddの例のように型Tに対して関数を作っておき、defineで置き換えて特定の型の関数をつくるようなものです。
T add(T a,T b){
return a+b;
}
//上記のファイルから下記の関数をdefineで作る。
#define T int
int add(int a,int b){
return a+b;
}
ひな形から特定の型をするのにcabalファイルのmixinsを使います。
下記の例だとStr(ひな形)をStr.String.Partial(特定の型)に置き換えています。
mixins:
str-sig requires (Str as Str.String.Partial)
backpack-strにより実践的な使い方があります。
HasktorchはBackpackを使うためstackでなくてcabalを使って開発しています。stackがBackpackをサポートしたらstackに切り替わるかもしれません。
型の書き方
型の書き方ですが、公式のサンプルによるとdoubleの3x2の行列で値が1,2,3,4,5,6なテンソルは下記のように書きます。:: DoubleTensor '[3, 2]がテンソルの型です。
Just (listVec2 :: DoubleTensor '[3, 2])
<- fromList [1, 2, 3, 4, 5, 6]
値の宣言は簡単ですが、関数はどうでしょうか。flattenというテンソルからベクトルに変換する関数は下記のようになっています。入力のテンソルの次元がdで出力のテンソルの次元が[Product d]となっています。
d=[1,2,3]なら[Product d]=[6]となります。
-- | flatten a tensor (pure, dupable)
flatten :: (Dimensions d, KnownDim (Product d)) => Tensor d -> Tensor '[Product d]
flatten = resizeAs
もっと実用的な例は10以上ありますので、次回評価したいと思います。
環境構築
Hasktorchはインストールが難しいです。関連するソフトも特定のバージョンでないと動作しません。そのことが今回の試行の障害になりました。nvidia-docker上で動作するDockerfileを用意しました。
簡単にまとめると下記のプログラムが必要です。
- ghc-8.4.4 (haskellのコンパイラ）
- cabal-2
- cuda-9 (cuda-10では動きません)
- python-3 (python-2では動きません)
- cmake-3
- ATen
遭遇した問題は下記のようなものです。
- ATenがcuda-10に対応していない。
- ATenのビルドでcmakeがSSE3などの拡張命令を検出するところでpythonを使っているがpython2だとCMAKE_REQUIRED_FLAGSが動かないため検出に失敗する。
- ghc-8.4.3だとcabalのパッケージの依存関係のチェックに失敗する。
- nvidiaのドライバの問題でCPUが常時高負荷（そのためドライバ再インストール）
特定のバージョンでないと動かない問題に対してDockerはいいソリューションであることを再認識しました。