LoginSignup
30

More than 3 years have passed since last update.

【王者DataRobot・最新ツールRealityEngines・無料のVARISTA 】AutoMLツールを比較してみた。【機械学習】

Posted at

はじめに⚡️

私が実際に触って、体感したことのある3つのAutoMLツールに関する記事です。

あくまで、UI/UX、サービス視点での比較になります。

生成されたモデルの精度の比較ではございませんのでご注意ください。
なぜ、精度の比較をしないのか?🤔
それは、現在私が利用できないツールが含まれているからです。
DataRobotやRealityEnginesに関しましては、私がアーリーアクセスで一時的に利用していたため
現在推論を行うことができませんでした。

各リンク🌍

DataRobot 👉 https://www.datarobot.com/
RealityEngines 👉 https://realityengines.ai/
VARISTA 👉 https://www.varista.ai/

王者DataRobot

👉 https://www.datarobot.com/
スクリーンショット 2020-06-04 21.31.22.png
AutoMLの先駆者であり、王者と言えばDataRobotですね。
世界のグランドマスターを牛耳っていると言っても過言ではありません。
それにともなって、モデルの精度や機能の多さは群を抜いています。
しかし、その分コストも高く、利用料金は1ユーザー1ヶ月○百万円だとか...
導入してる会社で働いて、ガッツリ使い込んでみたいものです。

最新ツールRealityEngines

👉 https://realityengines.ai/
スクリーンショット 2020-06-04 21.36.00.png
まだ知らない方も多いのでは?
知る人ぞ知る、RealityEngines.AI
こちらのサービス、現在はまだサービスインしていなく(2020年6月現在)、つい最近アーリーアクセスを行っていたため応募して触ってみました。
テーブルデータだけでなく、自然言語や画像などのディープラーニングにも対応しているみたいです。(触ってない)

無料のVARISTA

👉 https://www.varista.ai/
スクリーンショット 2020-06-04 21.40.19.png
こちらも、新しめのツールVARISTA.AI
上の二つと一番違うのは、すぐに無料で使い始められることです。
UIもシンプルで機械学習がわからない人でも、とりあえずモデル生成できるよう設計されています。

さっそく比較🚀

各ツールにグッドなところを👍でまとめていきます。

データまわりのUI/UX

データのアップロード

DataRobot

スクリーンショット 2020-04-01 19.33.12.png
👍 エリア内にファイルをドラッグアンドドロップするほか「DataSource」、「URL」、「HDFS」に対応しています。
👍 サンプルファイルが下のリストから選択できるのはとてもいい機能。
データに関する知識がそこまでない、これから機械学習を初めて行く方には、これらのサンプルデータ内から、自分たちにあったものを探して、実際に触ってみることができるのは大きいです。

RealityEnginesスクリーンショット 2020-05-08 9.34.47.png

👍 ユースケースを選んでプロジェクトを作れる。
ビジネスユーザにはとてもわかりやすい機能ですね。
スクリーンショット 2020-05-08 9.36.00.png
ユースケースを選んでプロジェクト名を設定するとデータアップロード画面になります。
👍 必要なデータを教えてくれる
売り上げ予測にはこんなデータを用意してくださいっていうのを教えてくれます!神機能スクリーンショット 2020-05-08 9.37.15.png
データの各列とアイテムID、ターゲット列などをマッピングします。

VARISTA

スクリーンショット 2020-06-04 22.05.13.png
👍 UIをみていただければ分かる通り、とてもシンプル
スクリーンショット 2020-06-04 22.06.34.png
予測したい列を選択して、単位を設定すると完了

データの確認、分析

DataRobot

スクリーンショット 2020-04-17 22.31.20.png
アップロードしたデータは、このようなリストで確認できます。
必要そうな情報はだいたいありますね。
スクリーンショット 2020-06-04 22.10.40.png
👍 学習を始めると、FeatureImportanceもここに表示されます。

RealityEngines

スクリーンショット 2020-05-08 9.41.10.png
👍 時系列だと、アイテムごとの需要の変化が可視化されています。
スクリーンショット 2020-05-08 9.41.34.png
ヒストグラム各種情報は同じように確認できます。

VARISTA

スクリーンショット 2020-06-04 22.14.27.png
列の一覧が確認できます。
👍 学習に利用するかどうか、欠損値の量が一眼でわかります。
スクリーンショット 2020-06-04 22.15.40.png
集計情報から同じように情報を確認できます。

学習・モデル生成

DataRobot

スクリーンショット 2020-04-18 13.15.46.png
Startボタンを押すと学習開始
スクリーンショット 2020-04-18 13.28.49.png
学習完了したモデルからどんどん結果が表示されていきます。
👍 アンサンブルモデルを含め、膨大な量のアルゴリズムをランキング付してくれるため、安心感があります。

RealityEngines

スクリーンショット 2020-05-08 9.38.59.png
Train modelボタンを押すと、学習が開始されます。
スクリーンショット 2020-05-08 9.40.09.png
学習が始まるとダイアログが表示されます。
👍 あとは完了するまで待つだけ。

VARISTA

スクリーンショット 2020-06-04 22.24.03.png
学習開始ボタンを押すと学習が開始されます。
スクリーンショット 2020-06-04 22.24.17.png
👍 モデルが追加され、学習プロセスがチェックできます。終わるまで待ちましょう。

モデル評価

DataRobot

DataRobotのとても強いところです。
スクリーンショット 2020-04-17 22.45.57.png
画面は二値分類の結果画面です。
👍 各種スコアから、Confusion Matrix, ROC Curve, Thresholdなど、必要な情報はすべてあります。
スクリーンショット 2020-04-18 13.35.55.png
👍 回帰問題では予測値のプロットも確認できます。
スクリーンショット 2020-04-18 13.55.26.png
**👍 部分依存により、どの特徴のどの値が推論に影響を与えているかも確認できます。

RealityEngines

👍 とにかくシンプルです。
スクリーンショット 2020-05-08 9.47.21.png
他に情報がないのか、目を疑いました。
👍 ターゲットとなるユーザーが機械学習エンジニアではなくビジネスユーザーのためか、細かいところはすべてツールに任せろと言わんばかりです。

VARISTA

みやすさ、情報量のバランスが◎
スクリーンショット 2020-06-04 22.41.20.png
👍 スコアという概念でモデルの性能が一目瞭然
単位がついているので誤差が理解しやすいのもいいですね。
👍 FeatureImportanceや予測のプロットも確認できます。
スクリーンショット 2020-06-04 22.44.11.png
分類問題ではわかりやすく表示された混同行列的なものも確認できます。
👍 閾値の探索も自動でやってくれます。

推論

DataRobot

スクリーンショット 2020-04-18 14.04.12.png
利用するモデルをリストから選択し、Predictionを選びます。
次に推論データをアップロードします。
スクリーンショット 2020-04-18 14.12.17.png
👍 推論が実行されるので、完了したら結果をダウンロードすれば完了。

RealityEngines

スクリーンショット 2020-05-08 9.51.59.png
ファイルを選択し、予測値を推論することができます。
👍 シンプルでわかりやすい

VARISTA

スクリーンショット 2020-06-04 22.45.37.png
推論に利用するモデルを指定して、予測を行います。
👍 推論データに必要な列が表示されています。
スクリーンショット 2020-06-04 22.46.13.png
👍 予測時のフォーマットを設定できるのはkaggleなどにSubmitするときなどに重宝するかもしれません

その他 それぞれ注目の機能😍

DataRobot

Validation Predictions
スクリーンショット 2020-04-01 19.19.05.png
👍 見た目もかっこいいが、それだけじゃない。検証データの予測値とその結論に至った理由が明記されています。
いわゆる決定木の通ったルートをカッコよく表示してくれる機能です。
なんでこの予測値になったのかが確認できるのは、ビジネス面でも非常に重要ですね。

モデル比較
スクリーンショット 2020-04-01 19.29.36.png
生成したモデル同士を比較することができます。
👍 どんな点が優れているのか、どのモデルを利用するべきなのかを把握するのに使いましょう

RealityEngines

フォーム入力による推論
スクリーンショット 2020-05-08 10.28.58.png
👍 データからではなく、その場で値を入力し、予測値を確認できます
どんな感じのモデルになったかすぐに確認できるので便利

VARISTA

クイックビジュアライズ
スクリーンショット 2020-06-04 22.56.26.png
スクリーンショット 2020-06-04 22.56.40.png
👍 データをアップするだけで、ヒストグラム、相関関係、ヒートマップを可視化してくれます。
文字通り何もしなくていいです。さらに、jpgやpngに書き出すことも可能。

データリーク・過学習検知
スクリーンショット 2020-06-04 22.58.48.png
過学習や、データリークによって精度が異常に高くなってしまうことありますよね。
👍 データに詳しくない人でも、何が原因でどうすればいいのか指示が出るのがすごい

おわり🍕

以上、3つツールを比較してみました。
それぞれとても優秀なツールでしたね。これからどんどん新しい機能が入っていくのもSaaS型ツールのいいところですね。
AutoML自体の進化にも目が離せません。
それでは良いAutoMLライフを✨

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
30