LoginSignup
4

More than 5 years have passed since last update.

Azure MLで相関行列の作成

Last updated at Posted at 2016-11-10

「Azure Machine Learningで相関行列の作成ができないか」というご質問があったのでやってみたらできた。

TL;DR

  1. Azure Machine Learning Studioで相関行列は計算できる。
  2. Statistical Functionsから、Compute Linear Correlationを使えばOK。
  3. サンプルはCortana Intelligence Gallery: 相関行列サンプルを参照。

用語の説明

相関行列

大雑把に言うと、異なるデータ間の関係性の強さを表すもの。

正確な定義は例えば、分散共分散行列と相関行列にある。

Azure ML (Azure Machine Learning)

Microsoftの提供する機械学習プラットフォーム。

様々なことができるみたいだけれど、あまり詳しくない。

Azure Machine Learning

手順

I. 使うデータセットの選定

Azure Machine Learning Studio上で使いやすいデータとして、Automobile price data (Raw)が提供されているのでそれを用いる。

参考: Machine learning tutorial: Create your first data science experiment in Azure Machine Learning Studio

II. 前処理

欠損値の処理

Automobile price data (Raw)には欠損値が含まれるのでそれを省く。今回は欠損値をいかに補うかは主眼としないので、単純に欠損値の多いデータや、欠損値を含むデータを削除する。

手順はMachine learning tutorial: Create your first data science experiment in Azure Machine Learning StudioのStep2にほとんど同じ。

1. normalized-lossesカラムの削除

Select Colums in Datasetを使う

スクリーンショット 2016-11-10 22.35.40.png

繋いで…

スクリーンショット 2016-11-10 22.36.46.png

normalized-lossesカラム以外のデータを取り出す

スクリーンショット 2016-11-10 22.37.44.png

2. 欠損値を含む行の削除

num-of-doors, bore, stroke, horsepower, peak-rpm, priceは欠損値を含む。欠損値を含む行を削除する。

Clean Missing Dataを使って実行。

スクリーンショット 2016-11-10 22.44.08.png

3. 数値データの抜き出し

今回は文字列を数値に置き換える(ダミー変数を用いるとか)ことはせずに、数値データだけ抜き出す。

Select Colums in Datasetを使う。

スクリーンショット 2016-11-10 22.53.54.png

設定はこのようにする。

スクリーンショット 2016-11-10 22.54.30.png

そうすると、文字列で構成される行をフィルタリングできる。

スクリーンショット 2016-11-10 22.55.09.png

II. 相関行列の計算

Statistical Functionsから、Compute Linear Correlationを使う。設定はないのでつなぐだけ。

スクリーンショット 2016-11-10 22.57.58.png

無事出力された。

スクリーンショット 2016-11-10 22.59.11.png

III. CSVでダウンロード

「エクセルで扱いたいんだけど」という声がなんとなく聞こえたので、CSVで出力する。

Data Format ConversionsからConvert to CSVを使う。これもつなぐだけ。

スクリーンショット 2016-11-10 23.00.56.png

最後の◯を右クリックすると、Downloadが出現する。

スクリーンショット 2016-11-10 23.03.24.png

これをクリックするとCSVファイルがダウンロードできる。

Reference

Cortana Intelligence Gallery: 相関行列サンプル

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4