#はじめに
今回は初、Databricksに触れていきます。
機械学習の構築で難しいところは、データソースに欠損値が含まれていたり、メモリに収まらない可能性があることです。
さらに、アルゴリズムの知識だけでなく、マシンアーキテクチャと分散システムの知識も必要とされます。

#Databricksを使う良さ

Databricks はそんな気難しい機械学習プロセスを、簡略化します。
表形式のデータで、機械学習モデルをトレーニングするエンドツーエンドの例をチュートリアルでやっていきます。
#手順について
このチュートリアルでは、次の手順について説明します。

ローカルマシンから、Databricksファイルシステム（DBFS）にデータをインポートする
Seabornとmatplotlibを使用して、データを視覚化する
並列ハイパーパラメータースイープを実行して、データセットで機械学習モデルをトレーニングする
MLflowを使用して、ハイパーパラメータースイープの結果を調べる
MLflowで最もパフォーマンスの高いモデルを登録する
Spark UDFを使用して、登録済みモデルを別のデータセットに適用する

この例では、ワインの物理化学的特性に基づいて、ポルトガルの『Vinho Verde』ワインの品質を予測するモデルを作成します。

物理化学的特性からの、データマイニングによるワインの好みのモデリング [Cortez et al。2009] に示されている
『UCI Machine Learning Repository』のデータセットを使用しています。

#クラスターの起動
Databricksランタイム6.5 ML以上を実行しているPython 3クラスターを起動します。

#ファイルのアップ
このセクションでは、Webからデータセットをダウンロードして、Databricksファイルシステム（DBFS）にアップロードします。

https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/
この両方をダウンロードします。
[winequality-red.csv][winequality-white.csv]

このDatabricksノートブックから、[ ファイル] ＞＞[ データのアップロード]を選択し、このファイルをドラッグアンドドロップターゲットにドラッグして、DBFSにアップロードします。

[ファイル] ＞＞[ データのアップロード ]オプションがない場合は、Databricksサンプルデータセットからデータセットをロードできます。コードの最後の2行をコメント解除して実行します。

データをロードするための自動生成コードが表示されます。

#データをマージする
pandasをインポートし、サンプルコードをコピーします。
新しいセルにコードを貼り付けます。

[ファイル]＞＞[データのアップロード]メニューオプションがある場合は、前のセルの指示に従って、ローカルマシンからデータをアップロードします。

pandas を pd としてインポートします。
次の行で、『username』をユーザー名に置き換えます。

import pandas as pd

white_wine = pd.read_csv("/dbfs/FileStore/shared_uploads/<username>/winequality_white.csv", sep=';')
red_wine = pd.read_csv("/dbfs/FileStore/shared_uploads/<username>/winequality_red.csv", sep=';')


# [ファイル]> [データのアップロード]メニューオプションがない場合は、これらの行のコメントを外して実行し、データセットをロードします。 
#white_wine = pd.read_csv ("/ dbfs / databricks-datasets / wine-quality / winequality-white.csv", sep = ";") 
#red_wine = pd.read_csv ("/ dbfs / databricks-datasets / wine-quality /winequality-red.csv", sep= ";")

ワインが赤か白かを示す新しいバイナリ機能「is_red」を使用して、2つのデータフレームを1つのデータセットにまとめます。

red_wine ['is_red'] = 1 
white_wine ['is_red'] = 0 

data = pd. concat ([ red_wine, white_wine ], axis = 0) 

# Remove spaces from column name data. 
Rename (column = lambda x: x. Replace ('','_'), In Place = True)

#データを可視化する
モデルをトレーニングする前に、Seaborn と Matplotlib を使用してデータセットを探索します。
従属変数（関数 y ＝f （x ）において、独立変数 x の変化に応じて変わる y をいう語。）である、品質のヒストグラムをプロットします。

import seaborn as sns
sns.distplot(data.quality, kde=False)

品質スコアは通常3から9の間に分布しているようです。
品質が7以上のワインを高品質と定義します。

high_quality  =  ( data . quality  >=  7 ) . astype ( int ) 
data . Quality = high_quality

ボックスプロットは、特徴とバイナリラベルの間の相関関係を知るのに役立ちます。
matplotlibをインポートします。
pyplot として PLT と記します。

import matplotlib.pyplot as plt

dims = (3, 4)

f, axes = plt.subplots(dims[0], dims[1], figsize=(25, 15))
axis_i, axis_j = 0, 0
for col in data.columns:
  if col == 'is_red' or col == 'quality':
    continue # Box plots cannot be used on indicator variables
  sns.boxplot(x=high_quality, y=data[col], ax=axes[axis_i, axis_j])
  axis_j += 1
  if axis_j == dims[1]:
    axis_i += 1
    axis_j = 0

上記の箱ひげ図では、いくつかの変数が品質の一変量予測子として際立っています。

アルコールボックスプロット

高品質ワインのアルコール度数の中央値は、低品質ワインの75分位よりも高くなっています。
高アルコール含有量は品質と相関しています。

密度ボックスプロット

低品質のワインは高品質のワインよりも密度が高くなっています。
密度は品質と反比例します。

では２に続きます。

#公式サイト
databricks