はじめに
この記事では、Oracle Data Mining の機能を活用した Data Mining 手順例を記載します。Oracle Data Mining は Oracle Database Enterprise Edition の Advanced Analytics Option に含まれているコンポーネントの一つです。
※2019年12月にAdvanced Analytics Option は Oracle Machine Learning としてOracle Database に包含され、Edition に関係なく活用できることになりました。
参考：https://www.oracle.com/database/technologies/oaa-osg-licensing-change-faq.html
Oracle Data Mining とその活用メリット
Oracle Data Mining の特徴として以下が挙げられます。
- 主なマイニング機能は DBMS_DATA_MINING パッケージとしてDBにビルトイン済み
- インターフェースとしてPL/SQL, SQLが用意されているためインプリが容易
Oracle Data Mining等による In - Database Analytics の特徴として以下が挙げられます。
- DBのセキュリティ・メカニズムで保護
- データの移動や準備にかかるマイニングプロセスを簡略化可能
- DBサーバーのリソースを活用可能
Oracle Data Mining には代表的なマイニング機能が含まれています。以下は主なマイニング機能とアルゴリズムです。
-
教師あり機能、アルゴリズム
- 分類：ディシジョン・ツリー、明示的セマンティック分析、Naive Bayes、ランダム・フォレスト
- 時系列：指数平滑法
- 分類と回帰：一般化線形モデル、ニューラル・ネットワーク、サポート・ベクター・マシン
- 属性評価：最小記述長
-
教師なし機能、アルゴリズム
- 相関：Apriori
- 属性評価:CUR行列分解
- クラスタリング：期待値最大化、k-Means、直交パーティショニング・クラスタリング
- 特徴抽出：明示的セマンティック分析、Non-Negative Matrix Factorization、特異値分解および主成分分析
- 異常検出：1クラス・サポート・ベクター・マシン
Oracle Data Mining 実行手順
例としてランダム・フォレストを活用した分類を実行してみます。
ランダム・フォレストとは
ディシジョン・ツリーを応用した手法。ディシジョン・ツリーは多変量の教師データから条件式を作り、予測の際には root nodeから順番に条件を辿り、leaf nodeに到達すると予測結果を返すアルゴリズム。
ランダム・フォレストはディシジョン・ツリーの集団学習を行い、性能の良い複数学習器の予測結果を多数決で結合する（アンサンブル学習） 。データに前提条件を設けず高精度なクラス分類が可能。
用途としては、無料会員・有料会員の混在するテストデータでモデルを作成し、スコアリング用データで有料会員になる可能性の高い顧客の分類や、機器のセンサーデータから正常・異常の分類等に利用可能です。
手順の試行環境
- Oracle Database 18.3 Enterprise Edition - Advanced Analytics Option
ユーザー準備
-- ユーザー作成
CREATE USER dmuser IDENTIFIED BY dmuser
DEFAULT TABLESPACE users
TEMPORARY TABLESPACE temp
QUOTA UNLIMITED ON users;
-- データ・マイニングの権限付与
GRANT CREATE MINING MODEL TO dmuser;
GRANT CREATE SESSION TO dmuser;
GRANT CREATE TABLE TO dmuser;
GRANT CREATE VIEW TO dmuser;
GRANT EXECUTE ON CTXSYS.CTX_DDL TO dmuser;
-- トレーニング用テーブル（またはビュー）へのアクセス権限付与
GRANT SELECT ON yimaaa.customer TO dmuser;
-- スコアリング用テーブル（またはビュー）へのアクセス権限付与
GRANT SELECT ON yimaaa.customer_apply TO dmuser;
-- データ・マイニングのシステム権限
GRANT CREATE MINING MODEL TO dmuser;
GRANT SELECT ANY MINING MODEL TO dmuser;
モデル設定表の作成
表名は任意ですが、列名とデータタイプは固定です。
CREATE TABLE RF_SETTING(setting_name varchar2(30), setting_value varchar2(4000));
INSERT INTO RF_SETTING VALUES ('ALGO_NAME', 'ALGO_RANDOM_FOREST');
commit;
アルゴリズム名は以下を参照
https://docs.oracle.com/cd/E96517_01/arpls/DBMS_DATA_MINING.html#GUID-409BAB5C-3D02-4495-A68C-F117033C555B
アルゴリズムの設定は以下を参照。適宜設定してください。
https://docs.oracle.com/cd/E96517_01/arpls/DBMS_DATA_MINING.html#GUID-24047A09-0542-4870-91D8-329F28B0ED75
マイニング・モデルの作成
BEGIN
DBMS_DATA_MINING.CREATE_MODEL(
model_name => 'RF_MODEL',
mining_function => dbms_data_mining.classification,
data_table_name => 'CUSTOMER', -- 学習用テーブル名
case_id_column_name => 'ID', -- テーブルのケースID
target_column_name => 'STATUS', -- 学習用テーブルのターゲット列
settings_table_name => 'RF_SETTING', -- モデル設定表
data_schema_name=> 'YIMAAA' -- 学習用テーブルの保持スキーマ
);
END;
/
マイニング・モデルにスコアリング用データを適用
BEGIN
DBMS_DATA_MINING.APPLY (
model_name => 'RF_MODEL', -- 適用するモデル名
data_table_name => 'CUSTOMER_APPLY', -- スコアリング用テーブル、またはビュー
case_id_column_name => 'ID',
result_table_name => 'RF_MODEL_RESULT', -- 結果が保存される表
data_schema_name => 'YIMAAA' -- スコアリング用テーブルの保持スキーマ
);
END;
/
CUSTOMER_APPLYテーブルはスコアリング用のためSTATUS列は不要です。
結果確認
DBMS_DATA_MINING.APPLYプロシージャの"result_table_name"オプションにて指定したテーブルに結果があります
IDごとにPREDICTION（予測）とそのPROBABILITY（確率）が算出されています。
このケースでは、学習用テーブルのターゲット列"STATUS"には"TRUE"か"FALSE"が指定されていたため、PREDICTIONは"TRUE"か"FALSE"それぞれの確率となっています。
SQL> SELECT id, prediction, probability FROM dmuser.rf_model_result;
ID, PREDICTION ,PROBABILITY
------------,------------------,-----------
151 ,FALSE , 7.85E-001
151 ,TRUE , 2.15E-001
152 ,FALSE , 8.015E-001
152 ,TRUE , 1.985E-001
153 ,FALSE , 8.015E-001
153 ,TRUE , 1.985E-001
154 ,FALSE , 7.869E-001
154 ,TRUE , 2.131E-001
・
・
・
結果の判定にあたり、影響度の大きいカラムは"dm$va＜モデル名＞"で確認ができます。
SQL> col attribute_name for a10
SQL> SELECT attribute_name, attribute_importance FROM dm$varf_model ORDER BY attribute_importance;
ATTRIBUTE_,ATTRIBUTE_IMPORTANCE
----------,--------------------
COL9 , 5.425E-001
COL2 , 3.431E-001
・
・
・
その他ディクショナリ・ビュー
作成されたモデルの確認
col model_name for a15
col mining_function for a15
col algorithm for a15
col ALGORITHM_TYPE for a15
col creation_date for a22
SELECT model_name, mining_function, algorithm ,algorithm_type, creation_date FROM user_mining_models WHERE model_name = 'RF_MODEL';
MODEL_NAME ,MINING_FUNCTION,ALGORITHM ,ALGORITHM_TYPE ,CREATION_DATE
---------------,---------------,---------------,---------------,----------------------
RF_MODEL ,CLASSIFICATION ,RANDOM_FOREST ,NATIVE ,2019/05/11 00:47:34
モデルの作成により作成されるビューの確認
SQL> SELECT * FROM user_mining_model_views WHERE model_name = 'RF_MODEL';
MODEL_NAME ,VIEW_NAME ,VIEW_TYPE
----------------------------------------------------------
RF_MODEL ,DM$VARF_MODEL ,Variable Importance
RF_MODEL ,DM$VCRF_MODEL ,Scoring Cost Matrix
RF_MODEL ,DM$VTRF_MODEL ,Classification Targets
RF_MODEL ,DM$VGRF_MODEL ,Global Name-Value Pairs
RF_MODEL ,DM$VSRF_MODEL ,Computed Settings
RF_MODEL ,DM$VWRF_MODEL ,Model Build Alerts
モデルの設定内容
SQL> col setting_value for a30
SQL> col setting_name for a30
SQL> SELECT * FROM user_mining_model_settings WHERE model_name = 'RF_MODEL';
MODEL_NAME ,SETTING_NAME ,SETTING_VALUE ,SETTING_TYPE
---------------,------------------------------,--------------------------,---------------------
RF_MODEL ,ALGO_NAME ,ALGO_RANDOM_FOREST ,INPUT
RF_MODEL ,PREP_AUTO ,ON ,DEFAULT
RF_MODEL ,TREE_TERM_MINPCT_NODE ,.05 ,DEFAULT
RF_MODEL ,TREE_TERM_MINREC_SPLIT ,20 ,DEFAULT
RF_MODEL ,ODMS_RANDOM_SEED ,0 ,DEFAULT
RF_MODEL ,TREE_IMPURITY_METRIC ,TREE_IMPURITY_GIN ,DEFAULT
RF_MODEL ,CLAS_MAX_SUP_BINS ,32 ,DEFAULT
RF_MODEL ,CLAS_WEIGHTS_BALANCED ,OFF ,DEFAULT
・
・
・
以上です。