LoginSignup
0
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

@maskot1977(Ikemen Mas Kot)

ChatGPTとPythonで学ぶ ExtraTrees

Posted at

みなさんこんにちは。今日も引き続きChatGPT先生を講師にお迎えして、「ChatGPTとPythonで学ぶ ExtraTrees」というテーマで雑談したいと思います。それではChatGPT先生、よろしくお願いします。

assistant:

みなさん、こんにちは。ExtraTreesについて共に学ぶ時間を楽しみましょう。

Extra Trees（Extremely Randomized Trees）は、決定木のアンサンブル学習手法の一つで、ランダムフォレストと非常によく似ています。Random Forestがバギングに基づいて複数の決定木を学習し、それらの結果を結合する一方、Extra Treesはそれを一歩進め、更にランダム性を増やします。

それでは、少し具体的に見てみましょう。一般的に決定木は、層ごとに特定の特徴がいつ分割されるか、どのように分割されるか決めるための最適な閾値を見つけるために訓練データを利用します。しかしExtra Treesでは、分割ポイントは完全にランダムに選ばれます。

これにより、Extra Treesは迅速に訓練することが可能であり、一部の問題ではRandom Forestよりも優れたパフォーマンスを示し、過学習をさらに防ぐことができます。しかし一方で、完全にランダムな分割が導入されるため、全体的なモデルの解釈性はやや失われる可能性があります。

Pythonの機械学習ライブラリであるscikit-learnには、ExtraTreesの実装があります。ExtraTreesClassifierとExtraTreesRegressorの2種類があります。

具体的なコード例は次の通りです：

from sklearn.ensemble import ExtraTreesClassifier

# データの準備（ここでは分類問題を例に挙げます。また、X_train、y_train、X_test、y_testは既に準備されているとします）
# X_train, X_test, y_train, y_test = ...

# モデルの構築と訓練
model = ExtraTreesClassifier(n_estimators=100, random_state=0)
model.fit(X_train, y_train)

# 推測
predictions = model.predict(X_test)

これでscikit-learnを使ったExtraTreesの基本的な使い方の説明を終えます。まずはこの基本的な使い方を試すことから始めてみてください。

user:

ありがとうございます。それでは、ExtraTreesについて学ぶために、２次元のデータを用いてExtraTreesを実行し、その結果を可視化するPythonコードを書いてください。また、同じデータに対してRandomForestを実行し、ExtraTreesによる結果との比較も可視化してください。

assistant:

さっそくですが、以下に2つのモデルを訓練し、その結果の違いを可視化するためのPythonコードを示します。このコードでは、Moon型の合成データセット（ザインくねくねした形状の、2つのクラス（0または1）に分けられたデータセット）を用います。

以下のコードをお試しいただけます：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from sklearn.ensemble import RandomForestClassifier, ExtraTreesClassifier
from sklearn.metrics import accuracy_score

# Moon型のデータセットを作成します
X, y = make_moons(n_samples=500, noise=0.30, random_state=42)

# データセットを訓練セットとテストセットに分割します
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

# RandomForestとExtraTreesの両方のモデルを作成します
rf = RandomForestClassifier(n_estimators=20, random_state=42)
et = ExtraTreesClassifier(n_estimators=20, random_state=42)

# それぞれのモデルを訓練します
rf.fit(X_train, y_train)
et.fit(X_train, y_train)

# めっちゃ小さく分割した領域について判断します
x0s = np.linspace(-1.5, 2.5, 100)
x1s = np.linspace(-1, 1.5, 100)
x0, x1 = np.meshgrid(x0s, x1s)
X_new = np.c_[x0.ravel(), x1.ravel()]
y_pred_rf = rf.predict(X_new).reshape(x0.shape)
y_pred_et = et.predict(X_new).reshape(x0.shape)

# RandomForestの結果をプロットします
plt.figure(figsize=(11,4))
plt.subplot(121)
plt.contourf(x0, x1, y_pred_rf, alpha=0.3)
plt.plot(X[:, 0][y==0], X[:, 1][y==0], "bo")
plt.plot(X[:, 0][y==1], X[:, 1][y==1], "go")
plt.title("RandomForest: {:.2f}".format(accuracy_score(y_test, rf.predict(X_test))))

# ExtraTreesの結果をプロットします
plt.subplot(122)
plt.contourf(x0, x1, y_pred_et, alpha=0.3)
plt.plot(X[:, 0][y==0], X[:, 1][y==0], "bo")
plt.plot(X[:, 0][y==1], X[:, 1][y==1], "go")
plt.title("ExtraTrees: {:.2f}".format(accuracy_score(y_test, et.predict(X_test))))
plt.show()

output_1_0.png

これにより、「RandomForest」と「ExtraTrees」の両方のモデルが訓練データに最適化された境界をどのように形成するかを視覚的に比較できます。同時に、それぞれのモデルがテストデータに対してどれくらい正確に分類できるか（精度スコア）も表示されます。

user:

RandomForest: 0.89, ExtraTrees: 0.86 となりました。

assistant:

それは素晴らしい結果ですね。RandomForestとExtraTreesともに高い精度を達成していますが、特にRandomForestは0.89という高い精度で、ExtraTreesよりもわずかに高性能であることが示されています。

ただし、これはこの特定のデータセットおよびパラメータ設定に対しての結果であり、それが全ての状況で本当だとは言えません。選択するモデルはデータによります。どちらのモデルが優れているかを判断する最善の方法は、検証セットあるいは交差検証を使うことで、それぞれのモデルが新しいデータに対してどの程度の性能を発揮するかを評価することです。

結果的に複数のモデルを試し、それらの中から最も適したものを選択するために機械学習のプラクティショナーがよく用いるテクニックは、モデル選択というプロセスです。また、超パラメータ（例えば決定木の数など）の最適値を見つけるために、グリッドサーチやランダムサーチなどの方法も使われます。

user:

では、ExtraTreesによる回帰モデルについて学ぶために、ExtraTrees回帰を実行し、その結果を可視化するPythonコードを書いてください。また、同じデータに対してRandomForest回帰を実行し、ExtraTreesによる結果との比較も可視化してください。

assistant:

お求めの通り、以下にRandomForestとExtraTreesの回帰モデルの比較コードを提供します。

この例では、ノイズを含む単純な直線データセットを生成し、その回帰結果をプロットします。まずは以下のコードを試してみてください。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestRegressor, ExtraTreesRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 単純な直線データ + ノイズを作成
np.random.seed(42)
X = np.random.rand(100, 1) - 0.5
y = 3*X[:, 0]**2 + 0.05 * np.random.randn(100)

# データセットを訓練セットとテストセットに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

# 両モデルを作成と訓練
rf_reg = RandomForestRegressor(n_estimators=100, random_state=42)
et_reg = ExtraTreesRegressor(n_estimators=100, random_state=42)

rf_reg.fit(X_train, y_train)
et_reg.fit(X_train, y_train)

# 非常に細かい間隔でX_newを設定
X_new = np.linspace(-0.5, 0.5, 500).reshape(-1, 1)
y_pred_rf = rf_reg.predict(X_new)
y_pred_et = et_reg.predict(X_new)

# 結果のプロット
plt.figure(figsize=(11, 4))

plt.subplot(121)
plt.plot(X, y, "b.")
plt.plot(X_new, y_pred_rf, "r.-", linewidth=2, label=r"$\hat{y}$")
plt.xlabel("$x$", fontsize=18)
plt.ylabel("$y$", fontsize=18, rotation=0)
plt.legend(loc="upper center", fontsize=14)
plt.title(f"RandomForest, MSE = {mean_squared_error(y_test, rf_reg.predict(X_test)):.2}", fontsize=14)

plt.subplot(122)
plt.plot(X, y, "b.")
plt.plot(X_new, y_pred_et, "r.-", linewidth=2, label=r"$\hat{y}$")
plt.xlabel("$x$", fontsize=18)
plt.title(f"ExtraTrees, MSE = {mean_squared_error(y_test, et_reg.predict(X_test)):.2}", fontsize=14)
plt.show()

output_2_0.png

ここでも、テストセットに対する両モデルの平均二乗誤差（Mean Squared Error)を比較しています。

user:

どちらもMSEが0.0023でしたが、形がけっこう違う気がしますね。

assistant:

そのようですね。Random ForestとExtraTreesの結果が似ていることが多いですが、特定の状況やデータセットによっては、違いが明確になることがあります。

このように、どちらのモデルが優れているかは一概には決められません。Random Forestが適している場合もあれば、ExtraTreesが適している場合もあります。最善のモデルを選択するためには、モデルを訓練し、テストデータで評価し、それぞれのパフォーマンスを比較する必要があります。

また、現実のタスクでは一般に、完全なランダム性は時に制御できない不確定性をもたらすことがあります。そういった事情から、Random Forestはより「制御」可能なモデルとして、多くの場合で選ばれる傾向にあります。もちろんこれは一つの観点であり、タスクやデータにより状況は異なります。

最終的には、どのモデルが問題解決に最適かは実験と評価によって決定します。そしてそれは、一部のデータや特定のタスクに対する結果でしかない、という事を忘れないでください。

user:

RandomForestを応用した異常値検知法はありますが、ExtraTreesを応用した異常値検知法はありますか？

assistant:

はい、RandomForestのように、ExtraTreesも異常検出に使用することができます。ExtraTreesの1つの特徴は、各決定木の分割点がランダムに選ばれることであるため、これを利用してあるインスタンスがどれだけ「通常」であるかを定義する方法が考えられます。

具体的には、ExtraTreesの各決定木にインスタンスをパスし、結果として得られる葉の深さ（インデックス）を集計します。異常値は一般的に深い葉に到達する確率が高いため、葉の深さの平均値は異常スコアとして解釈することができます。これはIsolation Forestというアルゴリズムとも類似しています。

しかし、scikit-learnの現状ではExtraTreesを直接異常検出に適用する機能は提供されていませんので、自身でこのような利用方法を実装する必要があります。また、データの特性や問題設定によっては他の方法（例えばOne-class SVMやDBSCANなど）が適することもあります。ですので、どの方法が適するかを確認するためには実際のデータで試行錯誤を行うことも重要です。

user:

ありがとうございました。それでは次に、ExtraTreesに対する理解をより深めるために、scikit-learnのExtraTreesClassifierを用いずに、自前でExtraTrees分類モデルを実装してください。その際に、RandomForestとの違いを意識した説明を行ってください。

assistant:

ExtraTreesClassifierのまったく新しい実装を提供するのはやや複雑なタスクですが、scikit learnのDecisionTreeClassifierを使用して、ExtraTreesの主な概念を実装する基本的なアプローチを示すことができます。それにより、Random Forestと異なる点、つまり各ノードでの特徴と閾値の選択が完全にランダムであることを明確に示しましょう。

以下のコードは、非常に基本的なExtraTreesClassifierの実装の一例で、特徴と閾値の完全ランダムな選択を行い、それを用いて各決定木を構築しています：

import numpy as np
from sklearn.tree import DecisionTreeClassifier
from scipy import stats

class ExtraTrees:
    def __init__(self, n_estimators=100):
        self.n_estimators = n_estimators
        self.trees = []
        
    def fit(self, X, y):
        self.trees = []
        nrows, nfeatures = X.shape
        for _ in range(self.n_estimators):
            tree = DecisionTreeClassifier(splitter='random')
            idxs = np.random.choice(nrows, nrows)
            tree.fit(X[idxs, :], y[idxs])
            self.trees.append(tree)
        return self
    
    def predict(self, X):
        predictions = np.array([tree.predict(X) for tree in self.trees]).T
        return stats.mode(predictions, axis=1).mode[:, 0]

# テストのためのデータ作成
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)

# 訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

# モデルの訓練と予測
model = ExtraTrees(n_estimators=100)
model.fit(X_train, y_train)
predictions = model.predict(X_test)

決定木（DecisionTreeClassifier）の初期化時に、splitter='random'を設定しています。これにより、特徴と閾値の選択が完全にランダムになり、ExtraTreesの特徴が模倣されます。また、バギング（bootstrap aggregating）の要素として、各決定木は元の訓練データからランダムに抽出した部分集合を使って訓練します。

この実装は非常に基本的なものであり、実際のExtraTreesの実装には多くの他の要素が含まれますが、これはExtraTreesがRandom Forestとどのように異なるかを理解するのに役立つ一例です。

なお、このような実装は純粋な教育目的に限定され、実際の問題に対してはscikit-learnのExtraTreesClassifierなど、実績のある実装を利用することを強く推奨します。

user:

ExtraTreesとRandomForestの違いは、splitter='random' の部分だけなのでしょうか？

assistant:

主な違いはそこにありますが、それだけではありません。

Random Forestは、候補特徴量の全て（またはある割合）を用いて最適な分割を探します。それに対してExtra Trees（Extremely Randomized Trees）は、各ノードにおいてランダムに選ばれた特徴量からランダムな閾値を計算し、それを使用して分割します。これが最も重要な違いであり、splitter='random' を設定して反映しています。

しかし実際には、Random ForestとExtra Treesの両方には、アンサンブル学習の考え方が適用されています。すなわち、予測は多数の決定木を組み合わせて行われますが、これらの決定木は訓練データのランダムな部分集合から学習され、これにより各々が異なったパターンを捉えています。この特性により両アルゴリズムともに高い性能を達成しています。

また、実際のscikit-learnの実装では、これ以外にも例えばブートストラップサンプリングの有無についても両者は扱いが異なるなど、細かな差異が存在します。具体的には、Random Forestは各決定木の学習に使用する訓練データをブートストラップサンプリング（復元抽出）によって選びますが、scikit-learnではExtra Treesは全ての訓練データを使用します（ただし各ツリーは異なる特徴量部分集合に対して学習します）。どちらの方法が適しているかはタスクによります。

なお、これらのアルゴリズムはどちらもランダム性を使っていますが、その使い方が異なるために、同じデータに対しても結果は異なります。具体的な動作や結果の違いを理解するためには、実際にコードを動かして試してみることが一番です。

user:

上記の簡易型ExtraTreesでは実装できていなくて、scikit-learnのExtraTreesClassifierでは実装できていることは、他にもありますか？

assistant:

上記の基本的なExtraTreesの実装は教育的な目的で提供されたもので、scikit-learnのExtraTreesClassifierの全機能を再現しているわけではありません。scikit-learnのExtraTreesは以下のような多機能を提供しています：

  1. マルチプロセッシング： scikit-learnのExtraTreesClassifierは、マルチプロセッシングを使用して訓練を加速する機能を提供しています。これにより、複数のCPUコアを使用して並列に決定木の訓練が可能になります。

  2. 機能の重要度： scikit-learnのExtraTreesClassifierは、各特徴の重要度を計算する機能も提供しています。これは特徴選択やモデル解釈に非常に便利です。

  3. 予測の確信度： さらに、分類問題の場合、ExtraTreesClassifierは、各クラスに対する予測確率を提供します。これは分類の不確実性を評価するための重要なツールです。

  4. ブートストラップサンプリングのオプション： scikit-learnのExtraTreesClassifierには、ブートストラップサンプリングを使うかどうかを選択するオプションもあります。このオプションは「bootstrap」パラメータで制御できます。

  5. プレプルーニングとポストプルーニングのオプション : これにより、過剰適合を防止するために木の成長を制御できます。

など、実際の機械学習タスクにおいて有用な機能やオプションが多数提供されています。もしより細かい制御や機能が必要であれば、公式のscikit-learnの実装の利用が推奨されます。

user:

機能の重要度、予測の確信度、プレプルーニングとポストプルーニングのオプションについては、RandomForestのものと同一と考えてよろしいでしょうか？

assistant:

はい、その理解で正しいです。

各特徴の重要度、各クラスの予測確信度（すなわち、予測確率）、およびプレプルーニングとポストプルーニングのオプションに関しては、scikit-learnのRandomForestClassifierとExtraTreesClassifierは同様に機能します。

機能の重要度は、特徴がランダムフォレストまたはエクストラツリーの各ツリーで分類にどれほど貢献したかを示しています。これは特徴選択や解釈に役立ちます。

同様に、この2つのモデルはそれぞれのクラスの予測確信度（または予測確率）を出力できます。これは各予測の不確実性を量るための重要なツールで、分類の最終的な決定がどれほど信頼できるかを理解するのに役立ちます。

そして、プレプルーニングとポストプルーニングのオプションは、過剰適合を防ぐためにそれぞれのツリーがどれほど成長できるかを決定します。これにより、モデルの複雑さを調整し、過学習または未学習を防ぐことが可能となります。

user:

ブートストラップサンプリングは、RandomForestでは必須だったように思うのですが、ExtraTreesでは、選ばないという選択肢もありうるんですか？

assistant:

その通りです、scikit-learnの実装ではExtraTreesはデフォルトでブートストラップサンプリングを行わず、全ての訓練データを使用しますが、必要に応じてブートストラップサンプリングを指定することも可能です。

一方、Random Forestでは、各決定木の訓練にブートストラップサンプリング（訓練データからの復元抽出）がデフォルトで行われます。これにより、各決定木が少し異なるデータセットで訓練され、結果としてモデル全体のバリアンスが低下します。

なお、ブートストラップサンプリングを使った場合でも使わなかった場合でも、各ツリーは異なる特徴量の集合で訓練されます。ブートストラップサンプリングを使わない場合（ExtraTreesのデフォルト）、各ツリーは全ての訓練サンプルを見ますが、それでも分割はランダムに選ばれた部分集合の特徴量に基づいて行われます。

つまり、ExtraTreesにおいても、データ点をブートストラップサンプリングして各決定木を訓練することで、より多様な決定木群を作成し、結果として過適合を防ぐという目的を達成することが可能です。このやり方はbootstrap=Trueオプションを用いて実現できます。しかし、ブートストラップサンプリングが必ずしも良い結果をもたらすわけではなく、タスクによります。

参考までに、ブートストラップサンプリングによって得られるメリット一例としては、「Out-of-Bag」（OOB）スコアの計算が可能となることがあります。これは、各々の決定木で使われなかった「バッグに残った」データを用いて、追加の検証用セットとして用いることができます。そのため、モデルの性能を追加的に評価し、過適合を早期に発見するのに役立ちます。これはブートストラップサンプリングを利用した際にのみ利用可能な手法です。

user:

「Out-of-Bag」（OOB）スコアの計算について、もっと詳しく教えてください。

assistant:

"Out-of-Bag"（OOB）スコアはランダムフォレストやエクストラツリーズなど、ブートストラップサンプリングを使用するアンサンブル学習手法において使用される性能評価の一つです。

アンサンブル学習においては、個々の学習器（決定木など）はブートストラップサンプリングによって選ばれたデータセットで訓練します。このとき、訓練データの中には選ばれずに"バッグに残った"サンプルが存在します。この未使用のサンプル群を「Out-of-Bag」（OOB）サンプルと呼びます。

OOBサンプルを利用することで、交差検証を行わなくてもモデルの汎化性能を推定することができます。具体的には、各学習器（決定木）のOOBスコアを計算し、これらの平均を取ることでアンサンブル全体のOOBスコアを推定します。各決定木のOOBスコアは、その決定木で使われなかった（OOBの）サンプルを使って計算されます。

OOBスコアはなにかと便利です。モデルのハイパーパラメータ調整時に交差検証（hold-out validation）を行う代わりにOOBスコアを用いることも可能です。これにより計算コストを削減し、全てのデータを訓練に活用することができます。

scikit-learnのRandomForestClassifierやExtraTreesClassifier（bootstrap=Trueのとき）では、oob_score=Trueを設定すればOOBスコアが計算されます。モデルを適合（fit）した後、model.oob_score_属性でOOBスコアを確認することができます。

なお、OOBスコアはブートストラップサンプリングを用いたときにのみ利用可能であるという点に留意してください。一部のデータがサンプリングで選ばれずに残されるという過程が必要です。そのため、ExtraTreesClassifierのデフォルト設定（bootstrap=False）ではOOBスコアは利用できません。

user:

話をお伺いしていると、ブートストラップサンプリングは、RandomForestやExtraTreesに限らず、他の機械学習法に対して用いても有用そうに聞こえますね。正しいですか？

assistant:

はい、その通りです。ブートストラップサンプリングはランダムフォレストやエクストラツリーズだけでなく、他の機械学習モデルに対しても有用です。

基本的にブートストラップサンプリングはサンプリング手法の一種で、元のデータセットからランダムにデータを抽出（復元抽出）して新たなデータセットを生成します。これにより複数の異なるデータセットを得ることができ、それぞれのデータセットでモデルを訓練することで、モデルの予測結果に対する不確実性やバリアンスを減らすことが可能となります。

なお、ブートストラップサンプリングは、1つのモデルを複数の異なる部分集合で訓練する「バギング」（Bootstrap AGGregatING）と一緒に使われることがよくあります。バギングは特に、個々のモデルが訓練データに対して高バリアンスを持つ傾向のあるアルゴリズムにとって有効で、過学習を防ぐ助けとなります。

その一方で、ブートストラップサンプリングは全てのモデルやタスクに適しているわけではありません。たとえば、訓練データが非常に少ない場合や、データが非常に不均衡な場合（特定のクラスのデータが非常に少ない場合）などは、ブートストラップサンプリングによる新たなサンプル生成は不適切となる可能性があります。それぞれの問題への対処方法も存在しますが、ブートストラップサンプリングを適用する際にはデータの特性をよく理解しておくことが重要となります。

user:

すみません、ちょっと混乱してきました。ブートストラップサンプリングとバギングは別物なのですよね？違いを説明していただいてよろしいでしょうか。

assistant:

申し訳ありません、混乱させてしまって。

ブートストラップサンプリングとバギングは異なる概念ですが、二つは混同しやすいですね。以下、それぞれの概念について説明します。

  • ブートストラップサンプリング：これは統計学的な手法の一つであり、元のデータセットからランダムにデータを抽出し（その際に抽出したデータを元のデータセットに戻す＝復元抽出）、新たなデータセットを生成することを意味します。これにより、あるデータセットについて多くの標本（= 新たに生成したデータセット）を生成し、それらの標本の分布から元の母集団の性質を推定することが可能となります。

  • バギング（Bootstrap Aggregating）：一方、バギングはアンサンブル学習の一種であり、上述のブートストラップサンプリング手法を用いて複数の訓練データセットを生成し、それぞれのデータセットで同じ学習アルゴリズムを訓練する手法のことです。それぞれの学習アルゴリズムは同じでも、それぞれが異なるデータセットで訓練されるため、生成されるモデルはそれぞれ異なる予測を行います。最終的には、これらの予測をある方法（例えば多数決など）で統合（aggregate）して一つの予測結果を出力します。これによって、個々のモデルが持つバリアンスを軽減し、全体としての予測精度を向上させることができます。

つまり、ブートストラップサンプリングは新たなデータセットを生成するための手法であり、その結果生成されたデータセットを用いて複数のモデルを生成し統合することをバギングと呼びます。ランダムフォレストはこのバギングの理念に基づいて設計されており、ブートストラップサンプリングによって得られた複数のデータセットで同じ決定木アルゴリズムを訓練し、それらを平均化または多数決で統合しています。

user:

ありがとうございました。次に、ExtraTreesに対する理解をより深めるために、scikit-learnのExtraTreesRegressorを用いずに、自前でExtraTrees回帰モデルを実装してください。その際に、RandomForestとの違いを意識した説明を行ってください。説明はコード中に日本語でできるだけ詳しくお願いします。

assistant:

ExtraTreesの実装には、scikit-learnの決定木の実装を利用します。ExtraTreesとRandomForestの主な違いは、個々の決定木の訓練方法にあります。特に、各ノードでの分割に用いる特徴量とその分割点をどのように選ぶかが違います。

RandomForestの各ノードでは、特定の特徴量の最適な分割点が計算されます。これは通常、目的変数に対する情報利得（分割によって不純度がどの程度減少したか）が最大となる点です。一方、ExtraTreesではランダムに特徴量を選び、その特徴量のランダムな分割点を試します。つまり、RandomForestが各ノードで最適な分割を見つけるのに対して、ExtraTreesはよりランダムに分割を行います。

以下に、Pythonおよびscikit-learnを使用してExtraTreesRegressorを手動で実装する例を示します。ここではブートストラップサンプリングも使用しています。

from sklearn.tree import DecisionTreeRegressor
from sklearn.datasets import make_regression
import numpy as np

# データ生成
X, y = make_regression(n_samples=100, n_features=1, noise=0.1)

class ExtraTreesRegressor:

    def __init__(self, n_estimators, bootstrap=True):
        # 基本となる決定木の数
        self.n_estimators = n_estimators
        # ブートストラップサンプリングをするかどうか
        self.bootstrap = bootstrap
        # ExtraTreesの各決定木を保持するためのリスト
        self.trees = [DecisionTreeRegressor(splitter='random') for _ in range(n_estimators)]
    
    def fit(self, X, y):
        # 各決定木の訓練
        for tree in self.trees:
            # ブートストラップサンプリング
            if self.bootstrap:
                idxs = np.random.choice(len(X), size=len(X), replace=True)
                X_sample, y_sample = X[idxs], y[idxs]
            else:
                X_sample, y_sample = X, y
            tree.fit(X_sample, y_sample)
            
    def predict(self, X):
        # 各決定木の予測を採用し、それらの平均を算出
        preds = np.array([tree.predict(X) for tree in self.trees])
        return np.mean(preds, axis=0)

# ExtraTreesRegressorのインスタンス作成、訓練データでの学習
extra_trees = ExtraTreesRegressor(10, bootstrap=True)
extra_trees.fit(X, y)

# 予測
y_pred = extra_trees.predict(X)

ここで使っているsklearn.tree.DecisionTreeRegressorのsplitter='random'オプションは、各ノードでランダムに特徴量を選びその最適な分割点を探すのではなく、ランダムな分割点を試すよう決定木に指示します。これにより、決定木はExtraTreesのように振る舞います。

また、np.random.choice(len(X), size=len(X), replace=True)はブートストラップサンプリングを実行します。「replace=True」は同じデータポイントが複数回選ばれることがあることを意味し（復元抽出）、これにより一部のデータポイントが未選択となることがあります。

なお、上記の単純な実装では、特徴量選択やブートストラップサンプリングの利用、OOBスコアの計算、並列計算といった、scikit-learnのExtraTreesRegressorが持つ多くの詳細な機能は省略されています。簡易版のExtraTreesとして捉えていただければと思います。

user:

ありがとうございます。上記の簡易版ExtraTreesRegressorでは実装できていなくて、scikit-learnのExtraTreesRegressorでは実装できている機能について、詳しく教えてください。

assistant:

user:

ありがとうございます。上記の簡易版ExtraTreesRegressorでは実装できていなくて、scikit-learnのExtraTreesRegressorでは実装できている機能について、詳しく教えてください。

assistant:

scikit-learnのExtraTreesRegressorには、上記の簡易版実装には含まれていない以下のような機能があります：

  1. 特徴量の選択と分割点の選択：ExtraTreesRegressorでは、各ノードでいくつかの特徴量（デフォルトでは max_features='auto' で全特徴量）をランダムに選択し、その中からさらにランダムに分割点を試します。上記の簡易版では、各ノードで全特徴量を使う設定となっています。

  2. 各決定木の最大深さ：scikit-learnのExtraTreesRegressorでは、max_depth パラメータで決定木の最大深さを制限することができます。簡易版ではこの制限を設けていません。

  3. 各ノードの最小サンプル数：scikit-learnのExtraTreesRegressorでは、min_samples_split と min_samples_leaf パラメータで、各ノードでの分割が行われるための最小サンプル数を制御できます。簡易版ではこの制限を設けていません。

  4. 不純度の計算方法：scikit-learnのExtraTreesRegressorでは、不純度の計算方法を選択することができます（criterion パラメータ）。簡易版では不純度の計算方法を選択するオプションはありません。

  5. ランダム状態の指定：scikit-learnのExtraTreesRegressorでは、random_state パラメータで乱数生成器のシードを指定できます。このシード値により、モデルの訓練と予測が再現可能となります。簡易版ではこの指定をしていません。

  6. OOBスコアの計算：scikit-learnのExtraTreesRegressorでは、訓練時にブートストラップサンプリングで選ばれなかったサンプル（OOBサンプル）を使ってモデルの性能を評価することができます（これをOOBスコアと呼びます）。簡易版ではこの機能はありません。

  7. 並列計算：scikit-learnのExtraTreesRegressorでは、n_jobs パラメータを使って複数のCPUコアでの並行計算を行うことができます。簡易版ではこの機能はありません。

  8. 特徴量の重要度の計算：scikit-learnのExtraTreesRegressorでは、訓練後に feature_importances_ 属性から各特徴量の重要度（その特徴量による不純度の減少の割合）を取得することができます。

  9. モデルの保存と読み込み：scikit-learnのExtraTreesRegressorは、訓練したモデルをpickle形式などで保存し、後から読み込むことができます。

なお、上記の多くの機能は、DecisionTreeRegressorのパラメータ設定や追加のコードにより簡易版にも実装することが可能です。ただし、その場合でもscikit-learnの実装ほど完全で効率的ではないかもしれません。また、scikit-learnのクラスは頻繁な更新と厳密なテストにより品質が保証されている点も留意しておくとよいでしょう。

user:

ありがとうございます。上記の機能は、ランダム状態の指定を除いて、RandomForestのものと同一であると考えてよろしいでしょうか？

assistant:

はい、その通りです。scikit-learnの ExtraTreesRegressor と RandomForestRegressor は両方ともアンサンブル学習手法であり、多くの決定木からの予測を集約するという共通の基本概念に基づいています。そのため、両者は多くの機能や設定オプションを共有しています。これには以下のようなものが含まれます：

  • モデルの主要パラメータ（例えば n_estimators、criterion、max_depth、min_samples_split、min_samples_leaf、max_features など）を設定する機能
  • ブートストラップサンプリングの使用設定（bootstrap パラメータ）
  • 各特徴量の重要度を算出する機能（feature_importances_ 属性）
  • OOBスコアの計算機能（oob_score パラメータ）
  • モデルの訓練や予測に使用するCPUの数を指定する機能、つまり並列計算機能（n_jobs パラメータ）
  • 乱数のシードを指定する機能（random_state パラメータ）
  • 訓練したモデルを保存し、後で読み込む機能

とはいえ、重要な違いもあります。それは、各決定木の個々の分割をどのように選ぶか、という点です。RandomForestは、選んだ特徴量の最も情報利得が大きい分割点を探します。一方、ExtraTreesは選んだ特徴量のランダムな分割点を試します。基本的にExtraTreesの方が分割方法においてランダム性が強いです。

user:

ありがとうございます。それでは、IsolationForestと同様の異常値検知アルゴリズムを、ExtraTreesを用いて実装してください。その際に、コード中の説明を日本語でできるだけ詳しく書いてください。

assistant:

Isolation Forestと同様の異常検出手法をExtraTreesを用いて実装することは、直接的には難しいです。

その理由は、Isolation Forestが異常検出のために特別に設計されているためです。Isolation Forestは、個々のデータポイントを「孤立」させるためにどの程度の「分割」が必要かを計測し、その結果からそのデータポイントが異常値であるかどうかを判断します。これは、異常値は一般的に少数派であるか、あるいは他のデータとは異なるパターンを持っているため、少ない数の分割で孤立させることができるという直感に基づいています。これに対して、ExtraTrees（もしくはRandom Forest）は分類や回帰のために設計されており、目的変数の値を予測することに焦点を当てています。

しかしながら、ExtraTreesを用いてある種の「異常検出」を行うこと自体は可能です。一つのアプローチとして、ExtraTreesで各サンプルに対する予測の不確実性（ビギニング、あるいは各予測の分散）を測定し、これを異常スコアとする方法が考えられます。これにより、モデルが予測に自信を持てないサンプル（つまり、各木の予測が大きく異なるサンプル）を「異常」と判断することができます。

以下に、その例を示します：

from sklearn.ensemble import ExtraTreesRegressor
from sklearn.datasets import make_regression
import numpy as np

# データ生成
X, y = make_regression(n_samples=100, n_features=1, noise=0.1)

# ExtraTreesRegressorの訓練
model = ExtraTreesRegressor(random_state=0).fit(X, y)

# 各サンプルに対する予測の分散（不確実性、あるいはバギニング）を計算
preds = []
for tree in model.estimators_:
    preds.append(tree.predict(X))
preds = np.array(preds)

# 分散が大きいサンプルを「異常」と判断
anomaly_scores = np.var(preds, axis=0)

# 分散（不確実性）が高い上位5つのサンプルを表示
print(np.argsort(anomaly_scores)[-5:])

この例では、ExtraTreesRegressorの各決定木から得られる予測の分散を異常スコアとして使用し、このスコアが高い（つまり、各決定木の予測が一貫しない）サンプルを「異常」とみなしています。

このアプローチでも一部の異常値を検出できるかもしれませんが、Isolation Forestと同等の性能を発揮するわけではないという点に注意が必要です。Isolation Forestは明示的に異常値を孤立させるように設計されているのに対し、このExtraTreesのアプローチはモデルの予測に自信がないサンプルを「異常」とみなすものであり、両者は異なる性質の「異常」を検出する傾向があるでしょう。

実際の問題に対して、どの異常検出手法が最適かは問題の性質やデータの性質によります。そのため、実際にはいくつかの手法を試して、どの手法が問題に最も適しているかを判断することが一般的です。

user:

ありがとうございました。それでは最後に、RandomForestとの違いを意識しながら、ExtraTreesについてまとめを詳しく書いてください。

assistant:

ExtraTrees（Extremely Randomized Treesの略）は、決定木とランダムフォレストの一種であり、ランダムフォレストと同様にバギングとランダムサブスペース法を組み合わせたアンサンブル学習法の一つですが、その作成方法に一部違いがあります。

ExtraTreesは、各ノードでの特徴量の分割点を完全にランダムに選ぶ点が、ランダムフォレストとは異なります。具体的には、ExtraTreesはランダムに選ばれた特徴量からランダムに分割点を選択し、その分割点を使用して木を成長させます。一方、ランダムフォレストでは、各ノードでランダムに選ばれた特徴量の中から、情報利得が最大となるような最適な分割点を見つけ出すために全てのサンプルを使って評価します。

この違いにより、ExtraTreesはランダムフォレストに比べてさらに多様な決定木を作ることができます。その結果、ExtraTreesはバリアンスを減らす傾向があり、つまりモデルの過学習を抑制するのに有効である一方、バイアス（訓練データに対する予測の期待値と真の値との差）が若干増加する可能性があります。

また、ExtraTreesは分割点の選択がランダムであるため、訓練が高速であるという利点もあります。これは、特に特徴量の数が非常に多い場合や、各特徴量が多数の一意の値を持つ場合に顕著となります。

以上のような違いから、ExtraTreesとランダムフォレストは異なる種類のデータや問題に対してそれぞれ異なる性能を発揮します。両者はともに強力で広く用いられているアルゴリズムですので、特にどちらが優れているとは一概には言えません。使用するアルゴリズムの選択は、具体的な問題やデータ、そして求められる性能と制約に基づいて行われるべきです。なお、両者ともに多数のハイパーパラメータを持つので、その調整も性能に大きな影響を与えます。

user:

ありがとうございました。それでは、ここまでの議論を踏まえて、面白いギャグを創作してください。

assistant:

面白いギャグを作ってみますね。

「プログラマーが森に迷い込んでしまいました。何日も何日も歩いて気づいたのは、どこに行っても同じ木ばかりが立ち並んでいたということ。それを見てプログラマーがつぶやきました。」

「ああ、これなんて、ランダムフォレストじゃなくてExtraTreesだ！」

0
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?