はじめに
今回は機械学習のアンサンブル手法の一つである「スタッキング」について紹介します。スタッキングは、複数の機械学習モデルを組み合わせてより高い予測性能を得るための手法です。
以下にスタッキングのメリット、デメリット、用いるモデルについて紹介します。
スタッキングは、精度を向上する場面では多く活用されます。この部分は非常に複雑で難しい部分ですが、これらについて理解が難しい場合は、経験豊富な方とマンツーマンで学習していくのもオススメです。
スタッキングとは
スタッキング（stacking）は、アンサンブル学習の手法の一つで、複数の機械学習モデルを組み合わせることで、より高い予測性能を実現する手法です。
スタッキングでは、複数のベースモデル（base model）と呼ばれる予測モデルを用意し、それらの出力を組み合わせて最終的な予測を行います。
スタッキングの流れ
スタッキングのプロセスは以下のように進みます。
ステップ1：第一層モデル(ベースモデル)の訓練
まず、データセットを用いて複数のベースモデル（例：線形回帰、ランダムフォレスト、サポートベクターマシンなど）を訓練します。
ステップ2：ベースモデルの予測
次に、ベースモデルを用いてトレーニングデータおよびテストデータに対する予測を行います。これにより、ベースモデルの予測結果が生成されます。
ステップ3：メタモデルの訓練
ベースモデルの予測結果を新しい特徴量として使用し、メタモデルを訓練します。メタモデルは、これらの予測結果を入力として最終予測を行うモデルです。
ステップ4：最終予測
メタモデルを用いて最終的な予測を行います。これにより、各ベースモデルの予測結果を統合した強力な予測が得られます。
いくつか新たなワードがあるかもしれませんが、簡単に言うと「たくさんのモデルで予測する」をした後に、それらのモデル予測結果を特徴量として「再度予測する」ことを実施します。
スタッキングのサンプルコード
下記がスタッキングのサンプルコードとなります。StackingRegressorのライブラリを使うと簡単に実装できます。下記は1層目にRandomForestとGradientBoostを用いています。
import numpy as np
import pandas as pd
from sklearn.datasets import fetch_california_housing # カリフォルニア住宅価格のデータセットを読み込む
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor, GradientBoostingRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.ensemble import StackingRegressor
from sklearn.model_selection import cross_val_score
# カリフォルニア住宅価格のデータセットを読み込む
california_housing = fetch_california_housing()
X, y = california_housing.data, california_housing.target
# データを分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 基本モデルの定義
base_models = [
('rf', RandomForestRegressor(n_estimators=10, random_state=42)), # ランダムフォレストモデル
('gb', GradientBoostingRegressor(n_estimators=10, random_state=42)), # 勾配ブースティングモデル
]
# スタッキングモデルの定義
stacking_model = StackingRegressor(
estimators=base_models,
final_estimator=LinearRegression()
)
# スタッキングモデルの学習
stacking_model.fit(X_train, y_train)
# スタッキングモデルの評価
y_pred_stacking = stacking_model.predict(X_test)
rmse_stacking = np.sqrt(mean_squared_error(y_test, y_pred_stacking))
print(f"スタッキングモデルの平均二乗誤差 (RMSE): {rmse_stacking}")
# 基本モデルの評価
for name, model in base_models:
scores = cross_val_score(model, X_train, y_train, cv=5, scoring='neg_mean_squared_error')
rmse_base = np.sqrt(-scores.mean())
print(f"{name} モデルの平均二乗誤差 (RMSE): {rmse_base}")
スタッキングモデルの方が精度が良くなりました。
スタッキングのメリット
スタッキングの最大のメリットは、複数のモデルの強みを組み合わせることで、より高い予測性能を達成できる点です。異なる種類のモデルを組み合わせることで、それぞれのモデルの弱点を補い、互いの長所を引き出すことができます。また、スタッキングは過学習（overfitting）への耐性が高く、一般的に汎化性能が向上する傾向があります。
スタッキングのデメリット
一方で、スタッキングにはいくつかのデメリットも存在します。まず、ベースモデルのトレーニングには追加の計算リソースと時間が必要となります。
さらに、モデルの組み合わせやパラメータの調整には経験とドメイン知識が必要であり、十分な実験やチューニングが必要です。また、スタッキングはモデルの互換性や相性の問題にも注意が必要です。
まとめ
スタッキングは複数の機械学習モデルを組み合わせることで予測性能を向上させるアンサンブル手法です。スタッキングのメリットは、異なるモデルの強みを引き出し、過学習に対する耐性を持つことです。
一方で、ベースモデルのトレーニングや組み合わせの調整には注意が必要です。スタッキングには決定木、ランダムフォレスト、SVM、ニューラルネットワーク、勾配ブースティングなど、さまざまなモデルが使用されます。
スタッキングなどのモデル改善におススメの書籍
Kaggleで勝つデータ分析の技術
こちらは有名な書籍ですが、Kaggleで勝つために様々な特徴量の使い方やモデルの作り方が書かれています。精度で悩んだ際はこちらの書籍を参考にするのがおススメです。
コメント