はじめに
Orbitics株式会社データサイエンス部の上野です。
以前に執筆した「予測AIモデルのアルゴリズム選択」の記事では、構造化データを対象とする予測AIモデルの構築において、勾配ブースティング（Gradient Boosting Decision Trees, GBDT）が高い汎用性と精度を兼ね備えたアプローチであることを解説しました。
本記事では、その勾配ブースティングの性能を最大限に引き出すための鍵となるプロセス──特徴量エンジニアリング（Feature Engineering）──について詳しく解説します。
基本的なデータ前処理から予測精度を向上させるための高度な設計手法までを体系的に整理し、特に決定木ベースのモデルに特有のデータ構造的要件と、ビジネス理解に基づいた実践的な特徴量設計の工夫に焦点を当てます。
1. 特徴量エンジニアリングとは
特徴量エンジニアリングは、生データから学習効率と予測精度を高める情報表現を設計・変換・生成するプロセスです。統計的手法とドメイン知識を統合し、モデルにとって学習しやすい形に現象を写像します。
GBDTに特有の前提
- スケーリングは原則不要：決定木は値の大小関係に基づく分割を行うため、標準化・正規化の効果は限定的。
- 非線形・相互作用の自動抽出：木構造が階層的に相互作用を捉える一方、情報量の高い特徴量設計が精度の上限を規定する。
2. 前処理（Preprocessing）の基本
2.1 欠損値の扱い
- 保持：欠損そのものが行動特性や運用上の意味を持つ場合（例：属性未回答が特定群に偏る）。
- 特殊値で示唆：範囲外の値（例：フラグ的ダミー）により「欠損であること」を明確に伝える。
- 代表値で補完：欠損がノイズ的で、分布を維持したい場合は中央値などで補完。
- ポイント：補完方針は「生成過程の仮説」に基づき選ぶ。欠損はしばしば重要な予測シグナル。
2.2 カテゴリ変数のエンコーディング
- Label Encoding：順序性がなくても木は閾値で分割可能。高カーディナリティで計算効率が良い。
- One-Hot Encoding：カテゴリ数が少ない場合に有効。高次元化とスパース化に注意。
- Frequency / Count Encoding：カテゴリ頻度を数値化。分布偏りの情報を与える。
- Target Encoding（OOF前提）：高カーディナリティで有効だが、リークリスク管理（K-Fold, 時系列分割, 正則化）が必須。
3. ビジネス理解に基づく設計指針
3.1 コンテキストの言語化
「なぜイベントが起こるか」をデータ化する。
- EC購買予測：累積回数よりも「直近期間の特定カテゴリへの集中度」「探索→比較→購入の行動ステージ」など。
- 設備故障予測：「前回メンテからの稼働時間」「閾値超過の連続時間」「負荷履歴の累積」など。
3.2 施策変数の導入
モデル出力が意思決定に繋がる設計を行う。
- キャンペーン接触・露出頻度・適用可否、割引強度、在庫・予算制約のフラグ化。
- 施策の存在を明示することで、効果の分離と政策実行可能性を担保。
3.3 ビジネス的異常のフラグ化
統計的外れ値ではなく、ビジネス上の例外的価値（VIP・大量発注・重要アカウント等）を明示。学習時に希少イベントの意味を失わない。
4. 代表的な特徴量作成（Feature Creation）
4.1 時間ベース
- カレンダ特徴：曜日・月・四半期・時間帯・祝日。
- 相対時間：最終イベントからの経過時間（Recency）、継続期間、滞在時間。
- 周期性：季節性・週次性を捉える離散化や循環表現（例：曜日×時間帯）。
4.2 頻度・出現率
- Count / Frequency：ユーザ・商品・カテゴリなどの出現頻度・稀少性。
- 併売・共起：カテゴリ共起回数、系列内の反復・推移パターン。
4.3 集約（Aggregation）
- 集約統計：平均・中央値・分散・最大・最小・分位点。
- グループ粒度：ユーザ単位、店舗単位、商品カテゴリ単位など意思決定粒度に合わせる。
- ロバスト性：極端値の影響を緩和するため中央値・分位点を活用。
4.4 変換・関係性の明示
- 差・比・比率：水準差、成長率、構成比、価格帯比、需要/供給比。
- ビニング：連続値を区間化してノイズ耐性と非線形性を強化（等頻度・等幅・ルール基準）。
- 時系列ウィンドウ：移動平均・移動分散・移動最大/最小でトレンドとボラティリティを表現。
4.5 漏洩（リーク）回避の原則
- 未来情報は使用しない（学習時点可用情報のみ）。
- 集約は時点順守（時系列分割で安全側に）。
- クロスバリデーションと一貫（特徴量計算・エンコーディングは分割内で完結）。
5. 高度テクニックと実務ノウハウ
5.1 外れ値の扱い
- クリッピング：上下パーセンタイルで丸め、過度な分割の暴れを抑制。
- フラグ化：レンジ外や異常パターンの二値化で情報を保持。
- 文脈依存：単なる極値か、重要顧客・例外運用かを区別。
5.2 高カーディナリティのカテゴリ
- 頻度・ターゲット・ハッシュ等を状況で使い分け。
- 正則化と検証設計でリークリスクを管理。
- 階層カテゴリの活用（商品→サブカテゴリ→カテゴリ）により表現力と安定性を両立。
5.3 データ品質と再現性
- スキーマ変更・粒度変更による擬似ドリフトの監視。
- 特徴量定義のカタログ化（データ辞書・単位・計算根拠・依存表）。
- 特徴量生成のパイプライン化（同一処理を学習・推論で再現）。
6. 特徴量選択（Feature Selection）
6.1 モデルベース
- 重要度（Gain / Split / Permutation）で寄与の低い特徴量を枝刈り。
- 相関・多重共線性の高い冗長ペアを削除し、過学習と計算量を抑制。
- 安定重要度：複数分割・期間・サブサンプルで重要度の一貫性を確認。
6.2 目的関数との整合
- 分類：AUC・PR-AUC・対数損失に対する寄与。
- 回帰：RMSE・MAE・MAPEなど運用KPIとの乖離を確認。
- リフト/ゲイン：意思決定（施策対象選別）に直結する指標で再評価。
7. 検証設計（Validation）と評価
7.1 分割戦略
- iid前提：層化K-Foldなど標準分割。
- 時系列：TimeSeriesSplitや前向き検証で未来漏洩を防止。
- グループ依存：ユーザ/店舗/企業単位でGroup K-Foldを用いリーク抑止。
7.2 指標の多面的確認
- 集合指標：AUC, RMSE 等の全体性能。
- セグメント指標：重要セグメント別（VIP、地域、季節）の性能偏り。
- 事業KPI：利潤・在庫回転・解約抑止数など意思決定の成果で最終評価。
7.3 ロバスト性
- 摂動テスト：ノイズ注入・閾値変動・外れ値混入時の感度。
- シフト耐性：期間シフト、セグメントシフト下での劣化率（データ/コンセプトドリフトを意識）。
8. よくある落とし穴と回避策
-
リーク：ターゲット情報を直接/間接に含む特徴量（例：当日売上を説明変数にする）。
→ 分割・時点・依存表を固定し、再計算で再現性検証。 -
過学習：高カーディナリティ×Target Encodingの強すぎる適合。
→ K-Fold OOF、平滑化、ノイズ注入、事後の安定重要度で抑制。 -
粒度不整合：学習・推論で集約粒度が異なる。
→ 生成ロジックをパイプライン化し、同一実装を共用。 -
評価の目的ズレ：オフライン指標が事業KPIに不整合。
→ オフライン→シャドー運用→制限付オンラインの段階評価。
9. 実装に向けた運用チェックリスト
- データ辞書：定義・単位・欠損方針・変換根拠が明記されている。
- 特徴量カタログ：依存列・計算式・計算窓・リーク対策・想定用途を記載。
- 再現可能性：学習/推論の処理系が一致（パイプライン/関数化）。
- 検証設計：分割法・指標・閾値設定・セグメント評価が事業目的と整合。
- ドリフト監視：入力分布・特徴量分布・重要度・性能の定常性を継続監視。
- 運用境界：外れ値・未知カテゴリ・欠損急増時のフェイルセーフとログ出力。
まとめ
勾配ブースティングの予測精度は、特徴量設計によって大きく左右されます。
スケーリング不要・非線形/相互作用に強いという特性を踏まえ、コンテキストの言語化、施策変数の導入、ロバストな集約・頻度・時系列ウィンドウといった設計を一貫した検証枠組みの中で磨き込むことが重要です。
統計的整合性とビジネス妥当性を両立させることで、精度・安定性・意思決定貢献を同時に最大化できます。
一緒に技術を磨く仲間を募集しています
Orbitics株式会社では、本記事で紹介したような技術領域（データ分析・機械学習・MLOps・LLM・RAG・AIエージェント など）に本気で取り組みたいデータサイエンティストを募集しています。
ご興味がある方は弊社ホームページをぜひご覧ください。
https://www.orbitics.co.jp/