本記事について

先日、SIGNATEで開催されていた「SIGNATE Student Cup 2023【モデリング部門】：中古車の価格予測チャレンジ」に参加しました。
コンペティションURL : https://signate.jp/competitions/1051#terms

結果は9位/379人（Goldメダル）でした。

チームメイトに恵まれ何とかGoldメダルを獲得できました。解法を公開したいと思います。
コンペ初心者で分からないところだらけでした。改善の余地が多々あると思うので、ぜひ参考までに見ていただければと思います。

コンペティションの概要

中古自動車の情報(車種・走行距離など)をもとに、中古車の価格を予測するアルゴリズムを構築します。
また、名前の通り学生限定のコンペティションでした。

MAPE（Mean Absolute Persentage Error 平均絶対パーセント誤差）でした。以下の式で求まります。

\frac{100}{n} \Sigma_{i=1}^n \frac{y_i - \hat{y}_i}{y_i}

提供されたデータには以下のような情報が含まれていました。

主な工夫点として以下二つを行いました

予測アルゴリズムとしてはLightGBMを用いました。
内容を説明します。

フォーラムや情報共有のSlackで議論されていた内容を導入しました。特に特別なことはしていません。

単純にLightGBMで予測した結果を重ねると以下のようになります。
オレンジが予測値です。

多峰性を表現できていないことがわかります。
これをなるべく表現できるよう複数のモデルを組み合わせることを試しました。

以下の４つのモデルを作成しました

1のモデルの結果をもとに、この4つのモデルを組み合わせました。
具体的には

足し合わせる際の割合は試してよかったものを使っただけです。

多峰性を考慮するという観点はよかったと思いますが、もっと良い方法があると思います。
GBDT系のモデルを二段階に重ねる（一段階目で価格の高低の2クラス分類を行い、2段階目にその予測確率を特徴量に加える）という解法を目にして、この方がスマートだなと感じました。
(参考URL：https://dena.ai/news/career-up-challenge/)

解法の説明は以上です。拙い説明に付き合っていただきありがとうございます。
何か参考になれば幸いです。