　2026年3月から、KagglePlaygroundのコンペに参加していましたが、上位35%で伸び悩んでいます。
　データをなんとなく見ては、何か気が付けることを探して、それを試してみては有効な一手にならず、時間ばかりが過ぎてしまう、ということを繰り返してしまったためです。
　そこで、一度Taitanicに立ち返り、分析の切り口や特徴量の表現の仕方を改めて学び、自分なりに分析や試行錯誤の工程をおさらいしたので、ここにそのまとめを残します。

　あくまでも現時点でできたことをまとめているため、不備はそれなりにあるだろうが、これからブラッシュアップしていければと思います。

　また、今回はコーディングについてはあまり触れず、分析と試行錯誤についてを重点的にまとめています。

――――――――――――――――――――――――――――――――――――――――
【目次】
【1】.データの確認
　(1).データの状態の確認
【2】.初期特徴量選定とベースラインの作成
　(1).目的変数と強く関係していそうな特徴量を探す。
　(2).バリデーション設計をする。
　(3).使うアルゴリズムを決める。
　(4).学習結果を表示させる。
【3】.スコア改善のための試行錯誤をする。
　(0).試行錯誤の基本的な流れ
　(1).現在の特徴量から簡単に新たな特徴量を作れないか検討する。
　(2).目的変数のカテゴリ間の違いを探す。
　(3).FP/FN分析
　(4).条件別精度分析
　(5).予測確率分布分析
【4】.モデルチューニング
【5】.モデルアンサンブル
　(1).Seedアンサンブル
　(2).モデルアンサンブル
【6】.特徴量の表現方法についてのまとめ
　(1).四則演算で表現
　(2).条件スイッチ化
【7】.分析のコツ
――――――――――――――――――――――――――――――――――――――――
【1】.データの確認
　(1).データの状態の確認
　　①.データの数(行数、列数、列の種類など)の確認
　　　・データの行数、列数を確認し、データの規模を確認する。

　　②.データの欠損や、処理の傾向の確認
　　　・欠損しているデータはないか確認する。

　　　・極端な値で、欠損を表現したデータはないか確認する。
　　　　
　　③.データの内容の確認
　　　・各列のデータ型を確認する。

　　　・各列が何を表しているかを確認する(単語検索、データの傾向など)。
　　　　　　まずは.head()を使ってデータを見てみる。　
　　　　　　単語検索、describeの結果などからざっくりでいいので各列について仮説
　　　　　を建てるとその後の分析がスムーズになる。

　　　・目的変数(予想の対象)が何かを確認する。

　　④.データの構造の確認
　　　・大まかなデータの分布を見る。
　　　　　　数値列はヒストグラム、カテゴリ列は棒グラフなどにし、データの分布を
　　　　　大まかに把握する。

【2】.初期特徴量選定とベースラインの作成
　(1).目的変数と強く関係していそうな特徴量を探す。
　　①.各列と目的変数に何らかの関係がないかを調べる。
　　　　基本的には.groupbyを使って、目的変数の特徴と何かしらの連動をしていそう
　　　な列がないかを探す。(比例関係、線形関係など)

　(2).バリデーション設計をする。
　　　偏った予測になってしまうことを防ぐため、5分割(Fold)の交差検証法を使う。

　(3).使うアルゴリズムを決める。
　　　とりあえずはLightGBMが優秀なのでそれを使う。

　(4).学習結果を表示させる。
　　　CVスコア、Fold間の平均スコア、Fold間の標準偏差を表示させる。
　　　これをしておくと、後工程のスコア改善の試行錯誤の際に、その試行を採用する
　　かどうかの判断材料の一つになる。

【3】.スコア改善のための試行錯誤をする。
　　※試行錯誤とスコアの変化をまとめる表を別途作り、そこに記録しながらやると
　　　良い。

　(0).試行錯誤の基本的な流れ
　　①.ある視点からデータを見る。(EDAやErrorAnalysis)
　　②.気が付いたことを書きだす。
　　③.書き出したことから、「何故そうなっているか」の仮説を建てる。
　　④.「仮説がもしそうなってるなら、こうなってるはず」という予想をたて、該当
　　　するデータを見てみる。
　　　特徴量化も試してみる。
　　⑤.結果を確認し、採用不採用を決め、①へ戻る。

　　　※データを見るときの視点は工程として後述する。

　(1).現在の特徴量から簡単に新たな特徴量を作れないか検討する。
　　　細かい分析を行う前に、簡単に作れる特徴量がないかを検討してみる。
　　　ぱっと思いつくもの2～3程度で良い。

　　①.まだ採用してない列を特徴量として追加してみる。
　　　　強い関係があるか微妙なものも一旦特徴量として追加してみる。
　　　　ただし、全部やろうとすると時間がかかりすぎるため、2～3試す程度で良い。
　　　　(時間が潤沢にあるなら全て試しても良いが)

　　②.log化してみる。
　　　　例えば、分布を見た時に、片側に裾が長い特徴量はlog化するとスコアが改善
　　　することがある。

　　③.＋、－、×、÷などの式により、新たな情報を持った特徴量を作れないか検討
　　　する。
　　　　例えば、Taitanicというコンペでは、SibSP(兄弟姉妹・配偶者の数)とParch(
　　　親or子の数)を組み合わせて
　　　　「SibSP(兄弟姉妹・配偶者の数) + Parch(親or子の数) + 1(自分)」
　　　　で、「家族の数」という新たな情報を持ったデータを作ることができる。
　　　　四則演算それぞれの表現できるものなどは後述。

　　④.頻度(frequency)を探す。
　　　　　そのデータの値の頻度そのものが、予測するための情報になることがある。
　　　　　(例：Taitanicにおける、家族の人数4人は、全データにおいてどれくらい
　　　　　　　希少なのか、等)

　　　　　「カテゴリに属すこと自体の意味」が弱い時、「所属数そのものに意味が
　　　　　ありそうな時」などは、精度向上につながる場合がある。

　(2).目的変数のカテゴリ間の違いを探す。
　　①.各列で、カテゴリ間の違いを探す。
　　　　例えば、Taitanicにおける女性だけで見た時に、生存者と死亡者のデータ
　　　の差異を見る、といった具合に。

　　②.違いから気が付いたことをまとめ、仮説を建てる。

　　③.(必要ならば)さらに、細かいカテゴリ毎の違いを見ていく。

　(3).FP/FN分析
　　①.用語の整理
　　　・FP(False Positive)
　　　　　良い側(1)の予測をして、外した予測。
　　　・FN(False Negative)
　　　　　悪い側(0)の予測をして、外した予測。
　　　・TP(True Positive)
　　　　　良い側(1)の予測をして、合っていた予測。
　　　・TN(True Negative)
　　　　　悪い側(0)の予測をして、合っていた予測。

　　　　※Positiveは1に置いている物。
　　　　　Negativeは0に置いている物。

　　②.FPとTP、FNとTNの各列を見比べて違いを見つける。
　　　　FPに該当するデータとTPに該当するデータをそれぞれグループ化し、この2
　　　つのグループ間の違いを見つける。
　　　　そこに、アルゴリズムが拾えてない「予測を分ける要素」がある。
　　　　その違いから仮説を建て、特徴量として表現する。

　　③.FPやFNの中で、高確度(0.8以上や0.2以下)の予測に着目して違いを探す。
　　　 (高確信ミス分析)
　　　　目的変数の予測が0.8以上や0.2以下になっているデータはその時点での特徴量
　　　では自信をもって予測したのに外している部分である。
　　　　すなわち、その部分のTP/TNとの違いは、予測に大きく寄与するのに、アルゴ
　　　リズムが拾えていない要素が含まれている可能性がある。

　(4).条件別精度分析
　　①.各グループのAccuracyを見る。
　　　　例えば、性別の男だけで見ると、予測確率が低いなら、そこにうまく拾えて
　　　いない要素があるかもしれない。
　　　　要するに、より小さいグループに切り分け、そこでの予測確率を見ることで
　　　まだ拾えてない要素を分析するための切り口を探す。

　　②.予測が著しく低い領域を深堀する。

　(5).予測確率分布分析
　　①.予測確率を分布化する。
　　　　そのモデルは確信を持ってる予測が多いのか。
　　　　あるいは、微妙な予測が多いのか、など、予測の分布を見ることで何かヒント
　　　が何かを探す。

　　②.分布の形状を見て、極端な部分を探す。
　　　　例えば、50%付近が妙に多いならば、そこには「あと一押しで正解になる人」
　　　が多く、その一押しが何なのかを探す切り口になる。
　　　　逆に確信の持ってる予測が多いならば、どちらかというとアンサンブルが
　　　聞きやすい場面であったりする。

　　　　このように、分析の状態を見ることで、新たな洞察の切り口を得る。

【4】.モデルチューニング
　　テキストなどにやり方が書いてあるため割愛

【5】.モデルアンサンブル
　(1).Seedアンサンブル
　　　Seed値を3～5個に増やして、予測を行い、その平均を取ることで予測の偏りを
　　減らす。
　　　計算時間が増大するものの、精度の微妙な改善に繋がることが多い。
　　　
　(2).モデルアンサンブル
　　　別のモデルの予測と結果を平均する。
　　　ただモデルを増やせばいいわけではなく、同程度の精度を持った「別の考え方」
　　の予測を集めることで、各モデルの予測の「弱み」を補完しあい、精度の向上を
　　図ることができる。

　　①.モデル毎に結果を保存する。
　　　　oof_predなどに予測結果を入れているが、アンサンブルしようと次のアルゴ
　　　リズムを走らせると、上書きされてしまう。
　　　　なので、学習した次のセルで、保存するコードを書く必要がある。

　　②.アンサンブルを行う。
　　　　やること自体は、各モデルの予測確率を足し合わせ、平均化。

　　③.結果と、モデルの違いを分析する
　　　　モデル同士の予測の違いを確認し、その違いから別の分析のヒントを見出す。
　

【6】.特徴量の表現方法についてのまとめ
　(1).四則演算で表現
　　①.+(足し算)
　　　・合計量
　　　・複数要素の累積

　　　　「これは同じ種類の量じゃないか？」を考える。

　　②.-(引き算)
　　　・差
　　　・基準に対するズレ

　　　　「差が意味を持つか？」を考える。

　　③.×(掛け算)
　　　・相互作用(強調)

　　　　「AとBが揃うと意味を持つ」を表現する。

　　④.÷(割り算)
　　　・比率
　　　・効率
　　　・密度

　　　　「単位当たり」にならないかを考える。

　(2).条件スイッチ化
　　　例えば、ブール値などで「〇〇かつ××」という条件を設定し、それを満たす
　　かどうか、という特徴量を作る。
　　　

【7】.分析のコツ
　分析の秘訣は「行き詰ったら次の切り口に移る」こと。
　行き詰ったら

　・EDA
　・特徴量探索
　・FP/FN分析
　・条件別精度分析
　・予測確率分布分析
　・アンサンブル差分分析

　など切り口を変え、考えを書き出し、そこから何かしらの仮説を建て、その仮説
を支えうるデータを探す検証をすること。