まだ結果が出てないが、取り急ぎ、今回やれたことを簡易にまとめる。
詳細については、結果やその他ノートを見ながらまとめていく。
【1】.やったこと
(1).データの把握と整理
①.データの確認
(a).データの形状
(b).欠損値
(c).各列についての情報の整理
・id
・alpha
・delta
・u
・g
・r
・i
・z
・redshift
・spectral_type
・galaxy_population
・class
(2).ベースラインの作成
①.目的変数との関係が強い特徴量の選定
②.バリデーション設計
③.使用するアルゴリズムの選定
④.学習結果の表示等
⑤.全列の特徴量化による精度の推移の確認
(3).特徴量エンジニアリング
①.log化
②.列同士の積による値の協調(相互作用の協調)
(a).alpha × delta
(b).u～zの光学フィルター同士の相互作用の協調
(c).光学フィルターについての情報整理
(d).天体観測についての情報整理
③.目的変数のカテゴリ間の違いについてのEDA
(a).気が付いたことの書き出し
(b).Recallの確認と気づきの書き出し
④.誤判別データと正判別データの比較
(a).QSOの誤判別データとQSOの正判別データの比較
(b).GALAXYの誤判別データとGALAXYの正判別データの比較
(c).STARの誤判別データとSTARの正判別データの比較
⑤.散布図によるデータの観察(ratio特徴量の探索)
(a).u vs g
(b).u vs r
(c).u vs i
(d).u vs z
(e).g vs r
(f).g vs i
(g).redshift vs u～i
⑥.FP/FN分析
(a).予想したデータを9つに分けて抽出
・GALAXYと予測したが、実際はQSO
・GALAXYと予測したが、実際はSTAR
・QSOと予測したが、実際はGALAXY
・QSOと予測したが、実際はSTAR
・STARと予測したが、実際はGALAXY
・STARと予測したが、実際はQSO
・正しくGALAXYと予測
・正しくQSOと予測
・正しくSTARと予測
(b).GALAXYと予測したが、実際はSTARのデータへの着目。
(c).QSOと予測したが、実際はSTARのデータへの着目
⑦.条件別精度分析(高精度部分)
(a).GALAXYと予測したが、実際はSTARのデータへの着目。
(4).モデルチューニング
(5).モデルアンサンブル