計算コストと評価の公平性というトレードオフを、皆さんはどのように解決していますか？

評価の公平性ではなく、制約とのトレードオフですね。多くの場合。

特徴量の有効性のランキングを正確に求めることが最重要という目的があれば評価の公平性も出てくるかと思いますが、多くの場合は

• 予測精度の改善
• 予測に有効な特徴量の選定
  　これは「評価の公平性」の観点がなくはないですが、正確に順序を求めたいというよりも、
  • 予測結果となる原因を探す
  • 予測改善のために有効な特徴量の精度をあげる（センサー値Aが最重要に効いてるのであればより精度の良いセンサーに変えるとか）

Kaggleや、大きな市場取引で、精度の小数点以下の値を少しでも改善すれば大きな利益となる場合は、可能な限り総当たり。

1-3日くらいで回答が求められる、現状誤差10％なのを5％くらいに減らせそうで、5.1%でも4.9%でも大して変わらない、な場合はある程度の当たりをつけてその範囲で実施。

コンペなどでは前者、ビジネスでのデータ分析では多くの場合が後者かと思います。
その上で、

A

1, 2の違いがあまりよくわかりませんが、「段階的」と言っているのは2のことでしょうか？「代表として選んだ特徴量は有効でないが類似の他の特徴量は有効だったというパターンを見逃してしまうのではないかという懸念」はわかりますが、それは1のアプローチでも同じでは？

• 業務知見からある程度可能性の高い特徴量で試す
• その結果から既知の特徴量の組み合わせや新しい特徴量の可能性が出てくればその入手を検討し、可能なら含める
  の繰り返しを許されたリソースの範囲で実施となるのではないかと思います。

B

これもおっしゃる懸念はわかりますが、シンプルなモデルで有効でない特徴量が、HP最適化で急激に有効になることは考えにくかなと思います。小数点以下などで効いてくることはあるでしょうが。