特徴量エンジニアリングの評価方法

解決したいこと

機械学習で特徴量を作ったり減らしたり抽出したりといろいろなことをしますが、この時どの特徴量集合がいいかを評価するために何かモデルを訓練させてその精度を見ると思います。この過程で一回一回ハイパーパラメータチューニング（例えばoptunaなどで）を行うのでしょうか？
特徴量の集合が変われば適したハイパーパラメータも変わってくると思いますが、optunaの場合、モデルによっては一回の調整で3時間ほどかかるので特徴量をいじるごとに調節するのは現実的ではない気がします。
普通はどのようにして特徴量エンジニアリングの良し悪しをはかるのでしょうか？