ハイパーパラメータチューニングのベストスコアの扱い

LightBGMのハイパーパラメータチューニングのときにoptunaやグリッドサーチを利用するのですが、その時のベストスコア（3クラス分類のaccuracy score）とテストデータを予測したときのスコアが少し違います。

ハイパーパラメータチューニングに利用したデータセットは、「テストデータ」とは別ではないでしょうか？だとすると、単に "異なるデータセットに対してスコアが異なる" ということなのだと思います。

この場合、手動でテストデータに対するスコアがより高くなるパラメータを探すのかグリッドサーチやoptunaのベストスコアを信じるのではどちらのほうが良いのでしょうか。

何が目的かによります。テストデータに対するスコアを上げたいのなら、仰るとおりテストデータに対するスコアがより高くなるパラメータを探すのが良いと思います。が、一般的には、この目的は意味がなく（むしろ有害であることが多い）、「グリッドサーチやoptunaのベストスコアを信じる」でしょう（信じるのはベストスコアというよりハイパーパラメータですね）。

また余談ですが、optunaはどこまで信じていいのでしょうか？optunaで出したハイパーパラメータの一部をグリッドサーチにかけたらベストスコアが少し向上したのですが、これはグリッドサーチの方が優秀ということでしょうか。

問題次第ですが、optunaとグリッドサーチとで探索する範囲（値域）を揃えたとすると、同じ時間ではoptunaの方がより良いハイパーパラメータを見つけられる場合が多いように思います。@ikeid さんは何かしら具体的なタスクに取り組んでいらっしゃるようなので、値域と時間を揃えて比較してみてください。