TL;DR

csvファイルとかだとまず行内に#から入るコメントアウト行が入ってたりすることはないと思いますが、バイオインフォマティクス特有のgffやらvcfやらbedやらはコメント行が含まれていて、普通にpandasで読み込むのがめんどくさかったので調べました。pandasは賢いのでそういう機能もあるようです。

comment引数

解決策は非常に簡単で、読み込む時にcomment引数にコメントの最初につける記号を入れるだけです。

import pandas as pd


df = pd.read_csv("/path/to/file", comment='#')

これで読み込めないイライラが解消される...