訂正 (2020/06/19)

このようなコメントを頂きました。

これはUnityの問題ではなく、mp3というファイルフォーマットの仕様です。
なので、ゲームではoggの方が好んで使われます。

なんとこれはUnityではなくファイルフォーマットの仕様だったようです！
教えてくださった @kazutomo さん本当にありがとうございます！！！

こちらのサイトにはそういったファイルフォーマットのアレコレがまとめられていてとてもためになります！

記事の環境

Unity 2019.3.0f6

MP3で前に謎の余分な部分が追加されてしまう原因とその解決方法

いつもみたいにフリー効果音素材を効果音ラボ様から持ってきたんです。
MP3のやつを。

一度鳴らしてみて、自分が意図したタイミングとズレて再生されていたので、前の余分な部分をAudacityで切って再度MP3出力しました。
そしたら、なんと。。。。

余計な部分が追加されてしまっているではないか！！！(せっかく切ったのに。。。)

色々調べて全然原因が出てこなかったのでダメもとでwav出力したらちゃんと切れた状態で取り込めました。