ということで、まずはこれを見てください。

音はmp3ではなく、MIDIファイルをリアルタイムで演奏しています。

これは Maestro - Midi Player Tool Kit -FREE という無料のアセットに入っているデモです。

使い方にはやや癖があります。また、力業で鳴らしているためか、一時停止をかけたりデバッグでブレークポイントを張ったりすると壊滅的な音階になったりしますが、それを差し引いてもあまりある簡単さで音を出すことができ、かつ、リズムに合わせてオブジェクトを表示する等を行うことができます。

こちらのアセットを取得して、Unityでインポートします。

新しいシーンを作成したら、MidiFilePlayer Prefabをシーンに追加します。

Projectタブのすぐ下の段にある検索フォームに 'midi' のように入力すると見つけるのが簡単になります。

再生すると、MidiFilePlayerにプリセットされたMIDIファイルが演奏されます。

MIDIファイルを鳴らすのにMIDIファイルがない？
そんな時は配布されているMIDIファイルを用意しましょう。
MIDIファイル配布サイトをまとめてくださっている方がおられたので、自分はそちらからMIDIファイルを取得しました。

このアセットでは、MIDIファイルをインポートしてから使用します。
メニューから　Maestro > Midi File Setupを選択し、

Add a Midi Fileボタンを押します。

適当なMIDIファイルを選択すると、

ファイルがインポートされ、リストに追加されます。

追加したMidiFilePlayer Prefabをクリックし、InspectorウインドウのSelect MIDIをクリックするとMIDIファイルのリストが表示されるので、先ほどインポートしたMIDIファイルを選択します。

正しく選択されたのを確認し、Select a MIDI Fileウインドウを閉じます。

再生すると、自分で用意したMIDIファイルが演奏されます。