単なるフォーマット変換として捉えると、Free Audio to MIDI 変換の仕組みを誤解しやすくなります。入力は連続的な音響信号、出力は離散的なノートイベントです。その間には、音高候補、発音開始、継続時間、イベント統合、MIDI化、そして人間による検証があります。
開示：MusicMaker AIは、この記事で紹介するオーディオMIDI変換ツールを所有・運営しています。
入力のaudioと出力のMIDIはデータモデルが異なる
音声は時間に沿った波形で、基本周波数だけでなく倍音、ノイズ、残響、他の楽器、アタック成分も含みます。MIDIノートは、一般にノート番号、開始位置、終了位置または長さ、ベロシティといった記号的イベントです。
したがって、オーディオからMIDIノートを検出する処理では、波形のどの成分を「意図された音符」とみなすかを推定する必要があります。MIDIには元の声質や楽器音は保存されないため、再生には別の音源が必要です。
想定できる処理パイプライン
MusicMaker AIの公開ページはバックエンドのモデル名や実装方式を明示していません。以下は特定実装の断定ではなく、変換結果を検証するための概念モデルです。
audio input
-> signal preparation
-> pitch / onset candidates
-> note segmentation
-> MIDI event construction
-> piano-roll validation
-> manual cleanup
Signal preparation
入力区間を解析しやすい単位へ分け、音量や時間軸を扱います。実際に正規化、分離、フィルタリングのどれを使うかは公開情報がないため断定しません。
Pitch / onset candidates
音高候補と発音開始位置を推定します。単独の持続音に比べ、コード、打楽器、残響が重なる区間では候補が増えます。
Note segmentation
連続する音高候補を、開始と終了を持つノートへまとめます。ビブラートやベンドは一つの音を複数イベントへ分割する要因になります。
MIDI event construction
ノート番号、タイミング、長さ、ベロシティとして書き出します。この時点のデータは音楽的意図そのものではなく、推定結果です。
入力条件を整理する：Free Audio to MIDI ノート検出
入力を単純化すると、結果の良否を断定できるわけではありませんが、誤りの原因を切り分けやすくなります。
- 単一メロディまたは一つの楽器を優先する
- 不要な無音と別セクションを削る
- クリッピングと極端な小音量を避ける
- 強いリバーブ、ディレイ、環境ノイズを減らす
- 短い区間で検証してから長い区間へ進む
- 元ファイルと未編集MIDIを保存する
MusicMaker AIの現在の製品ページでは、MP3、WAV、OGG、FLAC入力、ブラウザ録音、MIDIダウンロード、内蔵MIDI Editorへの導線、最大9MBが案内されています。これらは入出力条件として利用時に再確認が必要です。
MIDI結果検証の順序
検証は見た目の整然さではなく、音楽的に重要な誤差から行います。
- Contour：旋律の上下方向が元音声と一致するか
- Register：オクターブが妥当か
- Onset：重要な音の開始が拍に対して適切か
- Duration：持続音が断片化、または過度に連結していないか
- Density：ノイズや倍音由来と思われる短いノートが多すぎないか
- Completeness：明瞭な音が欠落していないか
比較時は単純なピアノ音色を使い、数小節単位で元音声と交互に再生します。シンセの長いアタックやエフェクトは誤差を隠すため、最初の検証には向きません。
モノフォニックとポリフォニックを分けて考える
モノフォニック素材は、基本的に同時刻に一つの主音があります。ソロボーカル、口笛、単音フレーズなどです。ポリフォニック素材には同時発音、複数楽器、打楽器が含まれます。
MusicMaker AIのページはモノフォニックボーカルを利用例として挙げ、複雑なポリフォニック録音では結果が変動し得ると説明しています。完成ミックスのノートが過密なら、ステムへ分割する、主旋律だけ再録音する、コードは別工程で入力する、といった問題分割が必要です。
MIDI cleanupを検証ループに含める
エディタでは、明らかなオクターブ誤り、短い断片、欠落ノート、開始位置、長さの順に修正します。ビブラートを一音へ統合するか、ギターベンドを複数音として残すかは、最終用途によって変わります。
クオンタイズは誤検出の修正ではありません。まず音符自体を確認し、その後に必要な強さだけタイミングをグリッドへ寄せます。未編集データを残せば、修正による情報損失も比較できます。
検証ログには、入力区間、想定BPM、主旋律の音域、修正したノート数ではなく修正カテゴリを記録すると便利です。たとえば「オクターブ補正」「断片ノート削除」「開始位置調整」のように分類すれば、別の入力で同じ問題が再発したときに原因を比較できます。数値を性能指標として扱わず、再現可能な確認手順として残すのがポイントです。
一次資料と出典の境界
技術用語と製品情報は、同じ出典から導いたものではありません。読者が定義と研究例を直接確認できる資料は次のとおりです。
- MIDI AssociationのMIDI概要：MIDIが録音音声ではなく、演奏を記述するデータであることを説明しています。
- MIDI AssociationのMIDIメッセージ解説：Note On、Note Off、key number、velocityなどのイベント構造を確認できます。
- Bittnerらによる楽器非依存の自動音楽採譜論文：frame-wise onset、multipitch、note activationを同時に推定する研究例です。
この論文は音声からノートイベントを構成する一つの技術例であり、MusicMaker AIが同じモデルを採用している証拠ではありません。対応形式、最大9MB、録音、MIDIダウンロード、エディタ導線、現在の提供条件だけを製品ページ由来の情報として扱い、技術定義の根拠とは分離します。
最初のMIDI書き出しは性能評価の結果ではなく、検証対象として扱います。速度や精度を比較するなら、入力区間、音域、パート数、修正カテゴリを固定し、元音声と同じ条件で確認します。バックエンドモデルは公開情報がない限り推定しません。
入出力条件と画面を確認する場合は、MusicMaker AI free audio to MIDI 変換ワークフローを参照できます。公開画面の仕様と提供条件は利用時に再確認してください。
まとめ
音響信号から音高とオンセットを推定し、ノートイベントへ統合して検証・修正する流れが、Free Audio to MIDI 変換の基本パイプラインです。実装モデルが非公開でも、入力条件と検証順序を明示すれば、結果をブラックボックスのまま受け入れずに扱えます。