画像から音楽の自動生成

【追記】スマホでも生成した曲が聞けるようにしました。

#はじめに

https://t.co/KrOyDseJi9
画像からMIDI譜面の自動生成ツールを作ってみた。https://t.co/oc0x2IJWTh

— a2kiti (@a2kiti) 2019年3月4日

まず一点。
毎日のようにAIや人工知能と言った言葉を目にするこのご時世に「画像から音楽の自動生成」なんて言うと，
ニューラルネットワークによって画像から情景や人物の感情を推定してRNNによってうんたらかんたら，，，
みたいな話に聞こえますが，そんな大層なことはしていません。

先週，「世界地図を楽譜にした」というツイートを目にしました。

世界地図を楽譜にした結果

これずけぇー！！！😳✨ pic.twitter.com/9mV9OMug6q

— Ag さん (@ag_sns) 2018年5月7日

これは元は海外の人が上げている動画のようですが，ちゃんと曲になっていてすげーと思いました。
くわしくはありませんが，絵になっている楽譜というのはかなり昔から作られているようです。

自分でも何か絵になっている楽譜作ってみたいと思ったので，プログラムの勉強も兼ねて任意の画像から自動で楽譜を生成できるようにしてみました。
やることは単純ですが，ただの音符の羅列では全然曲っぽくならないため色々試行錯誤してみた結果です。

#画像の準備
画像中の画素を音符に変換してくことで楽譜を作ります。当然すべての画素を使うわけにはいかないので，楽譜をみて絵になるように線画に変換します。線画にするにはエッジを抽出する必要がありますが，これは様々な方法がありここではCanny法を用いました。
https://qiita.com/supersaiakujin/items/494cc16836738b5394c8

せっかくなので世界地図の画像を用います。

変換後はこのようになります。ここで縦の画素数が88個になるように縮小したものを拡大しています。
これはMIDIの音階の数にするためです。MIDIの音階は128段階ありますが，一般的なピアノの音階を考え88としました。

このように線画化した画像を使っていきます。

#画素をMIDIの音階に単純に変換
出来た線画の白い画素を単純にMIDIの楽譜にするとこのようになります。

不要和音だらけで気持ち悪いですね.
前衛音楽のように聞こえなくもないですが，まともに聞きたいとは思えません。

#ドレミファソラシに当てはめてみる
音符には「ド，ド＃，レ，レ＃，ミ，ファ，ファ＃，ソ，ソ＃，ラ，ラ＃，シ」の12種類があります。
しかし曲にはキーと言うものがあり，C長だと基本的にはドレミファソラシだけを使います。（だけではないけど）
それ以外の＃が付いた音階を使うと不協和音に聞こえてしまいます。
そこでドレミファソラシだけに音符を当てはめてみます。

不協和音は消え，ところどころメロディーっっぽくなっている気はします。
でも音が連続してなり続けて出た目めにしか聞こえませんね。

#コード進行を当てはめてみる
曲にはコード進行があります。
詳しくは書きませんが，曲の雰囲気の流れを決めているものです。
横の画素16個を1小節として，あるコードの小節ではそのコードの音を中心的に使うようにしました。
コード進行はカノン進行と呼ばれる「C,G,Am,Em,F,C,F,G」にしています。

なんとなく曲っぽくなってきた気がします。
でも音が連続してせわしなく動いているのでなんか疲れます。

#リズムを考慮する
そこで最後にリズムを考慮して音符を配置します。
単純にランダムに音符を省いていくようでは結局デタラメになってしまいます。
そこで制限条件をつけた上でランダムに配置していきます。
音楽は繰り返しが大事なようです。同じような聞こえ方が繰り返されることで安心感が生まれ心地よく聞こえるようです。
そこで前の小説のリズムと似たような感じになるように確率の分布を設定して配置してみました。また小節の頭や表の泊では音がなりやすいようにもしています。

https://t.co/lAwXc135uq
画像からMIDI譜面の自動生成ツールを作ってみた。https://t.co/LCUaA20HdG

— a2kiti (@a2kiti) 2018年5月13日

どうでしょう？
かなり曲っぽくなったのではないでしょうか。

#まとめ
音楽の自動生成において曲っぽくさせるためには，音階・コード進行・リズムが重要な事がわかりました。
しかし，音楽的にきれいにするためにいろんな制限をかけて配置していくと，画素の配置がどんどんずれていくので，元の画像から離れていってしまうため(例では最終的に日本がぐちゃぐちゃに。。。），ある意味，画像的な綺麗さと音楽的な綺麗さはトレードオフになるようです。（もっとうまいことする方法があるかもしれません）

せっかくなのでWEBサービスとして公開してみました。
http://image2midi.a2kiti.com/

動画で最後の方に紹介しているように，ピカチュウなどすきな画像で試すことができるのでよかったら試してみてください。
もしいい感じの曲ができたら教えてほしいです。