Go to Qiita Advent Calendar 2024 Top
LoginSignup
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

@shozaburo

[森のタクト] 曲を楽器ごとに複数のスピーカーから鳴らす

Last updated at Posted at 2016-08-05

Maker Faire Tokyo 2016 森のタクトについての詳細記事です。

概要

今回のシステムを作るにあたって最も重要な部分が、楽器毎に複数のスピーカーを鳴らす仕組みでした。
その為にはまず、曲の演奏情報が楽器ごとに分かれている必要があるのでソースファイルとしてはMIDI(.midi)を使用しました。
また、複数のスピーカーに振り分けて音を鳴らすために、スピーカーひとつにつきRaspberryPiをひとつ割り当て、曲のソースファイルをもつRaspberryPiから音の情報を各RaspberryPiに送信し受け取ったらすぐに音を鳴らす、という仕様にしました。
RaspberryPi間のデータの送受信には有線LANを使用しています。本来MIDIのデータのやりとりにはMIDIの仕様に則ったMIDIケーブルを使うのが筋ですが、当然ながらMIDIポートなどはないのでそれより高速ならなんでもいいだろうということでMIDIは使用していません。
スクリーンショット 2016-08-03 15.05.48.png

詳細

これを実現する方法を３つの要素に分解してそれぞれについて説明します。

MIDIファイルを読み込む

MIDIファイル（.mid拡張子）はSMFというフォーマットに従って音の情報が格納されています。
SMFフォーマットは、”デルタタイム”と"イベント"の２つをひとつのかたまりとして、それらを羅列して表現されていてます。デルタタイムはそのイベントの継続時間（次のイベントまでの時間）を示しており、イベントはその名の通り何かしらのアクション情報です。
イベントは３つに分かれていますが、そのイベントの中にもいくつかの細かい分類があります。
今回の開発で関係があるイベントは下記です。（実際はもっといろいろあります）

  • MIDI Event
    • NoteON
    • NoteOFF
    • Program Change
  • Meta Event
    • Set tempo
  • SysEx Event

この中で最も重要なのが、MIDI Eventの中にあるNote ON、Note OFFのイベントです。具体的には下記の3byteのデータになっています。これは純粋に音を鳴らす、音を止めるというイベントです。

情報 データサイズ 説明
ON/OFF 4bit 0x8の場合はNoteOFF(音を止める)、
0x9の場合はNoteON（音を鳴らす）
Channel 4bit どのチャンネルの音を鳴らすか。
予めProgram Changeイベントによってチャンネルと楽器（音色）のひも付けが行われているので、
実質どの楽器（音色）を使うのかを示している。
Note Number 8bit 音階
Velocity 8bit 音の強さ。
NoteONイベントでもこれを０にするとNoteOFFと同義になる。
スクリーンショット 2016-08-03 19.16.52.png

従って、このイベントに合わせた構造体を定義し、SMFを読み込みながらその構造体をリスト化することにしました。具体的にはsendbuf[]に送信する情報をセットしていきます。全てのイベントに対応しようとすると３byteでは足りないのですが、基本的な音を鳴らすだけであれば、３byteに収まってしまうのでこのように定義しています。また、wait_timeにはデルタタイムから計算した実時間（単位はusec）をセットします。
この構造体をリスト化するにあたっては、曲によってイベントの数が異なっているということがあるのでリンクリスト構造としSMFを頭から読み込みながらイベントのたびにメモリを確保、変数のセット、連結を行うようにしています。（注：このやり方はフォーマット０にしか対応していないので、フォーマット1は動きません。）

struct MidiEvent{
    unsigned char sendbuf[3];
    unsigned int wait_time; // usec 
    struct MidiEvent *next;
};

C言語でSMFの読み込むコードは下記のサイトを参考にさせていただきました。
http://torasukenote.blog120.fc2.com/blog-entry-104.html

音を鳴らす

まずはデータの送信は考えず１台のRaspberryPiの中でデータの読み込みから音の出力までをテストすることに。
最初にMIDI音源、Playerとして有名なtimidityをインストールします。

command
$ sudo apt-get install timidity

timidityを使ってmidiファイルを再生するには、

command
$ timidity hogehoge.mid

で済むのですが、今回は自前に読み込んだデータを利用して音を出力したいのでこれではいけません。
この場合はまずtimidityを使ってmidi portを開きます。

command
$ timidity -iA &

midi portが開いたかどうかはaplaymidiというコマンドを使用します。

command
$ aplaymidi -l

下図のようにtimidity -iAを行った後では128:0 ~ 128:3というPortが開いていることがわかります。
スクリーンショット 2016-08-03 20.05.09.png

このPortに対して音の情報を流すプログラムを書きます。
プログラムにはalsa-libraryというものを使うので、ライブラリのインストールをします。

command
$ sudo apt-get install libasound2 libasound2-dev

プログラムの大まかな流れ(必要な部分だけを抜粋)は下記の通り。
まずは、seq_open()で事前にTimidityで開いておいたポート128:0 ~ 128:3のどれかに接続します。
接続したあとは、note_on()もしくはnote_off()を呼べば音がなったり音を止めたりできます。
具体的なプログラムの中身については下記を参考にしました。
http://www.nurs.or.jp/~sug/soft/binbo/binbo5.htm

#include <alsa/asoundlib.h> //alsaライブラリ

int seq_open(){
    //自分自身のポートのオープンとTimidityポートへの接続
}

int seq_close(){
    //ポートを閉じる
}

void note_on(unsigned char ch, unsigned char note, unsigned char velocity){
    //引数に応じた音を鳴らすよう、接続したポートに送信する
}

void note_off(unsigned char ch, unsigned char note, unsigned char velocity){
    //引数に応じた音を止めるよう、接続したポートに送信する
}

makeするときには-lasoundの指定してください。

ではこれを使って先ほど読み込んでおいたデータを鳴らすには下記のように記述します。
実際にはProgram Changeというイベントにも対応しないと音は鳴らせないですが、実装の雰囲気をわかりやすくするためにあえて省略しています。

int seq_open(){
    //中身省略
}

int seq_close(){
    //中身省略
}

void note_on(unsigned char ch, unsigned char note, unsigned char velocity){
    //中身省略
}

void note_off(unsigned char ch, unsigned char note, unsigned char velocity){
    //中身省略
}

struct MidiEvent *smf_parse(){
    //SMFを読み込んでリンクリストの先頭を返す(中身省略)
    struct MidiEvent head;

    return &head;
}

int main(){
    struct MidiEvent *datahead;
    struct MidiEvent *p;
    unsigned char ch;
    
    seq_open();
    datahead = smf_parse();

    for(p = datahead->next; p != NULL; p = p->next){
        
        switch(0xf0 & p->sendbuf[0]){
            case 0x80:
                //Note OFF
                note_off(0x0f & p->sendbuf[0], p->sendbuf[1], p->sendbuf[2]);
                break;
            case 0x90:
                //Note ON
                note_on(0x0f & p->sendbuf[0], p->sendbuf[1], p->sendbuf[2]);
                break;
            default:
                break;
        }
        usleep(p->wait_time);
    }

    seq_close();
    return 0;
}

MIDI情報を送信する

これで音を鳴らすための下準備はできたので、あとは出力ポートを自分自身のRaspberryPiで開いたポートではなく、別のRaspberryPiで開いたポートを指定してあげればよいということになります。
問題は、先ほど書いたように物理的なMIDIインターフェースを使用するわけではないので何でデータ通信するか...です。最初はSerialを使用してこの3byteのデータをバイナリ送信し、受信側で受け取った3byteを各ポートに出力するようにしていました。
が、RaspberryPiのSerialが不安定（取りこぼしをする、物理層レベルで正しいデータが送信されていないetc.）で数日かけても原因を取り除くことができませんでした。
そこでSerialは捨ててその代わりにLANを使用しました。midiをLANでデータ通信する試み（midi over lanと呼ばれる）は先人たちが既に行っていたため利用できるツールもあり非常に簡単に実現できました。どのようにやるかというと、
（今後データを受信するRaspberryPiをサーバー、データを送信するRaspberryPiをクライアントと呼ぶことにします。）

1.サーバー側でサーバーを立ち上げる
(ip address:192.168.11.10とする)

command
$ timidity -iA & 
$ aseqnet & 
$ aconnect 128:0 129:0

2.クライアント側

command
$ aseqnet 192.168.11.10 &
$ aplaymidi -l

これでクライアント側で”128:0 aseqnet”というmidi portが見えれば成功。
あとは先ほどと同じように128:0というポートに向けて音情報を送信すれば、ネットワークを介してサーバー側のtimidityまで情報が伝わるようになります。（バケツリレーのようなイメージ）

今回は複数のスピーカーから音を鳴らす必要があるので、各RaspberryPiで同じようにサーバーを立てていき（ipはそれぞれ固定しておく）、そのアドレスに対してクライアント側からaseqnetで接続してあげます。
クライアント側にはmidi portが128:0から順に複数見えるようになるので、その全てのポートに対して接続し、
SMFのチャンネル情報を見て振り分け先を決めてデータを出力するようにプログラムを修正します。

スクリーンショット 2016-08-03 21.10.42.png
2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?