はじめに

この記事では、Magentaの開発環境を準備した上で、手元のMIDIファイルを学習し、曲を作成するということを行います。
magentaのBasic RNNのREADMEの通りですので、そちらを読んでいただいてもよろしいかと思います。

用語等、不明な点もあるため、ご了承いただければと思います。
開発環境の準備はこちらの記事もご参考ください。

TensorFlow製音楽生成プロジェクト「Magenta」を開発環境の設定から曲生成までやってみる。

データセットを作る

手持ちにMIDIファイルを学習する前に、まずはTensorFlowで扱えるように、NoteSequencesという形式に変換する必要があります。

下記のスクリプトを実行します。
不正な形式のMIDIファイルを読み込んだ際にエラーを吐くことがあります。
解析できないMIDIファイルはスキップされるので安心して大丈夫なようです。


MIDI_DIRECTORY=<folder containing MIDI files. can have child folders.>

# TFRecord file that will contain NoteSequence protocol buffers.
SEQUENCES_TFRECORD=/tmp/notesequences.tfrecord

bazel run //magenta/scripts:convert_midi_dir_to_note_sequences -- \
--midi_dir=$MIDI_DIRECTORY \
--output_file=$SEQUENCES_TFRECORD \
--recursive


```

`convert_midi_dir_to_note_sequences.py`と言うのを実行しているようですね。

下記のようなメッセージが表示されれば完了です。

```
..............
INFO: Found 1 target...
Target //magenta/scripts:convert_midi_dir_to_note_sequences up-to-date:
  bazel-bin/magenta/scripts/convert_midi_dir_to_note_sequences
INFO: Elapsed time: 7.312s, Critical Path: 0.63s

(中略)

INFO:tensorflow:Could not parse 0 MIDI files.
INFO:tensorflow:Wrote 6 NoteSequence protos to '/tmp/notesequences.tfrecord'
```


# 学習する

## メロディーを抽出する
`basic_rnn_create_dataset.py`を実行します。

これは上記でMIDIファイルを元に作成した`NoteSequence data`からメロディーを抽出するスクリプトです。
アウトプットは`SequenceExampleprotos`を含んだ`tfrecord`ファイルとして書き出されます。

`basic_rnn`モデルのTensorFlowの読み込みは、`SequenceExample protos`を直接モデルに読み込むことができます。

この例では、評価データセットを2つ目の`tfrecord`ファイルとして作ります。
ですが、`evaloutput`と`evalratio`フラグを削除することで省くことができます。

下記のようなメッセージが出ればOKです。


```
INFO: Found 1 target...
Target //magenta/models/basic_rnn:basic_rnn_create_dataset up-to-date:
  bazel-bin/magenta/models/basic_rnn/basic_rnn_create_dataset
INFO: Elapsed time: 0.573s, Critical Path: 0.01s

INFO: Running command line: bazel-bin/magenta/models/basic_rnn/basic_rnn_create_dataset '--input=/tmp/notesequences.tfrecord' '--output_dir=/tmp/basic_rnn/sequence_examples' '--eval_ratio=0.10'
INFO:tensorflow:

Completed.

INFO:tensorflow:Processed 6 inputs total. Produced 31 outputs.
INFO:tensorflow:DAGPipeline_RandomPartition_training_melodies_count: 29
INFO:tensorflow:DAGPipeline_MonophonicMelodyExtractor_melodies_discarded_too_long: 0
INFO:tensorflow:DAGPipeline_RandomPartition_eval_melodies_count: 2
INFO:tensorflow:DAGPipeline_MonophonicMelodyExtractor_melody_lengths_in_bars:
  [0,1): 10
  [1,3): 6
  [3,6): 17
  [6,7): 2
  [7,8): 1
  [8,10): 4
  [10,20): 21
  [20,30): 5
  [30,40): 6
  [50,100): 4
INFO:tensorflow:DAGPipeline_MonophonicMelodyExtractor_melodies_discarded_too_short: 35
INFO:tensorflow:DAGPipeline_Quantizer_sequences_discarded_because_multiple_time_signatures: 5
INFO:tensorflow:DAGPipeline_MonophonicMelodyExtractor_melodies_truncated: 0
INFO:tensorflow:DAGPipeline_MonophonicMelodyExtractor_polyphonic_tracks_discarded: 43
INFO:tensorflow:DAGPipeline_MonophonicMelodyExtractor_melodies_discarded_too_few_pitches: 10
```

完了すると
`/tmp/basic_rnn/sequence_examples/`に
`training_melodies.tfrecord`と`eval_melodies.tfrecord`の2つのファイルができます。
`training_melodies.tfrecord`は訓練用、`eval_melodies.tfrecord`は評価用のようです。





## トレーニングのスクリプトを実行する

Magentaの開発者の方がスクリプトを作ってくださっています。


```
$EXPERIMENT_DIR=/tmp/basic_rnn/logdir
```

作業フォルダを指定します。


```
$HYPERPARAMETER_STRING=`{"rnn_layer_sizes":[50]}’
```

ハイパーパラメータの指定をします。
このように指定することで、LSTMモデルのサイズを指定することができるようです。
LSTMについては下記が参考になると思います(大作)。

[わかるLSTM ～ 最近の動向と共に](http://qiita.com/t_Signull/items/21b82be280b46f467d1b)

> LSTM(Long short-term memory)は、RNN(Recurrent Neural Network)の拡張として1995年に登場した、時系列データ(sequential data)に対するモデル、あるいは構造(architecture)の1種です。

>　(中略)

> LSTMのその最も大きな特長は、従来のRNNでは学習できなかった長期依存(long-term dependencies)を学習可能であるところにあります。

```
$NUM_TRAINING_STEPS=20000
```

訓練回数を指定します。Macだととても時間がかかるので、数百とかに減らすといいと思います。


```
$TRAIN_DATA=/tmp/basic_rnn/sequence_examples/training_melodies.tfrecord
```

上記で生成した訓練データのパスを記載します。

```
$EVAL_DATA=/tmp/basic_rnn/sequence_examples/eval_melodies.tfrecord
```

オプションとして、訓練データと並行して検証データも並行してはしらせることができるようです。

設定ができたら、スクリプトを実行します。

```
./run_basic_rnn_train.sh $EXPERIMENT_DIR $HYPERPARAMETER_STRING $NUM_TRAINING_STEPS $TRAIN_DATA [$EVAL_DATA]
```


下記のメッセージが出ます。

INFO: Found 1 target...
Target //magenta/models/basic_rnn:basic_rnn_train up-to-date:
bazel-bin/magenta/models/basic_rnn/basic_rnn_train
INFO: Elapsed time: 0.544s, Critical Path: 0.00s
INFO:tensorflow:hparams = {'rnn_layer_sizes': [50], 'decay_rate': 0.85, 'dropout_keep_prob': 0.5, 'batch_size': 128, 'decay_steps': 1000, 'clip_norm': 5, 'initial_learning_rate': 0.01, 'skip_first_n_losses': 0}
Starting TensorBoard 28 on port 6006
(You can navigate to http://10.200.3.144:6006)
INFO:tensorflow:Train dir: /tmp/melody_rnn/logdir/run1/train
INFO:tensorflow:Starting training loop...
INFO:tensorflow:global_step/sec: 0

(中略)

INFO:tensorflow:Global Step: 100 - Learning Rate: 0.01000 - Loss: 1.680 - Perplexity: 13.678 - Accuracy: 85.811
INFO:tensorflow:Training complete.



# 曲を生成する。

上記の訓練が完了すると、作業ディレクトリ`/tmp/basic_rnn/logdir/run1/train/` の配下に、下記のようなファイルができると思います。

checkpoint model.ckpt-31
events.out.tfevents.1475664203.HTMac.local model.ckpt-31.meta
graph.pbtxt model.ckpt-39
model.ckpt-15 model.ckpt-39.meta
model.ckpt-15.meta model.ckpt-47
model.ckpt-23 model.ckpt-47.meta
model.ckpt-23.meta


checkpointというのはTensorFlowにおけるファイルの保存やロードに用いるもののようです。
Basic_RNNではこのうち、最後のcheckpoint(上記だとmodel.ckpt-47)を用いて曲を生成してくれるようです。


また、曲を生成するには、モデルにはじまりのメロディを与える必要があります。
曲生成はそのメロディを元に、次の音をどんどん予測して行って曲を延長していく、ということをするからです。準備するメロディはモノラルの(同タイミングに複数の音が鳴らない)メロディである必要があります。

任意に作成してもいいですし、サンプルとして
`/magenta/models/shared/primer.mid`も準備されています。

ここではこのサンプルを用います。

PRIMER_PATH=

bazel run //magenta/models/basic_rnn:basic_rnn_generate --
--run_dir=/tmp/basic_rnn/logdir/run1
--hparams='{"rnn_layer_sizes":[50]}'
--output_dir=/tmp/basic_rnn/generated
--num_outputs=10
--num_steps=128
--primer_midi=$PRIMER_PATH


最小の３小節はprimer.midを元に固定されています。

[サンプル1](https://clyp.it/iwkk1xg3)
[サンプル2](https://clyp.it/jebdi2ny)

サカナクションさんを学習させましたが、雰囲気を感じることができました。


# 最後に

DeepLearningの知識、TensorFlowの知識、英語読解力の不足が原因で、ちょっと読み解けてない部分があります。
引き続き勉強します。。。

ありがとうございました。