以下の記事に書いた「Magenta」の JavaScript 版である Magenta.js のお試しの話の続きです。

●機械学習・AI で音を作れる「Magenta」の JavaScript 版（Magenta.js）を p5.js Web Editor上で動かしてみる - Qiita
　https://qiita.com/youtoy/items/32eedd5c5c9280fe3f0f

今回は、上記の記事でも試した「MusicRNN」の話です。
ちなみに MusicRNN　は、「利用者が特定のメロディを入力すると、その続きを作ってくれる」という機械学習モデルになっているようです。

上記の記事の中では、公式の手順を試す中で MusicRNN の「basic_rnn」を使う部分がありました。
それ以外に、「melody_rnn」や「chord_pitches_improv」といったものもあるようだったので、今回はそれらを試すプログラムを作っていきます。

なお、上記の画像の中で「drum_kit_rnn」というのがありますが、これは別の機会に試していければと思います。

【追記】音が鳴る様子の動画を追加しました

どんな音が作られるのか、この記事で書いていたプログラムを実行しているところを、キャプチャしたものをツイートしました。

前に以下の記事を書いていた件、どんな音がなるのか分からない状態だったので、音が作られる様子を動画にしました。

●Magenta.js の MusicRNN の basic_rnn/melody_rnn/chord_pitches_improv を試す（環境は p5.js Web Editor上） - Qiita
　https://t.co/MbvbL7WrOG #p5js pic.twitter.com/sQmFMUWAyd
— you (@youtoy) December 12, 2021

音を作る

p5.js Web Editor の下準備

前回の記事の手順と同じように、まずは p5.js Web Editor の index.html でライブラリを読み込みます（前回と同じ、以下を読み込み）。

<script src="https://cdn.jsdelivr.net/npm/@magenta/music@^1.0.0"></script>

次に、sketch.js を作っていきます。

JavaScript のプログラム

今回、入力として与えるデータを 2つ増やしてみました（「チューリップ」と「かえるの歌」を用意してみました）。
また preload() の部分で「basic_rnn/melody_rnn/chord_pitches_improv」の 3つをそれぞれ読み込んでいます。

本来は、もう少しきれいに書けそうな内容になってますが、とりあえず版ということで...

const TWINKLE_TWINKLE = {
  notes: [
    { pitch: 60, startTime: 0.0, endTime: 0.5 },
    { pitch: 60, startTime: 0.5, endTime: 1.0 },
    { pitch: 67, startTime: 1.0, endTime: 1.5 },
    { pitch: 67, startTime: 1.5, endTime: 2.0 },
    { pitch: 69, startTime: 2.0, endTime: 2.5 },
    { pitch: 69, startTime: 2.5, endTime: 3.0 },
    { pitch: 67, startTime: 3.0, endTime: 4.0 },
    { pitch: 65, startTime: 4.0, endTime: 4.5 },
    { pitch: 65, startTime: 4.5, endTime: 5.0 },
    { pitch: 64, startTime: 5.0, endTime: 5.5 },
    { pitch: 64, startTime: 5.5, endTime: 6.0 },
    { pitch: 62, startTime: 6.0, endTime: 6.5 },
    { pitch: 62, startTime: 6.5, endTime: 7.0 },
    { pitch: 60, startTime: 7.0, endTime: 8.0 },
  ],
  totalTime: 8,
};

const TULIP = {
  notes: [
    { pitch: 60, startTime: 0.0, endTime: 0.5 },
    { pitch: 62, startTime: 0.5, endTime: 1.0 },
    { pitch: 64, startTime: 1.0, endTime: 2.0 },
    { pitch: 60, startTime: 2.0, endTime: 2.5 },
    { pitch: 62, startTime: 2.5, endTime: 3.0 },
    { pitch: 64, startTime: 3.0, endTime: 4.0 },
    { pitch: 67, startTime: 4.0, endTime: 4.5 },
    { pitch: 64, startTime: 4.5, endTime: 5.0 },
    { pitch: 62, startTime: 5.0, endTime: 5.5 },
    { pitch: 60, startTime: 5.5, endTime: 6.0 },
    { pitch: 62, startTime: 6.0, endTime: 6.5 },
    { pitch: 64, startTime: 6.5, endTime: 7.0 },
    { pitch: 62, startTime: 7.0, endTime: 7.5 },
  ],
  totalTime: 7.5,
};

const FROG = {
  notes: [
    { pitch: 60, startTime: 0.0, endTime: 0.5 },
    { pitch: 62, startTime: 0.5, endTime: 1.0 },
    { pitch: 64, startTime: 1.0, endTime: 1.5 },
    { pitch: 65, startTime: 1.5, endTime: 2.0 },
    { pitch: 64, startTime: 2.0, endTime: 2.5 },
    { pitch: 62, startTime: 2.5, endTime: 3.0 },
    { pitch: 60, startTime: 3.0, endTime: 4.0 },
  ],
  totalTime: 4,
};

let player;

function preload() {
  music_rnn_melody_rnn = new mm.MusicRNN(
    "https://storage.googleapis.com/magentadata/js/checkpoints/music_rnn/melody_rnn"
  );
  music_rnn_melody_rnn.initialize();

  music_rnn_chord_pitches_improv = new mm.MusicRNN(
    "https://storage.googleapis.com/magentadata/js/checkpoints/music_rnn/chord_pitches_improv"
  );
  music_rnn_chord_pitches_improv.initialize();

  music_rnn_basic_rnn = new mm.MusicRNN(
    "https://storage.googleapis.com/magentadata/js/checkpoints/music_rnn/basic_rnn"
  );
  music_rnn_basic_rnn.initialize();
}

function setup() {
  createCanvas(400, 400);
  background(220);

  player = new mm.Player();
}

function draw() {}

function keyPressed() {
  if (!player.isPlaying()) {
    let rnn_steps, rnn_temperature;

    switch (key) {
      case "q":
        player.start(TWINKLE_TWINKLE);
        break;
      case "w":
        makeMusicBasic(TWINKLE_TWINKLE, 4, 16 * 2, 1.5);
        break;
      case "e":
        makeMusicBasic(TWINKLE_TWINKLE, 4, 16 * 8, 1.5);
        break;
      case "r":
        makeMusicMelody(TWINKLE_TWINKLE, 4, 16 * 2, 1.5);
        break;
      case "t":
        makeMusicChord(TWINKLE_TWINKLE, 4, 16 * 2, 1.5, ["G", "Em", "C", "D"]);
        break;

      case "a":
        player.start(TULIP);
        break;
      case "s":
        makeMusicBasic(TULIP, 4, 16 * 2, 1.5);
        break;

      case "z":
        player.start(FROG);
        break;
      case "x":
        makeMusicBasic(FROG, 4, 16 * 2, 1.5);
        break;
    }
  } else if (player.isPlaying()) {
    switch (key) {
      case " ":
        console.log("Stop");
        player.stop();
        break;
    }
  }
}

function makeMusicBasic(SONG, steps_per_quarter, rnn_steps, rnn_temperature) {
  const qns = mm.sequences.quantizeNoteSequence(SONG, steps_per_quarter);
  music_rnn_basic_rnn
    .continueSequence(qns, rnn_steps, rnn_temperature)
    .then((sample) => player.start(sample));
}

function makeMusicMelody(SONG, steps_per_quarter, rnn_steps, rnn_temperature) {
  const qns = mm.sequences.quantizeNoteSequence(SONG, steps_per_quarter);
  music_rnn_melody_rnn
    .continueSequence(qns, rnn_steps, rnn_temperature)
    .then((sample) => player.start(sample));
}

function makeMusicChord(
  SONG,
  steps_per_quarter,
  rnn_steps,
  rnn_temperature,
  chord_progression
) {
  const qns = mm.sequences.quantizeNoteSequence(SONG, steps_per_quarter);
  music_rnn_chord_pitches_improv
    .continueSequence(qns, rnn_steps, rnn_temperature, chord_progression)
    .then((sample) => {
      console.log(sample);
      player.start(sample);
    });
}

上記を実行して、あとは特定のキーを押下していけば、以下の内容を試せます。

入力をそのまま実行
- きらきら星、チューリップ、かえるの歌の3つ
音を生成1： basic_rnn
- 3つの入力のそれぞれを、32ステップで指定（他のパラメータは前回の記事と同様）
- きらきら星について、128ステップで指定（他のパラメータは前回の記事と同様）
音を生成2・3： melody_rnn/chord_pitches_improv
- きらきら星について、32ステップで指定（他のパラメータは前回の記事と同様）

上記を試してみると、それぞれで異なる音が鳴るのが確認できました。

補足： chord_pitches_improv を使った場合

chord_pitches_improv を使った場合だけ、 continueSequence() でのパラメータ指定が他と異なります。

公式情報の continueSequence の部分で、以下の画像中に出てきている「chordProgression」の指定をしています。

これは、basic_rnn や　melody_rnn を使った場合と同じ処理内容を、chord_pitches_improv を使った場合にも用いてみたところ、エラーメッセージで chordProgression に関するメッセージが出たためです。
今回のプログラム中では、公式情報の例に記載されている「["G", "Em", "C", "D"]」を指定してみました。

余談

上記の補足の話の中に出てくる「tonalパッケージ」というのも気になりました。

●tonaljs/tonal: A functional music theory library for Javascript
　https://github.com/tonaljs/tonal

ドキュメントをざっくり見てみたところ、音系の処理を扱うのに便利そうでした。