生成AIを活用した創作システムの設計・検証
― DSLによる世界観構築と音響解析 ―
はじめに
生成AIによる創作では、画像・文章・音楽などの生成結果を感覚的に評価することが多い。
今回は、Array.Ver.拾禄-HOPEで制作した作品
「冬ノ世界-始マリノ理」に対して、音量エネルギー(RMS)の推移を解析し、物語構造との関係を検証した。
Array.Ver.拾禄-HOPEの記事は以下である。
「冬ノ世界」は、以下のPhase構成で設計している。
- Phase.1 - Memory
- Phase.2 - Distortion
- Phase.3 - Inner
- Phase.4 - Contract![1000016434.png]
- Phase.5 - Awakening
- Phase.6 - Winter World
- Phase.7 - Rebuild
- Ending
作品内では、記憶・歪み・葛藤・契約・覚醒・再構築という流れで感情変化を設計している。
解析対象
対象楽曲：
「冬ノ世界-始マリノ理」
解析内容：
- 楽曲時間：約7分46秒
- 解析単位：5秒刻み
- 指標：RMS（音量エネルギー）
RMSを使用することで、楽曲内の音エネルギー変化を数値として確認する。
RMS解析結果
[冬ノ世界 音量エネルギー推移]
解析結果では、音量エネルギーの変化が物語展開と近い推移を示した。
序盤では静かな状態から開始し、
Phase.3では感情の蓄積による上昇、
Phase.5 Awakeningで最大値へ到達、
その後Phase.6 Winter WorldからEndingに向けて減衰していく流れが確認できた。
Phaseごとの変化
| Phase | 内容 | 音響変化 |
|---|---|---|
| Memory | 記憶 | 静かな導入 |
| Distortion | 歪み | 不安定化 |
| Inner | 内面の葛藤 | エネルギー蓄積 |
| Contract | 契約 | 一時的な沈静化 |
| Awakening | 覚醒 | 最大ピーク |
| Winter World | 冬の世界 | 静寂への移行 |
| Rebuild | 再構築 | 回復・終結 |
| Ending | 終幕 | 減衰 |
検証結果
今回の解析では、単純な音量エネルギー(RMS)のみでも、
- 感情の蓄積
- 覚醒ポイント
- 静寂への移行
といった物語上の変化を数値として確認できた。
特にPhase.5 Awakeningでは、楽曲全体のエネルギーが最大値となり、物語上の覚醒表現と一致する結果となった。
これは、
という対応関係を、簡易的ながら検証できたことを示している。
考察
今回使用した指標はRMSのみである。
しかし、生成AIによる作品解析では、今後、
- 周波数解析
- スペクトラム解析
- 音色変化
- 無音区間
- ダイナミクス解析
などを組み合わせることで、より詳細な感情構造解析が可能になると考えている。
Array.Ver.拾禄-HOPEでは、
- 世界観設計
- 物語構造
- 音響表現
- 生成AI活用
を統合した創作設計を行っている。
今回のRMS解析は、その中の一要素を数値化する試みである。
今後の検証
今後は、
- 画像生成DSL
- 音楽生成
- 映像編集
- 感情パラメータ
を組み合わせ、生成AI作品における構造化された創作について検証を進めていく。
使用技術
- 生成AI
- Suno AI（楽曲生成）
- RMS解析
- Array.Ver.拾禄-HOPE
- ArrayDSL
解析設計
wd01x2oa × GPT-CAMEL × Claude先生
共同研究・検証補助
wd01x2oa
×
GPT-CAMEL
×
解析協力:
RMS解析については、Claude先生による解析支援を用いて、
音量エネルギーの変化を可視化しました。
楽曲生成
Suno AI
主な使用タグの参考記事
https://zenn.dev/wd01/articles/48e0143d8914bf