はじめに
ヒホさん開発のディープラーニング声質変換OSSである「誰でも好きなキャラになれる」レポジトリ become-yukarinなどのいわゆる「yukarinライブラリ」の記事をまとめました。あなたも声質変換に挑戦してみませんか？
yukarinライブラリのユーザーコミュニティ
yukarinライブラリのユーザーコミュニティはこちらです。きりさんさんやatticさんが中心となって、メンバーが数十人で、活発にyukarinライブラリなどの意見交換が行われています。
環境構築について(今のところグーグルコラボラトリーとWindowsとUbuntuによる方法があります。最近WSL2でも可能になったようです。(yukarinライブラリでは未検証))
グーグルコラボラトリーでお手軽実行するための方法
atticさんによるもの。WindowsでGPUがなくても大丈夫です。
12時間までGPUの機械学習環境が無料で使えるグーグルコラボラトリーで、声質変換の学習や実行ができます。
第一段のみの学習
GPUがなくても、Google Colaboratory で結月ゆかりの声になりたい
第一段・第二段学習をさせる完全版はこちら。
「GPU・Linuxがなくても、Google Colaboratoryで『Yukarinライブラリ』を使いたい」
Windowsでの環境構築や学習するための方法
BURIによるWindows環境でのyukarinライブラリの学習挑戦記。原因不明のエラーが出たり、遅かったりしますので、あまりお勧めしません。yukarinライブラリディスコードにも資料があります。
Windowsで誰でも好きなキャラの声になれるyukarinライブラリを動かしてみた。
Windows にYukarinライブラリ（https://www.nicovideo.jp/watch/sm35735482）
を導入する際にひたすら躓いたので、覚書としてまとめる。
追記：精度を上げるための試行と躓きの記録も追加した。
だそうで、ピポッ(@pipo_lll)さんのまとめ。ツイッターをトゥギャッターでまとめたもの。
Windowsに『Yukarinライブラリ』（become-yukarin, yukarin）を導入した
Ubuntuで本格的に学習や実行するための環境構築の方法
become-yukarinの学習や実行に必要なUbuntu他の環境構築は以下の記事が参考になります。特に最後のものは参考になります。
「ディープラーニングの力で結月ゆかりの声になる」ためのLinux環境構築(RTX対応)【Ubuntu 19.04】by attic
「ディープラーニングの力で結月ゆかりの声になる」環境構築【Ubuntu Server v18.10】by sakamotothogo]
【Quick Start】ディープラーニングで結月ゆかりの声になる on Ubuntu18.04 by nullpo24
「ディープラーニングの力で結月ゆかりの声になる」ためのLinux環境構築【Ubuntu 17.10】by attic
初めての「誰でも好きなキャラの声になれる」ディープラーニング声質変換環境構築【Ubuntu 18.04LTS】by BURI
yukarinライブラリの学習方法や実行について
become-yukarinの基礎知識と実行方法(旧版)
atticさんによるbecome-yukarinの基礎知識と学習方法や実行方法です。
最近、学習第一段階の機能向上版である誰でも好きなキャラになれるリポジトリ yukarinがヒホさんにより公開されましたので、第一段に関しては、yukarinをご使用ください。そのため、この解説は古いので、次の解説をご覧ください。
「ディープラーニングの力で結月ゆかりの声になる」ための基礎知識とコマンド操作
yukarinライブラリの解説(最新版)
atticさんによるyukarinライブラリによる声質変換の解説です。これが最新版です。
『Yukarinライブラリ』 yukarin, become-yukarin 概要・リポジトリ関係を整理してみた
『Yukarinライブラリ』become-yukarin, yukarin コマンド解説
yukarinライブラリのエラーメッセージについて
yukarinライブラリのエラーメッセージについてatticさんがまとめてくれました。
『誰でも好きなキャラの声に』 become-yukarin, yukarin のトラブルシューティング
yukarinライブラリ関連ツール
yukarinライブラリジェネレータ
AIきりたんさんによるYukarinライブラリのデータ準備やディープラーニングのためのコマンドのジェネレーターです。
yukarinライブラリの声質変換結果の客観評価と向上の一手法
atticさんによるもの。
yukarinライブラリの性能向上について
第一段階・第二段階の性能向上の実験レポートはこちらです。
「ディープラーニングの力で結月ゆかりの声になる」ための第1段の高音質化
『ディープラーニングの力で結月ゆかりの声になるリポジトリ』のパラメータチューニング(第一段階編)
『ディープラーニングの力で結月ゆかりの声になるリポジトリ』の性能アップ (音質+速度)
yukarinライブラリのリアルタイム声質変換について(暫定)
atticさんによるbecome-yukarinのipynbブランチを利用したリアルタイム声質変換の実験はこちらです。最近ヒホさんがリアルタイム声質変換ライブラリを大幅にバージョンアップして
ディープラーニング声質変換を使って、リアルタイムで声質変換する realtime-yukarinを完成し公開されました。こちらをご利用ください。
『ディープラーニングの力で結月ゆかりの声になるリポジトリ』の ipynb ブランチのリアルタイム変換サンプル
become-yukarinの応用例
become-yukarinのdockerイメージ作成
become-yukarinを使ってキズナアイ*1になってみた人の作成したdockerイメージ
GitHub
*1キズナアイはVtuberである。
become-yukarinを参考に声質変換したもの
todaさんによるものです。※コードは別なようです。
できるだけ楽に結月ゆかりになりたい
become-yukarinの学生レポート
はこだて未来大学の学生だったhamaさんが実習でbecome-yukarinを使って茜ちゃん*1になったレポート。
*1 琴葉茜は企画開発元AI発売元AHSの音声合成ソフトウェアのキャラクターである。
ヒホさん自身のコンテンツ
ヒホさんのブログ
研究成果をまとめています。
CREPE(A Convolutional REpresentation for Pitch Estimation)使ってみた
ディープラーニングの力で人工知能になって結月ゆかりと会話してみた
リアルタイム声質変換ライブラリ「Realtime Yukarin」を公開しました
ヒホさんのツイッター
ヒホさんの最新状況はこちら。
※質問はヒホさんのGithubの各issueに飛ばしてほしいとのことです。(要githubアカウント)
ヒホさんのマストドン
研究とはあまり無関係につぶやいています。たまに研究のことも。
ヒホさんの欲しいものリスト
研究に必要なもの
ヒホさんのGithub
研究成果
誰でも好きなキャラの声になれるリポジトリ become-yukarin
ディープラーニング声質変換を使って、リアルタイムで声質変換する realtime-yukarin
ヒホさんの毎日生放送(要ニコ生アカウント)
毎日夜23時過ぎから1時間ほどプログラミング生放送をされています。今現在はSTARGANを使った演技音声合成に取り組まれています。
ヒホさんのQiita
基本書かないらしいですが、たまに書いています。
[ディープラーニングを使って自分を模した人工知能を作って会話してみた]
(https://qiita.com/Hiroshiba/items/b4daca0176af5fd352a2)
become-yukarinの研究
DMV(ドワンゴメディアビレッジ)の廣芝さんたちがbecome-yukarinについて研究して論文を出しています。解説記事もあります。
日本語論文 畳込みニューラルネットワークを用いた音響特徴量変換と
スペクトログラム高精細化による声質変換
英語論文 Two-Stage Sequence-to-Sequence Neural Voice Conversion with Low-to-High Definition Spectrogram Mapping
https://link.springer.com/chapter/10.1007/978-3-030-03748-2_16
ニコニコ動画やYoutubeの関連動画(一部)
【自己紹介】関西弁のゆかりさんがVtuberになりたいようです
【VR音ゲー】ゲームにちょっと自信のあるゆかりさんがBeat Saberでドヤってきます
【ゆかりさんの声で】チュルリラ・チュルリラ・ダッダッダ！歌ってみた【おまけもあるよ】
ディープラーニングを使って結月ゆかりの声で歌ってみた【音程改善】
ディープラーニングの力で人工知能になって結月ゆかりと会話してみた
**[AI.きりたん さん]
ニコ生
私、ボイスロイドになります！！【ディープラーニングで結月ゆかりの声になるリポジトリ】
【東北きりたん】SAKURAスキップ【歌ってみたボイスロイド】
YouTube
(※[チャンネル]
(https://www.youtube.com/channel/UC0v_L5gggYNXxIkTyk3VBUw/videos)で生放送を行っています。アーカイブもあります。)
- **[HelloWorld さん]
ニコ生
ゆかりソースを使って音質変換に挑戦する(音声プロット)
ゆかりソースを使って音質変換に挑戦する(音声プロット2)
ゆかりソースを使って音質変換に挑戦する#4
ゆかりソースを使って音質変換に挑戦する#5
ゆかりソースを使って音質変換に挑戦する#5_2
ゆかりソースを使って音質変換に挑戦する#6
ゆかりソースを使って音質変換に挑戦する#7(卓上防音壁設計)
ゆかりソースを使って音質変換に挑戦する#7.5
ゆかりソースを使って音質変換に挑戦する#7.5調整版2
ゆかりソースを使って音質変換に挑戦する#8
ゆかりソースを使って音質変換に挑戦する#9
(※挑戦するシリーズは 現在 #9 まであります)-
- トーダ さん
結月ゆかりになる RTA 1：49：50
- BURI
さとうささらになるためにまずはアナコンダを入れる
さとうささらになるために声質変換について調べる
Webメディア掲載
GIGAZINE 様ディープラーニングでリアルタイムに声をボカロのものに変換する試み
ニコニコニュースORIGINAL 様VOICEROID・結月ゆかりと会話したすぎて“人工知能になった”勇者現る…！ 斜め上を行く発想に「闇が深い」「どういうことなの」と震える声多数
おわりに
他にも関連記事や動画など見つけたとか編集リクエストやコメントにて教えてください。
それではよい声質変換ライフを。
更新履歴
2019/06/12/ attiさんの助言と提供によりニコニコ動画の動画を追加することができました。他いろいろ追記。まだ未完成。
2019/06/14 ヒホさんのブログ・github・Qiita追加。英語論文追加。とりあえず完成。
2019/06/17 東北きりたんのyoutube追加
2019/06/28 エラーメッセージについて追加
2019/07/11 yukarinライブラリ関連などについて追加
2019/09/15 リファクタリング atticさんの記事追加
2019/12/01 atticさんの記事追加
2020/06/05 ヒホさんの記事など細かいところリファクタリング
2020/07/02 Windowsでの挑戦記を追加。細かいところリファクタリング。