Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
Help us understand the problem. What is going on with this article?

ディープラーニング声質変換OSS「yukarinライブラリ」関連記事等一覧

はじめに

ヒホさん開発のディープラーニング声質変換OSSである「誰でも好きなキャラになれる」レポジトリ become-yukarinなどのいわゆる「yukarinライブラリ」の記事をまとめました。あなたも声質変換に挑戦してみませんか?

yukarinライブラリのユーザーコミュニティ

yukarinライブラリのユーザーコミュニティはこちらです。きりさんさんやatticさんが中心となって、メンバーが数十人で、活発にyukarinライブラリなどの意見交換が行われています。

yukarinライブラリディスコード

環境構築について(今のところグーグルコラボラトリーとWindowsとUbuntuによる方法があります。最近WSL2でも可能になったようです。(yukarinライブラリでは未検証))

グーグルコラボラトリーでお手軽実行するための方法

atticさんによるもの。WindowsでGPUがなくても大丈夫です。
12時間までGPUの機械学習環境が無料で使えるグーグルコラボラトリーで、声質変換の学習や実行ができます。

第一段のみの学習
GPUがなくても、Google Colaboratory で結月ゆかりの声になりたい

第一段・第二段学習をさせる完全版はこちら。
「GPU・Linuxがなくても、Google Colaboratoryで『Yukarinライブラリ』を使いたい」

Windowsでの環境構築や学習するための方法

BURIによるWindows環境でのyukarinライブラリの学習挑戦記。原因不明のエラーが出たり、遅かったりしますので、あまりお勧めしません。yukarinライブラリディスコードにも資料があります。

Windowsで誰でも好きなキャラの声になれるyukarinライブラリを動かしてみた。

Windows にYukarinライブラリ(https://www.nicovideo.jp/watch/sm35735482)
を導入する際にひたすら躓いたので、覚書としてまとめる。
追記:精度を上げるための試行と躓きの記録も追加した。

だそうで、ピポッ(@pipo_lll)さんのまとめ。ツイッターをトゥギャッターでまとめたもの。

Windowsに『Yukarinライブラリ』(become-yukarin, yukarin)を導入した

Ubuntuで本格的に学習や実行するための環境構築の方法

become-yukarinの学習や実行に必要なUbuntu他の環境構築は以下の記事が参考になります。特に最後のものは参考になります。

「ディープラーニングの力で結月ゆかりの声になる」ためのLinux環境構築(RTX対応)【Ubuntu 19.04】by attic

「ディープラーニングの力で結月ゆかりの声になる」環境構築【Ubuntu Server v18.10】by sakamotothogo]

【Quick Start】ディープラーニングで結月ゆかりの声になる on Ubuntu18.04 by nullpo24

「ディープラーニングの力で結月ゆかりの声になる」ためのLinux環境構築【Ubuntu 17.10】by attic

初めての「誰でも好きなキャラの声になれる」ディープラーニング声質変換環境構築【Ubuntu 18.04LTS】by BURI

yukarinライブラリの学習方法や実行について

become-yukarinの基礎知識と実行方法(旧版)

atticさんによるbecome-yukarinの基礎知識と学習方法や実行方法です。
最近、学習第一段階の機能向上版である誰でも好きなキャラになれるリポジトリ yukarinがヒホさんにより公開されましたので、第一段に関しては、yukarinをご使用ください。そのため、この解説は古いので、次の解説をご覧ください。

「ディープラーニングの力で結月ゆかりの声になる」ための基礎知識とコマンド操作

yukarinライブラリの解説(最新版)

atticさんによるyukarinライブラリによる声質変換の解説です。これが最新版です。

『Yukarinライブラリ』 yukarin, become-yukarin 概要・リポジトリ関係を整理してみた

『Yukarinライブラリ』become-yukarin, yukarin コマンド解説

Yukarinライブラリ用の音声収録方法の紹介(動画)

yukarinライブラリのエラーメッセージについて

yukarinライブラリのエラーメッセージについてatticさんがまとめてくれました。

『誰でも好きなキャラの声に』 become-yukarin, yukarin のトラブルシューティング

yukarinライブラリ関連ツール

yukarinライブラリジェネレータ

AIきりたんさんによるYukarinライブラリのデータ準備やディープラーニングのためのコマンドのジェネレーターです。

yukarinライブラリジェネレータ

yukarinライブラリの声質変換結果の客観評価と向上の一手法

atticさんによるもの。

Yukarinライブラリ用 パラレルデータ評価ツール

yukarinライブラリの性能向上について

第一段階・第二段階の性能向上の実験レポートはこちらです。

「ディープラーニングの力で結月ゆかりの声になる」ための第1段の高音質化

『ディープラーニングの力で結月ゆかりの声になるリポジトリ』のパラメータチューニング(第一段階編)

『ディープラーニングの力で結月ゆかりの声になるリポジトリ』の性能アップ (音質+速度)

yukarinライブラリのリアルタイム声質変換について(暫定)

atticさんによるbecome-yukarinのipynbブランチを利用したリアルタイム声質変換の実験はこちらです。最近ヒホさんがリアルタイム声質変換ライブラリを大幅にバージョンアップして
ディープラーニング声質変換を使って、リアルタイムで声質変換する realtime-yukarinを完成し公開されました。こちらをご利用ください。

『ディープラーニングの力で結月ゆかりの声になるリポジトリ』の ipynb ブランチのリアルタイム変換サンプル

become-yukarinの応用例

become-yukarinのdockerイメージ作成

become-yukarinを使ってキズナアイ*1になってみた人の作成したdockerイメージ
GitHub

変換結果

*1キズナアイはVtuberである。

become-yukarinを参考に声質変換したもの

todaさんによるものです。※コードは別なようです。
できるだけ楽に結月ゆかりになりたい

become-yukarinの学生レポート

はこだて未来大学の学生だったhamaさんが実習でbecome-yukarinを使って茜ちゃん*1になったレポート。

プロジェクト報告書(グループ)

プロジェクト報告書(個人)

ポスター

Github

*1 琴葉茜は企画開発元AI発売元AHSの音声合成ソフトウェアのキャラクターである。

ヒホさん自身のコンテンツ

ヒホさんのブログ

研究成果をまとめています。

ヒホさんのブログ

声優統計コーパスをアライメントしてみる

DeepLearningでも声質変換したい!

Chainerを使った研究開発時のクラス設計

ディープラーニングの力で結月ゆかりの声になってみた

CycleGANノンパラレル結月ゆかり声質変換やってみた

CREPE(A Convolutional REpresentation for Pitch Estimation)使ってみた

ディープラーニングの力で人工知能になって結月ゆかりと会話してみた

「結月ゆかり」とお喋りできるイベントの舞台裏

リアルタイム声質変換ライブラリ「Realtime Yukarin」を公開しました

ディープラーニングで歌声音声合成エンジンを自作する

ヒホさんのツイッター

ヒホさんの最新状況はこちら。

ヒホさんのツイッター

※質問はヒホさんのGithubの各issueに飛ばしてほしいとのことです。(要githubアカウント)

ヒホさんのマストドン

研究とはあまり無関係につぶやいています。たまに研究のことも。

ヒホさんのマストドン

ヒホさんの欲しいものリスト

研究に必要なもの

ヒホさんの欲しいものリスト

ヒホさんのGithub

研究成果

ヒホさんのGithub

誰でも好きなキャラの声になれるリポジトリ become-yukarin

誰でも好きなキャラの声になれるリポジトリ yukarin

ディープラーニング声質変換を使って、リアルタイムで声質変換する realtime-yukarin

ヒホさんの毎日生放送(要ニコ生アカウント)

ヒホさんのニコニコ生放送コミュニティ ヒホの開発最前線

毎日夜23時過ぎから1時間ほどプログラミング生放送をされています。今現在はSTARGANを使った演技音声合成に取り組まれています。

ヒホさんのQiita

基本書かないらしいですが、たまに書いています。

[ディープラーニングを使って自分を模した人工知能を作って会話してみた]

(https://qiita.com/Hiroshiba/items/b4daca0176af5fd352a2)

become-yukarinの研究

DMV(ドワンゴメディアビレッジ)の廣芝さんたちがbecome-yukarinについて研究して論文を出しています。解説記事もあります。

記事 変換と高精細化の2段階に分けた声質変換

記事 統計的声質変換を行うための知識と手法

日本語論文 畳込みニューラルネットワークを用いた音響特徴量変換と
スペクトログラム高精細化による声質変換

ポスター

英語論文 Two-Stage Sequence-to-Sequence Neural Voice Conversion with Low-to-High Definition Spectrogram Mapping

https://link.springer.com/chapter/10.1007/978-3-030-03748-2_16

https://www.researchgate.net/publication/328875143_Two-Stage_Sequence-to-Sequence_Neural_Voice_Conversion_with_Low-to-High_Definition_Spectrogram_Mapping

ニコニコ動画やYoutubeの関連動画(一部)

ディープラーニングの力で結月ゆかりの声になってみた

【自己紹介】関西弁のゆかりさんがVtuberになりたいようです

【VR音ゲー】ゲームにちょっと自信のあるゆかりさんがBeat Saberでドヤってきます

【ゆかりさんの声で】チュルリラ・チュルリラ・ダッダッダ!歌ってみた【おまけもあるよ】

ディープラーニングを使って結月ゆかりの声で歌ってみた【音程改善】

ゴミ箱乗せたゆかりさんのコメント返し!

ディープラーニングの力で人工知能になって結月ゆかりと会話してみた

ニコ生

私、ボイスロイドになります!!【ディープラーニングで結月ゆかりの声になるリポジトリ】

【東北きりたん】SAKURAスキップ【歌ってみたボイスロイド】

人工知能なきりたんがビートセイバーやります!

YouTube

【自己紹介】東北きりたん、Vtuberになります!

(※[チャンネル]

(https://www.youtube.com/channel/UC0v_L5gggYNXxIkTyk3VBUw/videos)で生放送を行っています。アーカイブもあります。)

  • **[HelloWorld さん]

ニコ生

ゆかりソースを使って音質変換に挑戦する#1

ゆかりソースを使って音質変換に挑戦する#2

ゆかりソースを使って音質変換に挑戦する#3

ゆかりソースを使って音質変換に挑戦する(音声プロット)
ゆかりソースを使って音質変換に挑戦する(音声プロット2)
ゆかりソースを使って音質変換に挑戦する#4
ゆかりソースを使って音質変換に挑戦する#5
ゆかりソースを使って音質変換に挑戦する#5_2
ゆかりソースを使って音質変換に挑戦する#6
ゆかりソースを使って音質変換に挑戦する#7(卓上防音壁設計)
ゆかりソースを使って音質変換に挑戦する#7.5
ゆかりソースを使って音質変換に挑戦する#7.5調整版2
ゆかりソースを使って音質変換に挑戦する#8
ゆかりソースを使って音質変換に挑戦する#9
(※挑戦するシリーズは 現在 #9 まであります)-
- トーダ さん
結月ゆかりになる RTA 1:49:50
- BURI
さとうささらになるためにまずはアナコンダを入れる
さとうささらになるために声質変換について調べる

Webメディア掲載

GIGAZINE 様ディープラーニングでリアルタイムに声をボカロのものに変換する試み
ニコニコニュースORIGINAL 様VOICEROID・結月ゆかりと会話したすぎて“人工知能になった”勇者現る…! 斜め上を行く発想に「闇が深い」「どういうことなの」と震える声多数

おわりに

他にも関連記事や動画など見つけたとか編集リクエストやコメントにて教えてください。
それではよい声質変換ライフを。
更新履歴
2019/06/12/ attiさんの助言と提供によりニコニコ動画の動画を追加することができました。他いろいろ追記。まだ未完成。
2019/06/14 ヒホさんのブログ・github・Qiita追加。英語論文追加。とりあえず完成。
2019/06/17 東北きりたんのyoutube追加
2019/06/28 エラーメッセージについて追加
2019/07/11 yukarinライブラリ関連などについて追加
2019/09/15 リファクタリング atticさんの記事追加
2019/12/01 atticさんの記事追加
2020/06/05 ヒホさんの記事など細かいところリファクタリング
2020/07/02 Windowsでの挑戦記を追加。細かいところリファクタリング。

BURI55
BURIと申します。趣味で音声処理研究をしています。最近ヒホさんの声質変換コードbecome-yukarinにはまっています。ヒホさんは毎日夜23時過ぎからニコ生にてプログラミング生放送をしています。[ヒホの開発最前線] (https://com.nicovideo.jp/community/co3686550)です。 影響を受けて音声処理やディープラーニングやPythonの勉強を始めました。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away