MMVCとは、天王洲アイル氏が開発・公開するボイスチェンジャーソフトである。
機械学習(ディープラーニング)により『誰でも』『好きな声に※』『リアルタイムで』『無料に』
声変換できる点が特徴。
(MMVC:RealTime-Many to Many Voice Conversion の略)
例として「ずんだもん」「四国めたん」「九州そら」「春日部つむぎ」「刻鳴時雨(v1.5のみ)」
「東北きりたん」にリアルタイム声変換できる。
※『好きな声に』は『権利・規約で問題ないなら』という点に注意。
後述の早見表で「MMVC可」の列の人・キャラは声変換OKである(クリックで移動)。
概要
天王洲アイル氏が開発・公開中の声変換ソフト、ボイスチェンジャーである。
リアルタイムで好きな声に変換できる点が特徴である。
2022/3/27(日) のニコニコ公式にて行われた公開生放送番組
「ソフトウェアトーク動画投稿祭応援しまくる祭」で紹介された。
(53:37辺りより紹介。デモ音声あり)
また「ずんだもん」「四国めたん」「九州そら」の公式サポートはニュースにもなった。
MMVCは
『自分の声』と『好きな声』を機械学習(ディープラーニング)する『MMVC_Trainer』
学習結果をもとにリアルタイム変換する『MMVC_Client』
の2種類から構成される。
※現在MMVC_ClientはWindows OSで動作する。
GPUについてはMMVC_Client_v0.3.1からNVIDIAだけでなくAMD, Intel等の他のGPUにも対応した。
GPUが無い場合でも、CPUが強い物なら動く可能性がある。
※Mac, Linux OSの場合は、MMVC_Clientの代わりに有志開発の
『voice-changerまたはVCClient』によってMMVC_Trainerの結果を用いたリアルタイム変換ができる。
voice-changer(VCClient)導入はこちらのページに解説がある。
変換できる声について
当項目で述べるキャラ含め、各種規約を守る事前提で
後述の早見表で「MMVC可」の列の人・キャラは声変換OKである(クリックで移動)。
MMVCのチュートリアルとして「ずんだもん」への声変換ができるようにデータが用意されている。
また『好きな声』のデータとして
「四国めたん」「九州そら」「春日部つむぎ」「東北きりたん」も用意されているため、
設定を変える事で各キャラへの声変換も可能になる。
上記4キャラクターに関しては、声を別のキャラクターに当てる事も許可されている [1]
(ただし『MMVC:ずんだもん』のようなクレジット記載は必須である)。
『好きな声』のデータ[2]を用意すれば、上述の4キャラクター以外にも声変換する事が可能である。
一部の許可されたキャラクターは、
音声合成ソフトVOICEVOX、SHAREVOXを用いたMMVCへの使用が可能
となっている。
▼VOICEVOX
「波音リツ」「冥鳴ひまり」「剣崎雌雄」は許可確認済み。
他に規約にて許可が出ているキャラクターは
「櫻歌ミコ」「小夜/SAYO」「あいえるたん」が存在する。
(VOICEVOXの今後の追加キャラに関しては各キャラによる)
▼SHAREVOX
SHAREVOXはv2.0の規約改定に伴い機械学習用途可否はキャラごとに設定となったため、
「小春音アミ」「つくよみちゃん」「黒聡鵜月」「Yくん/開発者」は
MMVC(機械学習)への使用が可能である。
(SHAREOXの今後の追加キャラに関しては各キャラによる)
合成音声ソフトでなくとも、データがあるなら異なる声への変換は可能である
(ただし、使用音声がMMVC等の『機械学習等への許可がある』場合に限る)。
例:有響シロ(ITAコーパスを使用)
変換できる声の対として、
変換できる声の方になりたい(MMVC公式サポート音源にしたい)場合は
開発者天王洲アイル氏のTwitterか、
MMVCコミュニティサーバーのIsleTennos にDMにてお問合せが可能である。
(MMVC_Trainer Wiki より一部抜粋)
MMVCによるボイチェンの手順
Google Colaboratory(無料・ブラウザでプログラムが動かせる)を用いた
機械学習(MMVC_Trainer)を行うことで、
自身の声を好きな声に変換することができる。
機械学習を行うため、
『学習用の準備で自分の声と好きな声を100文
(ITAコーパスのemotion_100文など)は録音して用意しなければならない点』と
『機械学習に数時間~数日かかる点』が大変だが、
この点を乗り越える事ができれば好きな声になれる。
チュートリアルの「ずんだもん」、
公式サポートの「四国めたん」「九州そら」「春日部つむぎ」「東北きりたん」は
『好きな声を用意する』点を省略できるようになっている。
録音する『自分の声』『好きな声』はともに、ITAコーパスを読む事が推奨されている。
機械学習(MMVC_Trainer)の結果を、
変換ソフト(MMVC_Client, Mac等ならvoice-changer)に読み込ませる事で
リアルタイムボイスチェンジが可能になる。
開発状況・質問方法・現在のバージョン
現在も品質向上や軽量CPU版の対応、音声準備無しでのずんだもん化、English Supportなどを目的として
開発・更新が続けられている。
開発の近況はMMVC用Discordコミュニティで確認できる。
アップデート時はMMVC公式Twitterからアナウンスがある。
MMVC導入に関する確認・質問はMMVC Wiki FAQで調べる・MMVC用Discordコミュニティで聞く・Twitterで #MMVC_QA と付けて呟く といった手段がある。
2023年05月02日の大百科執筆時点では、それぞれのバージョンは次のとおりである。
MMVC_Trainer(機械学習ソフト):v1.3.2.0
MMVC_Cliwnr(リアルタイムボイスチェンジャー):v0.3.1.0
SeirenVoiceとの違い
ずんだもんに声変換できるボイスチェンジャーとして、SeirenVoiceが存在する。
MMVC・SeirenVoiceそれぞれの特徴は以下の通りである。
価格 | 機械学習 | キャラ | 品質 | リアルタイム性 | |
MMVC | 無料 | 必要 | 公式6人・許可者複数 | データと学習時間による | 遅延0.3秒~ |
SeirenVoice | 有料 | 不要 | 10人 | 高品質 | 遅延数秒(録音向き) |
(2023年11月03日時点)
表の通り両ソフトに異なる長所がある。
導入・購入に関しては各々の重視する点や用途による(両方使用する人もいる)。
留意点として、MMVC(MMVC_ClientまたはVCClient)の場合はGPU(NVIDIA,AMD,Intel等)または強めのCPUが必要に、
SeirenVoiceの場合は,v2ならGPU無しでも使用可、NVIDIA/AMD GPUがあると高速になる。
使用する音声に関する注意事項
※音声合成ソフトをもとにしたMMVCは、2022年08月10日におけるMMVC利用規約
『このソフトウェアについて、製作者はいかなる保証も致しません。 また、このソフトウェアを利用したことで問題が起きた際に、ソフトウェアの製作者は一切の責任を負いません。』
に伴い、ソフト(MMVC)の保証・責任は無く、使用者の自己責任になる。
機械学習・研究等の許諾が無い『グレーゾーン』の音声は特に使用者の自己責任となる点に注意。
主にVOICEROID, VOICEROID2, CeVIO, ガイノイドTalkがこれに当たる。
同様に『非公式の』音声合成モデル・音声データベース音声ファイル等の使用も
ソフト(MMVC)の保証・責任は無く、使用者の自己責任である。
(※MMVCコミュニティとしては非推奨の方針である)
権利の詳細は当該記事の『合成音声ソフト、データの権利・規約一覧』参照。
※A.I.VOICE、CeVIO AI、Coefont CLOUD、COEIROINK、VOICEPEAK、
およびVOICEVOX、SHAREVOXの一部キャラクターは利用規約に基づき、
音声の機械学習への使用・研究は禁止されているためMMVCでは明確に使用禁止である。
合成音声ソフトに限らず、自分以外の音声データを使ってMMVCを使用する場合、
MMVCならびに音声の利用規約等を守らなければならない。[3]
VOICEVOX、SHAREVOX等の、合成音声ソフトを機械学習用の学習データに使った場合は、
MMVCによる合成音声も「通常の音声と同様に元音声の利用規約を守って丁重に扱う」ように。[4][5]
詳細は当該記事の『合成音声ソフト、データの権利・規約一覧』に記述する。
合成音声ソフト、データの権利・規約一覧
MMVC可 | MMVC不明or不可 | |
収益化可能 |
のほしお No.7 |
|
収益化?or禁止 |
汎用式概念 ろさちゃん |
その他の音源について(クリックで移動)
※注意:この合成音声ソフト、音声データの権利・規約一覧は有志がまとめ、記述したものである。
MMVC開発者が作成した物ではない。
記事の執筆時点と『現時点での』各規約(MMVC・音声・ソフト全て)が異なる可能性があるため、
使用する際は必ず『使用時点での利用規約等』を確認し、遵守する。
加えて、利用規約改定に基づきMMVCへの使用を禁止された方や、
MMVCでの利用を公認していない各種運営に向けて問い合わせる事は、迷惑になるため控える事。
MMVCの有無に限らず、各キャラクター(各ソフトウェア)の利用規約は個別に守る必要がある。
▼大雑把なまとめ
●許可:
ずんだもん、四国めたん、九州そら、東北きりたん(MMVC用音源配布)、
春日部つむぎ(MMVC用音源配布)、
刻鳴時雨(ITAコーパス Trainer_v1.5で公式サポート予定)
波音リツ(VOICEVOX)、冥鳴ひまり(VOICEVOX)、剣崎雌雄(VOICEVOX)
櫻歌ミコ(VOICEVOX)、小夜/SAYO(VOICEVOX)、あいえるたん(VOICEVOX)
小春音アミ(SHAREVOX)、つくよみちゃん(SHAREVOX)
黒聡鵜月(SHAREVOX)、Yくん/開発者(SHAREVOX)
のほしお(ITAコーパス)
No.7(音声データベース ROHAN4600)
●個人・非商用は許可:ぴた声、汎用式概念 ろさちゃん(ITAコーパス※現在非公開)
●不明(ソフトの規約は無いがMMVC利用規約に則して、
ソフト(MMVC)の保証・責任は無く、使用者の自己責任となる):
VOICEROID(鷹の爪 吉田くんは禁止), VOICEROID2, CeVIO, ガイノイドTalk
●その他、利用規約の類に「機械学習」に関する記述が無いソフトウェア全て
●不明(MMVC利用規約に則して、ソフト(MMVC)の保証・責任は無く、使用者の自己責任となる):
『非公式で配布あるいは収集された』音声データ
(※MMVCコミュニティとして非推奨の方針である)
●禁止:A.I.VOICE, CeVIO AI, Coefont, COEIROINK, VOICEPEAK, LMROID
●VOICEVOXでの禁止キャラ:
雨晴はう、玄野武宏、白上虎太郎、青山龍星、模型娘のもち子さん、
WhiteCUL、後鬼、ナースロボ_タイプT、雀松朱司、麒ヶ島宗麟
猫使アル、猫使ビィ
●VOICEVOX・不明:
†聖騎士 紅桜†規約[6]、春歌ナナ
●VOICEVOX・問い合わせ内容による:
ちび式じい 規約
●その他(つくよみちゃんコーパスのように、規約が個別)
多数のため詳細に記述する。より具体的なまとめは
MMVC用Discordコミュニティの『voice-library-provider』チャンネル参照
▼MMVCの使用が許可されているキャラクター
※収益化・商用利用の可否はキャラクターによって変わる。
またMMVCの有無に限らず、各キャラクター(各ソフトウェア)の
『使用時点での利用規約等』は個別に守る必要がある。
●ずんだもん、四国めたん、九州そら、東北きりたん(MMVC用音源)[7]
(個人のBlog,Youtubeに広告を出す、ニコニコのクリエイター奨励プログラムによる収益化[8]等は
(ず・ω・きょ)の範囲内で使用可能)
●春日部つむぎ(MMVC用音源):個別規約あり(収益化可能[9])
●刻鳴時雨:規約:MMVC可
●波音リツ(VOICEVOX)
●冥鳴ひまり(VOICEVOX)(収益化可能[10])
●剣崎雌雄(VOICEVOX)[11]
※春日部つむぎ、波音リツ、冥鳴ひまり、剣崎雌雄に関しては
VOICEVOX開発者のお伺いにて『大丈夫』とお言葉をいただいている。
●櫻歌ミコ:規約:MMVC可[12]
●小夜/SAYO:規約:VOICEVOXはMMVC可(確認)[13]
●あいえるたん:規約:・VOICEVOXでMMVC(機械学習)可[14]
●小春音アミ:規約1規約2(小春音アミ 利用規約)
●つくよみちゃん:規約1規約2(つくよみちゃん 利用規約)[15]
●黒聡鵜月:規約1規約2(黒聡鵜月 利用規約 収益化可能)
●Yくん/開発者:規約1規約2(Yくん/開発者 利用規約 収益化可能)
※小春音アミ、つくよみちゃん、黒聡鵜月、Yくん/開発者に関しては
SHAREVOX開発者から許可の確認が行われている。
●のほしお:規約:MMVC可
●No.7:規約:MMVC可[16]
●汎用式概念 ろさちゃん:規約 ※研究用途・個人利用に限る ※現在ITAコーパス非公開
----上記キャラの収益化について----
全てMMVC/利用音源/音源用ソフト/キャラクターの規約を守る事を前提とする。
・ずんだもん、四国めたん、九州そら、東北きりたん:個人の収益化可能。ニコニコはsm33517192をコンテンツツリー登録する
・春日部つむぎ:動画投稿サービスで収益化可能。ニコニコはsm39656626をコンテンツツリーを登録する
・刻鳴時雨(音源ITAコーパス):利用規約の範疇であれば、個人法人問わず非営利・営利利用可(収益化可能)。
詳しくは刻鳴時雨ITAコーパス配布音源と一緒にあるReadme利用規約を参照する事。
・波音リツ(VOICEVOX):VOICEVOXの利用規約を守れば収益化可能・商用利用可能
・冥鳴ひまり(VOICEVOX):不明。利用の場合はVOICEVOXに準じる。
ニコニコはsm40066684をコンテンツツリー登録をする事が望ましい。
・剣崎雌雄(VOICEVOX):不明。利用の場合はVOICEVOXに準じる。
・櫻歌ミコ:商用・非商用で利用化(収益化可能)。クレジット必須。ニコニコはnc287264をコンテンツツリー登録する
・小夜/SAYO:商用・非商用で利用化(収益化可能)。クレジット必須。ニコニコはsm41563418をコンテンツツリー登録する
営利と非営利(個人の収益化を含む)の具体例は利用規約を参照する事。
・あいえるたん:商用・非商用で利用化(収益化必要)。VOICEVOXおよび「あいえるたん」クレジット必須。
・小春音アミ(SHAREVOX):商用利用可能(収益化可能)。SHAREVOXとキャラ名のクレジット必須。
・つくよみちゃん(SHAREVOX):商用利用可能(収益化可能)。SHAREVOXとキャラ名のクレジット必須。
利用規約に基づいて各種クレジットを明記する事。
ニコニコはコンテンツツリーにnc250184を親登録する事と、
『つくよみちゃん』タグを付与する事でクレジットが簡略化できる。
・黒聡鵜月(SHAREVOX):商用利用可能(収益化可能)。SHAREVOXとキャラ名のクレジット必須。
・Yくん/開発者(SHAREVOX):商用利用可能(収益化可能)。SHAREVOXとキャラ名のクレジット必須。
・のほしお(音源ITAコーパス):収益化に関しては不明。利用規約(音源配布箇所に記載)を参照して使用する事。
・No.7(音声データベース):個人・同人の範囲で、動画投稿による収入可(収益化可能)。
・汎用式概念 ろさちゃん:『MMVCの場合』研究用途・個人利用・非商用で使用可。検索可能位置にクレジット必須。
----収益化の話は以上----
▼音声合成の研究・開発を、個人利用・
かつ非商用の範囲においてのみ許可される
▼音声
●ぴた声
▼MMVC、機械学習・ディープラーニングや機械学習用の学習データ
としての使用、他の音声合成技術開発の研究等に関して不明
(ソフトの規約は無いがMMVC利用規約に則して、
ソフト(MMVC)の保証・責任は無く、使用者の自己責任となる)
※公式には問い合わせないでください。
▼ソフトウェアで規約不明の物
●VOICEROID, VOICEROID2(前述の禁止キャラクターは除く)
●VOICEVOX
※前述の禁止キャラクターは除く。
一方で前述の『VOCICEVOXで許可であるキャラクター』は『許可』扱いになる。
●CeVIO
(『CeVIOの』さとうささら、すずきつづみ、タカハシの場合)
●ガイノイドTalk
●その他、利用規約の類に「機械学習」に関する記述が無いソフトウェア全て
▼規約が存在しないキャラクター
(規約は無いがMMVC利用規約に則して、ソフト(MMVC)の保証・責任は無く、使用者の自己責任となる)
※繰り返しますが、公式には問い合わせないでください。
●VOICEROID, VOICEROID2キャラクター全般(前述の禁止キャラクターは除く)
●CeVIO
●ガイノイドTalkキャラクター全般
●音街ウナ
●MMVCコミュニティとして非推奨の方針である
『非公式で配布あるいは収集された』音声データ
▼MMVC、あるいは機械学習・機械学習用の学習データとして使用・
ディープラーニング・転移学習・ファインチューニング、
他の音声合成技術開発の研究等での使用が禁止されている
▼禁止ソフトウェア・サービス
●A.I.VOICE
●Coefont CLOUD
●COEIROINK
●VOICEPEAK
●CeVIO AI
●SHAREVOX
●LMROID
▼禁止の個別キャラクター
●雨晴はう(VOICEVOX)[17]
●玄野武宏(VOICEVOX:virvoxproject)
●白上虎太郎(VOICEVOX:virvoxproject)
●青山龍星(VOICEVOX:virvoxproject)
●模型娘のもち子さん(VOICEVOX)
●WhiteCUL(VOICEVOX)
●後鬼(VOICEVOX)
●ナースロボ_タイプT(VOICEVOX)
●雀松朱司(VOICEVOX:virvoxproject)
●麒ヶ島宗麟(VOICEVOX:virvoxproject)
●猫使アル、猫使ビィ(VOICEVOX)
●鷹の爪 吉田くん(VOICEROID)[18]
▼その他(個別で規約が異なる・MMVC可否が不明・
機械学習や研究用途の可否が異なる音声ライブラリ)
機械学習や研究等への用途がない場合、MMVC利用規約に則して、
ソフト(MMVC)の保証・責任は無く、使用者の自己責任となる。
こちらは有志(非 大百科執筆者)による情報の転記のため、より具体的な詳細や注意点は
MMVC用Discordコミュニティの『voice-library-provider』チャンネル参照
●話者名(音声ライブラリのリンク):規約(規約のリンク):機械学習・研究の可否 と列挙する。
●刻鳴時雨:規約:機械学習・研究は可 MMVC可
●波音リツ:規約:機械学習・研究は不明
●あみたろの声素材工房(小春音アミ):規約:機械学習・研究は可
●つくよみちゃん:規約:機械学習・研究は可
●黒聡鵜月:規約:機械学習・研究は可
●のほしお:規約:機械学習・研究は可 MMVC可
●No.7:規約:機械学習・研究は可 MMVC可
●Vtuber卵爆心:規約:機械学習・研究は可
●Vtuberコフィン:規約:機械学習・研究は可
●ブラウン松本(怠):規約:機械学習・研究は可
●R音ハートレー:規約:機械学習・研究は不明
●なまなり馬陸:規約:機械学習・研究は可
●欲音ルコ♀:規約:機械学習・研究は可
●有響シロ:規約:機械学習・研究は可
●水音ラルPLANETA:規約:機械学習・研究は可
●高峯いと:規約:機械学習・研究は可
●松風:規約:機械学習・研究は不明
●ルナイトネイル:規約:機械学習・研究は可
●くろ州:規約:機械学習・研究は不明
●ぐろ:規約:機械学習・研究は可
●黒羽てふ:規約:機械学習・研究は不明
●黄琴海月:規約:機械学習・研究は可
●SpeedSpeech-JA-2022:規約:機械学習・研究は可
●悠久こんぺき堂:規約:機械学習・研究は不明
●Dwango Media Villageの廣芝:規約:機械学習・研究は可
●OJaMa:規約:機械学習・研究は可(個人のみ)
●The LJ Speech Dataset(英語):規約:機械学習・研究は不明
●Common Voice(日本語等):規約:機械学習・研究は不明
●戯歌ラカン:規約:機械学習・研究は不明
●日本語共感的音声対話コーパス:規約:研究のみ可
●ミセバヤ:規約:機械学習・研究は不明
●朱花/青葉/銀芽:規約:機械学習・研究は可(要クレジット記載[AI声優])
●苔色かげ/枯色ヤモ:規約:機械学習・研究は不明
●zori@Vtuber:規約:機械学習・研究は不明
関連生放送
関連動画
Imずんだもん王への道_MMVC導入講座(Youtube版)
MMVC使用動画
※一部動画でVOICEROID2をもとにしたMMVCを使用しているが、
MMVC利用規約に則して『問題が生じた場合、
MMVCに保証・責任は無く、使用者の自己責任となる』物に該当するため注意する。
関連リンク
- MMVC_Trainer
- MMVC_Client
- Discordコミュニティ
- MMVC Wiki(権利や導入手順・ローカル導入・よくある質問)
- 開発者(天王洲アイル氏)Twitter
- MMVC公式アカウント(Twitter)
- #MMVC_QA(Twitter)
- ITAコーパス文章リスト
- Google Colaboratory
- ソフトの基となる論文
関連項目
- ボイスチェンジャー
- ディープラーニング
- ずんだもん
- 四国めたん
- 九州そら
- 春日部つむぎ
- 刻鳴時雨
- 東北きりたん
- ソフトウェアトーク
- SeirenVoice:こちらでもずんだもんになれる
- ITAコーパス:読み上げ音声として推奨の台本
- VOICEVOX:一部キャラはMMVC可(機械学習可)の合成音声ソフト
- SHAREVOX:一部キャラはMMVC可(機械学習可)の合成音声ソフト
脚注
- *「ずんだもん」「四国めたん」「九州そら」「東北きりたん」は開発者から東北ずん子プロジェクトより確認済み。
「春日部つむぎ」は「よくある質問」に記載がある。 - *データは「音声データ」と「テキストデータ」の2種類が存在する。
音声とテキストの内容は、音と文章の内容が一致する形式が求められる。 - *MMVC開発者ツイートより
- *MMVC開発者ツイート
- *VOICEVOX開発者ツイート
- *†聖騎士 紅桜†をニコニコで利用する場合は、
コンテンツツリーにnc296132を親登録する事が推奨される。 - *注意として『VOICEVOXの音声による』ずんだもん、四国めたん、九州そら、東北きりたんは
『規約が存在しないキャラクター』に分類され、MMVCでは『中止の注意喚起』になる。 - *ずんだもん、四国めたん、九州そら、東北きりたん でニコニコでクリエイター奨励プログラムを利用する場合は、
コンテンツツリーにsm33517192を親登録する必要がある。 - *春日部つむぎ でニコニコで利用・収益化する(クリエイター奨励プログラムを利用する)場合は、
コンテンツツリーにsm39656626を親登録する事が推奨される。 - *冥鳴ひまり でニコニコで利用・収益化する(クリエイター奨励プログラムを利用する)場合は、
コンテンツツリーにsm40066684を親登録する事が推奨される。 - *剣崎雌雄を使用する場合のコンテンツツリー(仮):sm40958945
- *櫻歌ミコを使用した作品をニコニコに投稿する場合、コンテンツツリー登録先としてnc287264を登録する事。
- *小夜/SAYO を使用した作品をニコニコに投稿する場合、コンテンツツリー登録先としてsm41563418を登録する事が推奨される。
- *あいえるたん自己紹介(あいえるたん使用時のコンテンツツリー登録例):so42840439
- *『COEIROINKの』つくよみちゃんは、ソフトウェア禁止事項にあたるため不可。
SHAREVOXおよびつくよみちゃんコーパス(音声)の機械学習への使用は許可されている。
つくよみちゃん をニコニコ内で利用・収益化する場合は、コンテンツツリーにnc250184を親登録する事と、『つくよみちゃん』のタグ付けが推奨される。親登録とタグ付けを行った場合、ニコニコ動画ならクレジットを簡略化できる。 - *No.7 コンテンツツリー登録先(仮)はsm41151363となる。
- *なお雨晴はう運営の看護師のみ、
MMVCを使用する件に関して別途許諾を得ているため例外となる。 - *個人の鑑賞以外が一切認められていない。
- 8
- 0pt