MYCOEIROINK

MYCOEIROINKとは、シロワニさん氏により開発されたテキスト読み上げソフトウェアであるCOEIROINK内で利用できる、ユーザーによるCOEIROINK合成音声である。

概要

COEIROINKリリース当初から、一ユーザーでもCOEIROINKの音声を生成できる機能を実装することが告知されていたが2022年04月02日、ついにMYCOEIROINKとしてリリースされた。

MYCOEIROINKリリース一周年を迎えた2023年04月02日現在、120名以上の音声ライブラリが提供されている。^[1]
配布者リストは公式サイトの「MYCOE(MYCOEIROINK配布者紹介)」を参照。

ニコニコ動画内では「COEIROINK音源配布」タグで配布動画の検索が可能。

ユーザーにより作成・配布されているため、音声によって利用規約が異なってくる。そのため利用前にはしっかり規約を確認しよう。

省略について

公式サイト上ではMYCOEと省略されている。

Twitter上ではMYCOEとマイコエが混在しているのでMYCOEIROINKの話題を捕捉したいのであれば両方で検索すると吉。

MYCOEIROINK導入方法

こちらの「MYCOEIROINK導入方法」(Windows版/Mac版)を参照。

音声についてはMYCOEIROINK配布者リストからダウンロードできるため、お好みの音声を探してダウンロードしよう。

MYCOEIROINK作成方法

用意するもの

• 録音機材　
  　録音自体はスマートフォンでも可
• PC　
  　音声編集・zip化に利用・Google Colaboratory上でモデル学習を進めるために必要。
• Googleのアカウント、GoogleDrive上の空き容量(7GB程度)
  　合成音声生成に使用
• COEIROINK（v.1.1.0以上）
  　生成した音声の動作確認用

おおまかな手順

1. ITAコーパス・MANAコーパスを録音する。（10文～652文）

• ITAコーパス 424文
  • Emotion 100文
  • Recitation 324文
• MANAコーパス 228文（疑問文対応）

MYCOEIROINKは10文から作成可能だが、生成した合成音声のクオリティに違いが出てくるため可能な限り多く収録するのがおすすめ。全文収録すると慣れていたとしても2～3時間はかかる。適宜休憩をはさんだり、何日かに分けたり、喉をいたわって録音しよう。

シロワニさん氏のツイート

ポストを読み込み中です
https://twitter.com/shirowanisan/status/1602592327721451524

録音前にMYCOEIROINK作成コード_ベータ版の「# 文章の読み上げ時の注意点」一読推奨。

2. 録音した音声の編集をする

連続で録音している場合は音声の分割、他音声編集としてノイズ除去・ノーマライズといった処理を実施する。ホワイトノイズやリップノイズが残っていると、合成音声化した際にも残るので可能な限り除去しておきたい。

録音したファイル名は
「EMOTION100_XXX.wav」
「RECITATION324_XXX.wav」
「AISATSU_XXX.wav」（XXXは番号）
といった名前を付ける必要がある。

すべて手作業で録音ファイル名を確認すると大変なので、下記にある作成解説動画内で紹介されている、OREMOなどの支援ツールで録音すると名前付けや確認の手間が減る。

3. 編集した音声をzip化し、GoogleDrive上にアップロードする

音声は分割後、zip化する必要がある。余計なファイルが入っていないか、録音したファイルがすべて入っているか確認しよう。

4. Google Colaboratoryにて、100epochになるまでモデル学習を実行する

2022年10月現在、1epochあたり無料版だと^[2]10epochあたりでGPUの使用上限に達して次回使えるのが12時間～24時間後となる。そのため、無料で生成するのであれば1週間以上は必要。ただし、有償のオプションを利用すれば生成時間の短縮が可能。有償版でもColab Pro+でなければバックグラウンド処理ができないため、ブラウザを開いた状態で実行する必要がある。

100epoch目まで学習しなくても合成音声として利用は可能。しかし、ノイズが入ったり発声がおかしくなったりするので、少なくとも50epochまでは学習を進めるのがおすすめ。

MYCOEIROINK解説文章・動画

MYCOEIROINKの作成方法については有志により文章や動画で詳しく解説されている。

録音時の読み上げ方法や環境・編集により生成される合成音声のクオリティに影響が出ることや、Google Colaboratory上での学習に時間がかかる。そのため、MYCOEIROINK用に録音する前に一度動画視聴をしたり、文章に目を通すことをお勧めする。

白痴ー氏

MYCOEIROINKとして「白痴ー(黒聡 鵜月)」を配布している、白痴ー氏が公開している動画で作成方法や支援ツールの紹介がされている。

馳烏(はせを)氏

MYCOEIROINKとして「有響シロ」を配布している、馳烏(はせを)氏のWebサイト「鷹獅子の塒-Griffin's Nest-」上でMYCOEIROINKの作成方法が公開されている

鷹獅子の塒-Griffin's Nest- MYCOEIROINKモデル作成方法

鹿仲茉菜氏

COEIROINKの公式音声ライブラリとして「MANAさん」の音声を提供している鹿仲茉菜氏がGoogleドキュメント上にMYCOEIROINKの作成用メモを公開している。

ポストを読み込み中です
https://twitter.com/MANA_TALK/status/1626152675292364801

モデル学習時にエラーが出る

Google Colaboratoryでエラーが出て学習が進まない場合

MYCOEIROINK作成コード_ベータ版はエラーが出た際に英語で原因が表示される。英語が出た！と焦らず翻訳などを用いて調べてみよう。
また、MYCOEIROINK作成コード_ベータ版を下の方までスクロールするとQ&Aが掲載されているので、モデル学習がうまくいかない場合はそちらも読むの推奨。

「モデルの学習スタート」より前で止まる場合

• 上から順番に実行しているか（すべてのセルを実行をしているか）
• 所定のフォルダにzipを格納しているか
• zip内のファイルに音声以外が含まれているか
• 音声ファイル名の名前の付け方は適切か

モデル学習前の準備ができておらず、エラーが出ている可能性が高め。

「モデルの学習スタート」で止まる場合

• ランタイムのタイプでハードウェア アクセラレータがNoneになっている
  • GPUを使用するため、GPUへ変更が必要。
• 無音の音声ファイルが含まれている
  • 無音の音声ファイルを削除もしくは録音し直しが必要。
• （学習途中の音声があり、途中から学習をスタートさせた場合）
  MYCOEIROINK_WORKの構成を途中で変更したり、ファイルの削除をしたりした
  • 学習途中の音声がある場合、下手にファイルやフォルダの構成を弄らないこと。
    該当のtts_mycoe_modelフォルダを削除の上、最初から学習しなおしがおすすめ。
• Google Driveの空き容量が足りていない
  • ゴミ箱のファイル削除を実施、他不必要なファイル削除で空き容量を増やすこと。

どうしてもエラーが出て解決できない場合、エラーが出ている箇所をテキストで張り付けたうえでTwitterなどで質問すればもしかしたら誰かが回答してくれる可能性がある。

Google Colaboratoryなどの仕様変更により動作しなくなることもあるので注意（2023/03/15発生）

生成した音声の品質があまり良くない

COEIROINK上でアクセント通りに発音してくれない

• 録音ファイル数が少ない
• コーパスをアクセント通りに読み上げていない

の2つが可能性として考えられる。

例えば、録音した音声がITAコーパスのみだと「こんにちは」のアクセントがこ「んにちは」なのにそのまま読み上げるとこ「んにち」はになることが間々ある。（「」内が高く発音する拍）

挨拶文であれば、録音ファイルにMANAコーパスを追加することでよく使う単語や文章のアクセントが改善される。疑問文にも対応できるようになるので、ITAコーパスのみ録音している場合はMANAコーパスの追加録音がおすすめ。

アクセントがわからない場合は有志が公開しているITAコーパスの録音ファイルが参考になる。MYCOEIROINKの作成コード上ではあみたろさんのITAコーパスへのリンクがある。

また、OJADで公開されている「韻律読み上げチュータスズキクン」を利用することで7割程度の精度でアクセント表示ありで任意の文章を読み上げてくれる。

生成した音声を喋らせると声や音量が安定しない

MYCOEIROINKではある程度声や音量を補正をしてくれるが、そもそもコーパスを録音した際に声や音量に極端に差があると出力結果である音声ライブラリも安定しない。

• 声色をなるべく変えず録音する
• 録音する音量はできるだけ一定にする（音声編集である程度リカバリー可能）

の2点を意識して録音することで出力される音声も安定しやすい。

関連動画

関連リンク

• COEIROINK

関連項目

• COEIROINK
• COEIROINK音源配布
• COEIROINK音声ライブラリ一覧

脚注

1. *複数のキャラクター配布をしている作者もいるため、配布者数としては100名以上。
2. *収録文章によって多少変動する。ITAコーパス全文のみだと25分程度、ITAコーパス+MANAコーパス全文だと30分程度かかる模様。