NEUTRINO(歌声合成エンジン)

NEUTRINOとは、ニューラルネットワークを用いた歌声シンセサイザーである。

概要

楽譜データ（MusicXML形式）から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌声ライブラリで合成する。ライブラリはVersion.0.400の時点で「東北きりたん」「東北イタコ」「謡子」「JSUT」の4種が使用可能となっている（ダウンロード負荷軽減のため、本体に同梱されているのは前者2種のみで、後者2種は別途配布されている）。

ソフトウェアは無料で公開されているが、作成した音声の利用可能範囲は、各歌声ライブラリ元のデータベースの規約に従う。

「NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。^[1]」とのこと。

ソフトウェアは2020年2月22日に公開された。公開されると早速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで公開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌声」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

歌声ライブラリ

• 東北きりたん …東北きりたん歌唱データベースを元に制作された歌声ライブラリ。データベースは研究目的で配布されているが、NEUTRINOで生成した歌声については東北ずん子のガイドラインに沿って利用できる。^[2]
• 謡子 …Sinsyを元に制作された歌声ライブラリ。
• JSUT …東京大学の猿渡研究室にて、高道慎之介らによって制作された歌声ライブラリ。^[3]
• 東北イタコ …2020年7月に行われたクラウドファンディング「東北イタコ歌唱音声合成データベース制作プロジェクト」の成功を経て制作された「東北イタコ歌唱データベース」を元に制作された歌声ライブラリ。上記「東北きりたん」の場合と同じく、東北ずん子のガイドラインに沿って利用できる。

歌声合成手法の詳細について

公開前（開発中）の段階である2019年12月時点で、SHACHI氏がTwitter上で歌声合成手法に関する「能勢隆」（東北大学准教授）氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌声合成の流れになります。^[4]

詳細は割愛させていただきますが、Acoustic NNはAR付きのFFNNをResidualで繋いだ構成で、過去200 frameの対数基本周波数・メルケプ（0次）、過去20 frameのメルケプ（1~60次）・非周期性指標・有声/無声をARしています。^[5]

NN Vocoderはh-sinc-NSFがベースで、入力をWORLDの基本周波数・メルケプ・非周期性指標、出力を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。^[6]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。（母音脱落など）
フルセットの50曲での学習である程度改善されることを期待しています。^[7]

とのこと。なるほどわからん。

わからんが、わからなくても使える（はずだ）。

えらく高度なことをしているような気がするが、SHACHI氏曰く「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式（開発者「SHACHI氏」による開発中の音声）

東北きりたん歌唱データベース中のNo.01~No.50の全50曲（約60分）を用いて学習させてから歌わせたもの。
Train50music-No.1-1：『ありがとう』（いきものがかり）
Train50music-No.2-1：『世界に一つだけの花』（SMAP）
Train50music-No.3-1～2：『God knows...』（ENOZ Feat.涼宮 ハルヒ）
Train50music-No.4-1～2：『パプリカ』（米津玄師）
Train50music-NoBGM：『ありがとう』（いきものがかり）
Train50music-WORLD：『パプリカ』（米津玄師）

ポストを読み込み中です
https://twitter.com/SHACHI_KRTN/status/1211343266601267200

同じく、歌唱データベース中のNo.01~No.20、No.23~No.50の48曲（約55分）を用いて学習させてから歌わせたもの。
Train48music-No.21-1～5：『Realize!』（i☆Ris）
Train48music-No.22-1～3：『ミライノナマエ』（i☆Ris）

ポストを読み込み中です
https://twitter.com/SHACHI_KRTN/status/1210628822409723906

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

• NEUTRINO -Neural singing synthesizer-（公式サイト）
  • NEUTRINO News | NEUTRINO（公式ブログ。使い方や更新情報などを掲載）
• SHACHI (@SHACHI_KRTN) / Twitter（開発者Twitter）
• SHACHI | Free Listening on SoundCloud（開発者SoundCloud。歌唱デモ音声多数）

利用しているデータベースなど

• 東北きりたん歌唱データベース
• Sinsy公式サイト
• WORLD

関連ツール

• ずー声← for NEUTRINO　（GUIツール）
• NEUTRINO調声支援ツール　（インストール方法や使い方の解説はこちら）
• MusicXML変換くん for NEUTRINO　（MusicXMLに含まれるアルファベット歌詞をひらがなに変換）

ユーザーによる使用レポート、使用法解説など

• AIシンガーがとうとう我が手に……!!　新歌声合成ソフト「NEUTRINO」を使い倒した | くろ州の歌声合成備忘録
  • “NEUTRINO” の検索結果 | くろ州の歌声合成備忘録
• UTAUを経由して手軽にNEUTRINO(AIきりたん)を使う方法 - アマノケイのまったり技術解説
  • NEUTRINO の検索結果 - アマノケイのまったり技術解説

関連項目

• NEUTRINOオリジナル曲
  • AIきりたんオリジナル曲
• NEUTRINOカバー曲
• NEUTRINOアカペラ
• 音声合成
• ニューラルネットワーク
• sinsy
• xml - エンジンに読み込ませる楽譜のフォーマット
• 東北きりたん (AIきりたん)
• 東北イタコ
• 謡子
• 秋田の歌姫

脚注

1. *SHACHI氏Twitterより
2. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンス
3. *Shinnosuke Takamichi (高道 慎之介) - JSUT-song
4. *SHACHI氏Twitterより
5. *SHACHI氏Twitterより
6. *SHACHI氏Twitterより
7. *SHACHI氏Twitterより