NEUTRINO(歌声合成エンジン)

NEUTRINOとは、ニューラルネットワークを用いた歌声シンセサイザーである。

概要

楽譜データ（MusicXML形式）から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌声ライブラリで合成するソフトウェア。

「NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。^[1]」とのこと。

2020年2月22日にαテスト版のVersion.0.100が公開された。公開されると早速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで公開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌声」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

2022年4月22日に正式リリース版のNEUTRINO Electron v.1.0.0が公開された。Windows版、macOS版のほか、オンライン版（Google Colab）を利用してUbuntu(Linux)上でも動作する。

2023年4月28日にDiffusionモデルを採用するなど大幅なリニューアルを実施したNEUTRINO Diffusion v.2.0.0が公開された。

ソフトウェアは無料で公開されているが、開発者「SHACHI」氏のpixivFANBOXで活動費の支援も受け付けている^[2]。

歌声ライブラリ

ライブラリは2021年7月7日の時点で「東北きりたん」「めろう(Merrow)」「ナクモ」「東北イタコ」「謡子」「JSUT」「東北ずん子」「No.7 / SEVEN」の8種が使用可能となっている（ダウンロード負荷軽減のため、本体に同梱されているのは「東北きりたん」のみで、それ以外は別途配布されている）。

作成した音声の利用可能範囲は、各歌声ライブラリ元のデータベースの規約に従う。

• 東北きりたん …東北きりたん歌唱データベースを元に制作された歌声ライブラリ。データベースは研究目的で配布されているが、NEUTRINOで生成した歌声については東北ずん子のガイドラインに沿って利用できる。^[3]
• 謡子 …Sinsyを元に制作された歌声ライブラリ。
• JSUT …東京大学の猿渡研究室にて、高道慎之介（東京大学助教）氏らによって制作された歌声ライブラリ。^[4]
• 東北イタコ …2020年7月に行われたクラウドファンディング「東北イタコ歌唱音声合成データベース制作プロジェクト」の成功を経て制作された「東北イタコ歌唱データベース」を元に制作された歌声ライブラリ。上記「東北きりたん」の場合と同じく、東北ずん子のガイドラインに沿って利用できる。
• めろう(Merrow) …「癖が少なく柔らかいストレートな歌い方、キャラ感薄目・その辺にいそうな感じ、というコンセプトで制作」したという音源ライブラリ。^[5]。
• ナクモ …「普通のバンドマン路線・前髪重たい系のバンドボーカルをイメージして制作」したという音源ライブラリ。^[6]。上記5種のライブラリが全て女性音源であった中、初の男性音源となった。
• 東北ずん子 …2021年1月に行われたクラウドファンディング「東北ずん子はAIで歌いたい！　テレビでも3姉妹で歌いたい！」の成功を経て制作された「東北ずん子歌唱データベース」を元に制作された歌声ライブラリ。上記「東北きりたん」「東北イタコ」の場合と同じく、東北ずん子のガイドラインに沿って利用できる。
• No.7 / SEVEN …小岩井ことりの声を元に制作されたライブラリ。AI歌唱データベースを制作するには50曲程度のデータが必要なのだが、なんと小岩井氏はそのデータベース制作のために50曲分自作し提供したという。
• 琴葉茜・葵 …2022年春に発表されたライブラリ。姉妹の声の特徴に差が出るようになっている。A.I.VOICE版購入者には無償配布される。
• ずんだもん …2022年2月に行われたクラウドファンディング「ずんだもんは、四国めたんも「ささやきたい」「歌いたい」音声合成制作！」の成功を経て制作された「ずんだもん歌唱データベース」を元に制作された歌声ライブラリ。上記「東北きりたん」「東北イタコ」「東北ずん子」の場合と同じく、東北ずん子のガイドラインに沿って利用できる。
• 四国めたん…上記クラウドファンディングのストレッチゴールを達成したことで制作された「四国めたん歌唱データベース」を元に制作された歌声ライブラリ。上記「東北きりたん」「東北イタコ」「東北ずん子」「ずんだもん」の場合と同じく、東北ずん子のガイドラインに沿って利用できる。
• 夜語トバリ…2022年8月のクラウドファンディングの成功を受けて制作が決定した。A.I.VOICE版購入者には無償配布される。
• 大江戸ちゃんこ…2024年2月のクラウドファンディングのストレッチゴール達成を受けて制作が決定した。
• ソウマ(neutrino)
• ルノ(neutrino)

また2020年10月には、有償でのライブラリ作成依頼の受け付けを開始するとのアナウンスがなされた^[7]。

歌声合成手法の詳細について

公開前（開発中）の段階である2019年12月時点で、SHACHI氏がTwitter上で歌声合成手法に関する「能勢隆」（東北大学准教授）氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌声合成の流れになります。^[8]

詳細は割愛させていただきますが、Acoustic NNはAR付きのFFNNをResidualで繋いだ構成で、過去200 frameの対数基本周波数・メルケプ（0次）、過去20 frameのメルケプ（1~60次）・非周期性指標・有声/無声をARしています。^[9]

NN Vocoderはh-sinc-NSFがベースで、入力をWORLDの基本周波数・メルケプ・非周期性指標、出力を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。^[10]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。（母音脱落など）
フルセットの50曲での学習である程度改善されることを期待しています。^[11]

とのこと。なるほどわからん。

わからんが、わからなくても使える（はずだ）。

えらく高度なことをしているような気がするが、SHACHI氏曰く「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式（開発者「SHACHI氏」による開発中の音声）

東北きりたん歌唱データベース中のNo.01~No.50の全50曲（約60分）を用いて学習させてから歌わせたもの。
Train50music-No.1-1：『ありがとう』（いきものがかり）
Train50music-No.2-1：『世界に一つだけの花』（SMAP）
Train50music-No.3-1～2：『God knows...』（ENOZ Feat.涼宮 ハルヒ）
Train50music-No.4-1～2：『パプリカ』（米津玄師）
Train50music-NoBGM：『ありがとう』（いきものがかり）
Train50music-WORLD：『パプリカ』（米津玄師）

ポストを読み込み中です
https://twitter.com/SHACHI_KRTN/status/1211343266601267200

同じく、歌唱データベース中のNo.01~No.20、No.23~No.50の48曲（約55分）を用いて学習させてから歌わせたもの。
Train48music-No.21-1～5：『Realize!』（i☆Ris）
Train48music-No.22-1～3：『ミライノナマエ』（i☆Ris）

ポストを読み込み中です
https://twitter.com/SHACHI_KRTN/status/1210628822409723906

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

• NEUTRINO -Neural singing synthesizer-（公式サイト）
  • NEUTRINO News | NEUTRINO（公式ブログ。使い方や更新情報などを掲載）
• SHACHI (@SHACHI_NEUTRINO) / Twitter（開発者Twitter）
• SHACHI | Free Listening on SoundCloud（開発者SoundCloud。歌唱デモ音声多数）
• SHACHI@NEUTRINO｜pixivFANBOX（開発者のpixivFANBOX。開発費を支援できる）

利用しているデータベースなど

• 東北きりたん歌唱データベース
• Sinsy公式サイト
• WORLD

関連ツール

• ずー声← for NEUTRINO　（GUIツール）
• NEUTRINO調声支援ツール　（インストール方法や使い方の解説はこちら）
• MusicXML変換くん for NEUTRINO　（MusicXMLに含まれるアルファベット歌詞をひらがなに変換）

ユーザーによる使用レポート、使用法解説など

• AIシンガーがとうとう我が手に……!!　新歌声合成ソフト「NEUTRINO」を使い倒した | くろ州の歌声合成備忘録
  • “NEUTRINO” の検索結果 | くろ州の歌声合成備忘録
• UTAUを経由して手軽にNEUTRINO(AIきりたん)を使う方法 - アマノケイのまったり技術解説
  • NEUTRINO の検索結果 - アマノケイのまったり技術解説

関連項目

• NEUTRINOオリジナル曲
  • AIきりたんオリジナル曲
• NEUTRINOカバー曲
• NEUTRINOアカペラ
• 音声合成
• ニューラルネットワーク
• sinsy
• xml - エンジンに読み込ませる楽譜のフォーマット
• 東北きりたん (AIきりたん)
  • 秋田の歌姫
• 東北イタコ
• 謡子
• めろう(NEUTRINO)
• No.7(NEUTRINO)
• AIにも容赦しないすすむおじさん
• スナックNEUTRINO

脚注

1. *SHACHI氏Twitterより
2. *SHACHI氏Twitterより
3. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンス
4. *Shinnosuke Takamichi (高道 慎之介) - JSUT-song
5. *SHACHI氏Twitterより
6. *SHACHI氏Twitterより
7. *SHACHI氏Twitterより
8. *SHACHI氏Twitterより
9. *SHACHI氏Twitterより
10. *SHACHI氏Twitterより
11. *SHACHI氏Twitterより