NEUTRINO(歌声合成エンジン)単語

16752件
ニュートリノ
4.4千文字の記事
  • 66
  • 0pt
掲示板へ

NEUTRINOとは、ニューラルネットワークを用いた歌シンセサイザーである。

概要

楽譜データMusicXML形式)から発タイミング・音の高さ・質・のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌ライブラリ合成するソフトウェア

NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。[1]」とのこと。

2020年2月22日αテスト版のVersion.0.100開された。開されると速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

2022年4月22日に正式リリース版のNEUTRINO Electron v.1.0.0が開された。Windows版、macOS版のほか、オンライン版(Google Colab)を利用してUbuntu(Linux)上でも動作する。

2023年4月28日にDiffusionモデルを採用するなど大幅なリニューアルを実施したNEUTRINO Diffusion v.2.0.0が開された。

ソフトウェア無料開されているが、開発者「SHACHI」氏のpixivFANBOXexitで活動費の支援も受け付けている[2]

歌声ライブラリ

ライブラリ2021年7月7日の時点で「東北きりたん」「めろう(Merrow)」「ナクモ」「東北イタコ」「謡子」「JSUT」「東北ずん子」「No.7 / SEVEN」の8種が使用可となっている(ダウンロード負荷軽減のため、本体に同梱されているのは「東北きりたん」のみで、それ以外は別途配布されている)。

作成した音の利用可範囲は、各歌ライブラリ元のデータベースの規約に従う。

また2020年10月には、有償でのライブラリ作成依頼の受け付けを開始するとのアナウンスがなされた[7]

歌声合成手法の詳細について

開前(開発中)の段階である2019年12月時点で、SHACHI氏がTwitter上で歌合成手法に関する「」(東北大学教授)氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌合成の流れになります。[8]

詳細は割愛させていただきますが、Acoustic NNAR付きのFFNNをResidualで繋いだ構成で、過去200 frame対数基本周波数・メルケプ(0次)、過去20 frameメルケプ(1~60次)・非周期性標・有/ARしています。[9]

NN Vocoderはh-sinc-NSFベースで、入WORLDの基本周波数・メルケプ・非周期性標、出を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。[10]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。(音脱落など)
フルセットの50曲での学習である程度善されることを期待しています。[11]

とのこと。なるほどわからん

わからんが、わからなくても使える(はずだ)。

えらく高度なことをしているような気がするが、SHACHIく「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式(開発者「SHACHI氏」による開発中の音声)

東北きりたん歌唱データベース中のNo.01~No.50の全50曲(約60分)を用いて学習させてから歌わせたもの。
Train50music-No.1-1:『ありがとう』(いきものがかり
Train50music-No.2-1:『世界に一つだけの花』(SMAP
Train50music-No.3-1~2:『God knows...』(ENOZ Feat.涼宮 ハルヒ
Train50music-No.4-1~2:『パプリカ』(米津玄師
Train50music-NoBGM:『ありがとう』(いきものがかり
Train50music-WORLD:『パプリカ』(米津玄師

同じく、歌唱データベース中のNo.01~No.20、No.23~No.50の48曲(約55分)を用いて学習させてから歌わせたもの。
Train48music-No.21-1~5:『Realize!』(i☆Ris
Train48music-No.22-1~3:『ミライノナマエ』(i☆Ris

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

利用しているデータベースなど

関連ツール

ユーザーによる使用レポート、使用法解説など

関連項目

脚注

  1. *SHACHI氏Twitterよりexit
  2. *SHACHI氏Twitterよりexit
  3. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンスexit
  4. *Shinnosuke Takamichi (高道 慎之介) - JSUT-songexit
  5. *SHACHI氏Twitterよりexit
  6. *SHACHI氏Twitterよりexit
  7. *SHACHI氏Twitterよりexit
  8. *SHACHI氏Twitterよりexit
  9. *SHACHI氏Twitterよりexit
  10. *SHACHI氏Twitterよりexit
  11. *SHACHI氏Twitterよりexit
関連記事

親記事

子記事

兄弟記事

【スポンサーリンク】

  • 66
  • 0pt
記事編集 編集履歴を閲覧

ニコニ広告で宣伝された記事

春日部つむぎ (単) 記事と一緒に動画もおすすめ!
提供: prism
もっと見る

この記事の掲示板に最近描かれたお絵カキコ

お絵カキコがありません

この記事の掲示板に最近投稿されたピコカキコ

ピコカキコがありません

NEUTRINO(歌声合成エンジン)

625 ななしのよっしん
2022/09/13(火) 00:06:32 ID: Ar+csMxuXq
開発者にとってGUI駄なものでしかないんだよね
良い例がボイボ、あれのGUIだけは流用されまくってるしね
👍
高評価
2
👎
低評価
0
626 ななしのよっしん
2022/09/26(月) 23:51:20 ID: Kbwo/+CBTR
公式GUIには期待してたけど、調声支援ツール開発再開されて、まあどっちでもいいかという気持ちになった。
👍
高評価
0
👎
低評価
0
627 ななしのよっしん
2022/10/09(日) 09:52:55 ID: 40j8SjyZA+
出さないなら出さないでちゃんと続報してくれ公式
だんまりは良くないだろ
👍
高評価
0
👎
低評価
0
628 ななしのよっしん
2022/11/02(水) 00:39:49 ID: R/ABkiwdVq
めたん来たな
👍
高評価
0
👎
低評価
0
629 削除しました
削除しました ID: ll92KziStP
削除しました
630 削除しました
削除しました ID: ll92KziStP
削除しました
631 ななしのよっしん
2022/11/13(日) 19:32:47 ID: tMTrjtiKJv
>>sm41358596exit_nicovideo
👍
高評価
2
👎
低評価
0
632 ななしのよっしん
2023/01/01(日) 22:24:45 ID: O1TRI3w2bu
子供と一緒にyoutube童謡探して聞いてたら、歌ってるのがneutrinoきりたんとかずん子でびっくりした。
こういう使い方もあるんだなぁ、子供も特に違和感なく聞いてたみたいだし。
👍
高評価
5
👎
低評価
0
633 .
2023/05/01(月) 01:38:40 ID: WwwvqJ7/4N
メジャーバージョン(v2.0)が出たようだが

公式GUIへの言及、一切なし
こりゃもうやる気ないんだろうな、最悪だ
👍
高評価
0
👎
低評価
6
634 ななしのよっしん
2023/09/04(月) 17:48:41 ID: 9wbkrW58gk
>>sm42571979exit_nicovideo
👍
高評価
0
👎
低評価
0