NEUTRINO(歌声合成エンジン)単語

ニュートリノ
3.7千文字の記事
  • 65
  • 0pt
掲示板へ

NEUTRINOとは、ニューラルネットワークを用いた歌シンセサイザーである。

概要

楽譜データMusicXML形式)から発タイミング・音の高さ・質・のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌ライブラリ合成するソフトウェア

NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。[1]」とのこと。

2020年2月22日開された。開されると速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

ソフトウェア無料開されているが、開発者「SHACHI」氏のpixivFANBOXexitで活動費の支援も受け付けている[2]

歌声ライブラリ

ライブラリ2021年7月7日の時点で「東北きりたん」「めろう(Merrow)」「ナクモ」「東北イタコ」「謡子」「JSUT」「東北ずん子」「No.7 / SEVEN」の8種が使用可となっている(ダウンロード負荷軽減のため、本体に同梱されているのは「東北きりたん」のみで、それ以外は別途配布されている)。

作成した音の利用可範囲は、各歌ライブラリ元のデータベースの規約に従う。

また2020年10月には、有償でのライブラリ作成依頼の受け付けを開始するとのアナウンスがなされた[7]

歌声合成手法の詳細について

開前(開発中)の段階である2019年12月時点で、SHACHI氏がTwitter上で歌合成手法に関する「」(東北大学教授)氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌合成の流れになります。[8]

詳細は割愛させていただきますが、Acoustic NNAR付きのFFNNをResidualで繋いだ構成で、過去200 frame対数基本周波数・メルケプ(0次)、過去20 frameメルケプ(1~60次)・非周期性標・有/ARしています。[9]

NN Vocoderはh-sinc-NSFベースで、入WORLDの基本周波数・メルケプ・非周期性標、出を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。[10]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。(音脱落など)
フルセットの50曲での学習である程度善されることを期待しています。[11]

とのこと。なるほどわからん

わからんが、わからなくても使える(はずだ)。

えらく高度なことをしているような気がするが、SHACHIく「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式(開発者「SHACHI氏」による開発中の音声)

東北きりたん歌唱データベース中のNo.01~No.50の全50曲(約60分)を用いて学習させてから歌わせたもの。
Train50music-No.1-1:『ありがとう』(いきものがかり
Train50music-No.2-1:『世界に一つだけの花』(SMAP
Train50music-No.3-1~2:『God knows...』(ENOZ Feat.涼宮 ハルヒ
Train50music-No.4-1~2:『パプリカ』(米津玄師
Train50music-NoBGM:『ありがとう』(いきものがかり
Train50music-WORLD:『パプリカ』(米津玄師

同じく、歌唱データベース中のNo.01~No.20、No.23~No.50の48曲(約55分)を用いて学習させてから歌わせたもの。
Train48music-No.21-1~5:『Realize!』(i☆Ris
Train48music-No.22-1~3:『ミライノナマエ』(i☆Ris

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

利用しているデータベースなど

関連ツール

ユーザーによる使用レポート、使用法解説など

関連項目

脚注

  1. *SHACHI氏Twitterよりexit
  2. *SHACHI氏Twitterよりexit
  3. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンスexit
  4. *Shinnosuke Takamichi (高道 慎之介) - JSUT-songexit
  5. *SHACHI氏Twitterよりexit
  6. *SHACHI氏Twitterよりexit
  7. *SHACHI氏Twitterよりexit
  8. *SHACHI氏Twitterよりexit
  9. *SHACHI氏Twitterよりexit
  10. *SHACHI氏Twitterよりexit
  11. *SHACHI氏Twitterよりexit

【スポンサーリンク】

  • 65
  • 0pt
スマホ版URL:
https://dic.nicovideo.jp/t/a/neutrino%28%E6%AD%8C%E5%A3%B0%E5%90%88%E6%88%90%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3%29
記事編集 編集履歴を閲覧

この記事の掲示板に最近描かれたお絵カキコ

お絵カキコがありません

この記事の掲示板に最近投稿されたピコカキコ

ピコカキコがありません

NEUTRINO(歌声合成エンジン)

605 ななしのよっしん
2021/11/19(金) 19:08:14 ID: 8iDVgjQnpR
https://twitter.com/SHACHI_NEUTRINO/status/1444253548544282624exit
デフォルトの歌ライブラリがめろう(Merrow)に変更
606 ななしのよっしん
2021/12/25(土) 19:16:21 ID: Pnnbzb36fM
琴葉姉妹NEUTRINO!?
607 ななしのよっしん
2022/02/09(水) 15:00:17 ID: 3K53FRzM6e
今度はずんだもんNEUTRINO化だってよ
まさかあそこプロジェクトキャラ合成音声化させる気なのか?
https://greenfunding.jp/pub/projects/5775exit
608 ななしのよっしん
2022/02/18(金) 06:21:07 ID: Pnnbzb36fM
第5ゴールでめたんもNEUTRINOになったりしないかな
609 ななしのよっしん
2022/02/22(火) 22:22:23 ID: KXZEJT0QL2
NEUTRINO2周年おめでとうございます
SHACHIさまはじめ、関わられているみなさん、ありがとうございます
アップデートや歌ライブラリたちなど、ますますひろがっていく世界を、これからも応援しています!
610 ななしのよっしん
2022/03/03(木) 20:34:48 ID: 9wbkrW58gk
No.7データ開されてる
611 ななしのよっしん
2022/04/25(月) 21:19:26 ID: Pnnbzb36fM
>>sm40356976exit_nicovideo

>>so40372189exit_nicovideo
612 ななしのよっしん
2022/04/25(月) 21:59:50 ID: u8cEeBcgBc
アプデで1ノートに2文字入れるのできなくなったと思ったら
一部でできるみたい(00:50あたり)
>>sm40373008exit_nicovideo
613 ななしのよっしん
2022/06/02(木) 21:17:06 ID: u8cEeBcgBc
NEUTRINO調声支援ツールがもうすぐ開終了するらしい

開終了後はこのGUIを使う
http://yarohima.com/zukoe_for_neutrino.htmlexit
614 ななしのよっしん
2022/06/19(日) 15:22:05 ID: tHA5S7P0XZ
ほとんど違和感なくて凄