NEUTRINO(歌声合成エンジン)単語

ニュートリノ
  • 61
  • 0pt
掲示板へ

NEUTRINOとは、ニューラルネットワークを用いた歌シンセサイザーである。

概要

楽譜データMusicXML形式)から発タイミング・音の高さ・質・のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌ライブラリで合成するソフトウェア

NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。[1]」とのこと。

2020年2月22日開された。開されると速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

ソフトウェア無料開されているが、開発者「SHACHI」氏のpixivFANBOXexitで活動費の支援も受け付けている[2]

歌声ライブラリ

ライブラリVersion.0.400の時点で「東北きりたん」「東北イタコ」「めろう(Merrow)α版」「謡子」「JSUT」の5種が使用可となっている(ダウンロード負荷軽減のため、本体に同梱されているのは前者3種のみで、後者2種は別途配布されている)。

作成した音の利用可範囲は、各歌ライブラリ元のデータベースの規約に従う。

また2020年10月には、有償でのライブラリ作成依頼の受け付けを開始するとのアナウンスがなされた[6]

歌声合成手法の詳細について

開前(開発中)の段階である2019年12月時点で、SHACHI氏がTwitter上で歌合成手法に関する「」(東北大学教授)氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌合成の流れになります。[7]

詳細は割愛させていただきますが、Acoustic NNAR付きのFFNNをResidualで繋いだ構成で、過去200 frame対数基本周波数・メルケプ(0次)、過去20 frameメルケプ(1~60次)・非周期性標・有/ARしています。[8]

NN Vocoderはh-sinc-NSFベースで、入WORLDの基本周波数・メルケプ・非周期性標、出を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。[9]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。(音脱落など)
フルセット50曲での学習である程度善されることを期待しています。[10]

とのこと。なるほどわからん

わからんが、わからなくても使える(はずだ)。

えらく高度なことをしているような気がするが、SHACHIく「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式(開発者「SHACHI氏」による開発中の音声)

東北きりたん歌唱データベース中のNo.01~No.50の全50曲(約60分)を用いて学習させてから歌わせたもの。
Train50music-No.1-1:『ありがとう』(いきものがかり
Train50music-No.2-1:『世界に一つだけの花』(SMAP
Train50music-No.3-1~2:『God knows...』(ENOZ Feat.涼宮 ハルヒ
Train50music-No.4-1~2:『パプリカ』(米津玄師
Train50music-NoBGM:『ありがとう』(いきものがかり
Train50music-WORLD:『パプリカ』(米津玄師

同じく、歌唱データベース中のNo.01~No.20、No.23~No.5048曲(約55分)を用いて学習させてから歌わせたもの。
Train48music-No.21-1~5:『Realize!』(i☆Ris
Train48music-No.22-1~3:『ミライノナマエ』(i☆Ris

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

利用しているデータベースなど

関連ツール

ユーザーによる使用レポート、使用法解説など

関連項目

脚注

  1. *SHACHI氏Twitterよりexit
  2. *SHACHI氏Twitterよりexit
  3. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンスexit
  4. *Shinnosuke Takamichi (高道 慎之介) - JSUT-songexit
  5. *SHACHI氏Twitterよりexit
  6. *SHACHI氏Twitterよりexit
  7. *SHACHI氏Twitterよりexit
  8. *SHACHI氏Twitterよりexit
  9. *SHACHI氏Twitterよりexit
  10. *SHACHI氏Twitterよりexit

【スポンサーリンク】

  • 61
  • 0pt
スマホ版URL:
https://dic.nicovideo.jp/t/a/neutrino%28%E6%AD%8C%E5%A3%B0%E5%90%88%E6%88%90%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3%29

この記事の掲示板に最近描かれたお絵カキコ

お絵カキコがありません

この記事の掲示板に最近投稿されたピコカキコ

ピコカキコがありません

NEUTRINO(歌声合成エンジン)

573 ななしのよっしん
2021/02/23(火) 23:38:59 ID: nIXmhImO2D
ごり押しでしゃべらせた人っているのかな
574 ななしのよっしん
2021/02/23(火) 23:49:17 ID: 7JVVXEyHFi
>>573
>>sm37625285exit_nicovideo
575 ななしのよっしん
2021/02/24(水) 01:31:46 ID: K4+Cauj8pD
>>572
最近聞かなくなったシェアウェアとかカンパウェア・ドネーションウェアの立ち位置かもですね。

>>573
「ずー← for NEUTRINO」で喋らせることができますね
http://yarohima.com/zukoe_for_neutrino.htmlexit
576 ななしのよっしん
2021/02/25(木) 14:51:45 ID: u8cEeBcgBc
ずーでしゃべらせるのは小回りが利かないからやめた方がいいと思う

めろうさんは結構しゃべれる
>>sm38052469exit_nicovideo


きりたんはしゃべるのはUTAUの方が向いている
>>sm37558482exit_nicovideo
577 ななしのよっしん
2021/02/28(日) 20:01:29 ID: nIXmhImO2D
いるのか(困惑)教えてくれてどもども
578 ななしのよっしん
2021/03/18(木) 05:26:35 ID: Pnnbzb36fM
>>576
これきりたんの方は喋ってるのボイロだと思う
579 ななしのよっしん
2021/03/31(水) 22:34:19 ID: 7JVVXEyHFi
https://twitter.com/SHACHI_NEUTRINO/status/1377157679768997888exit
めろうキャライラストかわいい

には公式GUIが付くってそれもうほぼ覇権では?
580 .
2021/04/02(金) 13:58:11 ID: WwwvqJ7/4N
v0.430話題で隠れてるけど、男性ボーカルが延期になってる
https://twitter.com/SHACHI_NEUTRINO/status/1375357460798566401exit

4月中旬予定
581 ななしのよっしん
2021/04/03(土) 11:57:26 ID: 9wbkrW58gk
同じ音でもNSFWORLDでどこまで違う挙動をするのか
582 ななしのよっしん
2021/04/06(火) 20:28:27 ID: a6nbp4hG7h
AIシンガーテック
https://www.youtube.com/watch?v=IpRyVLxvizkexit
41:16からNEUTRINO調声講座

文章にできそうなところがあれば記事に追記していただけると助かります