NEUTRINO(歌声合成エンジン)単語

ニュートリノ
  • 50
  • 0pt
掲示板へ

NEUTRINOとは、ニューラルネットワークを用いた歌シンセサイザーである。

概要

楽譜データMusicXML形式)からタイミング・音の高さ・質・のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌ライブラリで合成する。ライブラリ開時点で「東北きりたん」「謡子」の2名が同梱されている。

ソフトウェア無料開されているが、作成した音の利用可範囲は、各歌ライブラリ元のデータベースの規約に従う。

NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。[1]」とのこと。

ソフトウェア2020年2月22日開された。開されると速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

歌声ライブラリ

歌声合成手法の詳細について

開前(開発中)の段階である2019年12月時点で、SHACHI氏がTwitter上で歌合成手法に関する「」(東北大学教授)氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌合成の流れになります。[3]

詳細は割愛させていただきますが、Acoustic NNAR付きのFFNNをResidualで繋いだ構成で、過去200 frame対数基本周波数・メルケプ(0次)、過去20 frameメルケプ(1~60次)・非周期性標・有/ARしています。[4]

NN Vocoderはh-sinc-NSFベースで、入WORLDの基本周波数・メルケプ・非周期性標、出を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。[5]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。(音脱落など)
フルセット50曲での学習である程度善されることを期待しています。[6]

とのこと。なるほどわからん

わからんが、わからなくても使える(はずだ)。

えらく高度なことをしているような気がするが、SHACHIく「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式(開発者「SHACHI氏」による開発中の音声)

東北きりたん歌唱データベース中のNo.01~No.50の全50曲(約60分)を用いて学習させてから歌わせたもの。
Train50music-No.1-1:『ありがとう』(いきものがかり
Train50music-No.2-1:『世界に一つだけの花』(SMAP
Train50music-No.3-1~2:『God knows...』(ENOZ Feat.涼宮 ハルヒ
Train50music-No.4-1~2:『パプリカ』(米津玄師
Train50music-NoBGM:『ありがとう』(いきものがかり
Train50music-WORLD:『パプリカ』(米津玄師

同じく、歌唱データベース中のNo.01~No.20、No.23~No.5048曲(約55分)を用いて学習させてから歌わせたもの。
Train48music-No.21-1~5:『Realize!』(i☆Ris
Train48music-No.22-1~3:『ミライノナマエ』(i☆Ris

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

利用しているデータベースなど

関連ツール

ユーザーによる使用レポート、使用法解説など

関連項目

脚注

  1. *SHACHI氏Twitterよりexit
  2. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンスexit
  3. *SHACHI氏Twitterよりexit
  4. *SHACHI氏Twitterよりexit
  5. *SHACHI氏Twitterよりexit
  6. *SHACHI氏Twitterよりexit

【スポンサーリンク】

  • 50
  • 0pt
スマホ版URL:
https://dic.nicovideo.jp/t/a/neutrino%28%E6%AD%8C%E5%A3%B0%E5%90%88%E6%88%90%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3%29

この記事の掲示板に最近描かれたお絵カキコ

お絵カキコがありません

この記事の掲示板に最近投稿されたピコカキコ

ピコカキコがありません

NEUTRINO(歌声合成エンジン)

443 ななしのよっしん
2020/04/06(月) 19:11:26 ID: u8cEeBcgBc
>>440
これってUTAUみたいに音を増やせるようになるのかな
もしそうなったら止まらなくなるな
444 .
2020/04/06(月) 20:10:42 ID: WwwvqJ7/4N
Radeonじゃダメなのか?
445 ななしのよっしん
2020/04/06(月) 23:27:31 ID: Ar+csMxuXq
Mac移植断念か、これでボカロPに使われる望みは絶たれたわけだ
ボカロflower使いが多いのもMacで動くからだし(もっともボカロ自体もMacで動くが)
446 ななしのよっしん
2020/04/07(火) 15:21:15 ID: 9zCnkE4J0b
助けて!ちゃんとmusicxmlでrun.batに登録したつもりなのに
起動してもエラーもなしに一で落ちるだけなんだけど、これ何?
447 ななしのよっしん
2020/04/07(火) 15:55:09 ID: KXZEJT0QL2
>>446
まずはRun.batダブルクリックではなくコマンドプロンプトから呼び出してエラー内容を見た方がいい
多分歌データを入れ忘れてるんだと思うw
448 ななしのよっしん
2020/04/07(火) 21:06:36 ID: GFtSeA/wtc
そろそろAIきりたんネームバリューだけでは失速してきた感じがある
NEUTRINOは凄い技術なんだけど、合唱とかコーラスみたいな変則的な歌い方をさせるのはめっちゃ苦手っぽいし

ていうかよく考えたら、ゆかりさんとか名古屋アイドルとかは自で歌えるんだよね・・・
449 ななしのよっしん
2020/04/07(火) 21:32:13 ID: 9zCnkE4J0b
>>447
MIDIファイルから作成するのを忘れていただけでしたw
ありがとうございます!
450 ななしのよっしん
2020/04/07(火) 21:55:23 ID: 5URPhegAih
好きな曲の楽譜orMIDIが見当たらず購入できない場合って、
やっぱ耳コピしかないよな
いやー音痴には中々ハードルが高いw
451 ななしのよっしん
2020/04/07(火) 22:54:31 ID: l/X2NFb8+K
Youtube探すと楽譜動画落ちてるのもある
452 ななしのよっしん
2020/04/09(木) 05:22:10 ID: KXZEJT0QL2
キタ―――(゚∀゚)―――― !!
予想よりかなりいなぁw

>・NEUTRINO version.0.200βについて
>金曜開予定です。
>Windows版のNSF対応のアップデートになります。

>なおNSFでの合成には【NVIDIA製のGPU(3GB以上のGPUメモリを推奨)】が必要です。
>GTX 1050ti /1060 / 970が推奨スペックを満たしつつ、中古で10,000円前後なのでオススメです。
https://twitter.com/SHACHI_KRTN/status/1247980194968662018exit