今注目のニュース
子どものかわいさは言語を超える? 1歳息子とベトナムのおじいさんとのすてきな出会い漫画にほっこり
俳優の渡哲也さんが死去、78歳 10日に肺炎のため
森口博子が「ガンダム」の名曲を披露、8月16日にYouTubeで無料生配信

NEUTRINO(歌声合成エンジン)単語

ニュートリノ

  • 56
  • 0
掲示板をみる(521)
  • twitter
  • facebook
  • はてな
  • LINE
  • ほめる(56)
  •  
  •  
  •  
  •  
  • その他

NEUTRINOとは、ニューラルネットワークを用いた歌シンセサイザーである。

概要

楽譜データMusicXML形式)から発タイミング・音の高さ・質・のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌ライブラリで合成する。ライブラリVersion.0.300の時点で「東北きりたん」「謡子」「JSUT」の3種が同梱されている。

ソフトウェア無料開されているが、作成した音の利用可範囲は、各歌ライブラリ元のデータベースの規約に従う。

NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。[1]」とのこと。

ソフトウェア2020年2月22日開された。開されると速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

歌声ライブラリ

歌声合成手法の詳細について

開前(開発中)の段階である2019年12月時点で、SHACHI氏がTwitter上で歌合成手法に関する「」(東北大学教授)氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌合成の流れになります。[4]

詳細は割愛させていただきますが、Acoustic NNAR付きのFFNNをResidualで繋いだ構成で、過去200 frame対数基本周波数・メルケプ(0次)、過去20 frameメルケプ(1~60次)・非周期性標・有/ARしています。[5]

NN Vocoderはh-sinc-NSFベースで、入WORLDの基本周波数・メルケプ・非周期性標、出を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。[6]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。(音脱落など)
フルセット50曲での学習である程度善されることを期待しています。[7]

とのこと。なるほどわからん

わからんが、わからなくても使える(はずだ)。

えらく高度なことをしているような気がするが、SHACHIく「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式(開発者「SHACHI氏」による開発中の音声)

東北きりたん歌唱データベース中のNo.01~No.50の全50曲(約60分)を用いて学習させてから歌わせたもの。
Train50music-No.1-1:『ありがとう』(いきものがかり
Train50music-No.2-1:『世界に一つだけの花』(SMAP
Train50music-No.3-1~2:『God knows...』(ENOZ Feat.涼宮 ハルヒ
Train50music-No.4-1~2:『パプリカ』(米津玄師
Train50music-NoBGM:『ありがとう』(いきものがかり
Train50music-WORLD:『パプリカ』(米津玄師

同じく、歌唱データベース中のNo.01~No.20、No.23~No.5048曲(約55分)を用いて学習させてから歌わせたもの。
Train48music-No.21-1~5:『Realize!』(i☆Ris
Train48music-No.22-1~3:『ミライノナマエ』(i☆Ris

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

利用しているデータベースなど

関連ツール

ユーザーによる使用レポート、使用法解説など

関連項目

脚注

  1. *SHACHI氏Twitterよりexit
  2. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンスexit
  3. *Shinnosuke Takamichi (高道 慎之介) - JSUT-songexit
  4. *SHACHI氏Twitterよりexit
  5. *SHACHI氏Twitterよりexit
  6. *SHACHI氏Twitterよりexit
  7. *SHACHI氏Twitterよりexit
この記事を編集する

掲示板

  • 519ななしのよっしん

    2020/07/12(日) 10:35:54 ID: l/X2NFb8+K

    口調も伏線やぞ

  • 520ななしのよっしん

    2020/08/07(金) 10:44:47 ID: dR3Aws62kH

    きりたん関連動画タグ表記揺れが多いな
    or検索するのも面倒だし統一してくれんだろうか

  • 521ななしのよっしん

    2020/08/09(日) 08:52:38 ID: JpdPJeXjK9

    最近の技術はすごいな

おすすめトレンド

急上昇ワード

最終更新:2020/08/15(土) 09:00

ほめられた記事

最終更新:2020/08/15(土) 09:00

スマホで作られた新規記事

ウォッチリストに追加しました!

すでにウォッチリストに
入っています。

OK

追加に失敗しました。

OK

追加にはログインが必要です。

           

ほめた!

すでにほめています。

すでにほめています。

ほめるを取消しました。

OK

ほめるに失敗しました。

OK

ほめるの取消しに失敗しました。

OK

ほめるにはログインが必要です。

タグ編集にはログインが必要です。

タグ編集には利用規約の同意が必要です。

TOP