今注目のニュース
声優・橘田いずみが公式ブログでロックダウン状態となったイギリスの現状を報告「大切なみんなに何が出来るのかわからないけど、どうかこの現状を軽く見ないでほしい。」
志村けんさん訃報直後に収録、今田耕司「すごい衝撃」
新型コロナで外出自粛でも「買い物・旅行」、60代が最も活発――若者は自粛傾向だが……

NEUTRINO(歌声合成エンジン)単語

ニュートリノ

  • 50
  • 0
掲示板をみる(437)
  • twitter
  • facebook
  • はてな
  • LINE
  • ほめる(50)
  •  
  •  
  •  
  •  
  • その他

NEUTRINOとは、ニューラルネットワークを用いた歌シンセサイザーである。

概要

楽譜データMusicXML形式)からタイミング・音の高さ・質・のかすれ具合などをニューラルネットワークで推定し、実際の歌唱データからなる歌ライブラリで合成する。ライブラリ開時点で「東北きりたん」「謡子」の2名が同梱されている。

ソフトウェア無料開されているが、作成した音の利用可範囲は、各歌ライブラリ元のデータベースの規約に従う。

NEUTRINO」との名称については、「まだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。[1]」とのこと。

ソフトウェア2020年2月22日開された。開されると速、NEUTRINOを用いて様々な楽曲を歌唱させた動画が複数のユーザーからニコニコ動画などで開され始めた。これまで、経験を積んだユーザーが長時間かけて調声しなくてはならなかったような「人間の実歌唱との区別が非常に難しいレベルの歌」が次々と制作されていく様に、視聴者からは多数の驚きのコメントが寄せられた。

歌声ライブラリ

歌声合成手法の詳細について

開前(開発中)の段階である2019年12月時点で、SHACHI氏がTwitter上で歌合成手法に関する「」(東北大学教授)氏からの質問に回答したことがある。

その回答を引用すると、以下のような手法を用いているとのこと。

ありがとうございます。いつも楽しく研究を拝見させていただいております。
基本的な流れはよく見るDNN歌合成の流れになります。[3]

詳細は割愛させていただきますが、Acoustic NNAR付きのFFNNをResidualで繋いだ構成で、過去200 frame対数基本周波数・メルケプ(0次)、過去20 frameメルケプ(1~60次)・非周期性標・有/ARしています。[4]

NN Vocoderはh-sinc-NSFベースで、入WORLDの基本周波数・メルケプ・非周期性標、出を24kHzに変更しています。学習率も段階的に下げるようにしています。
ご参考になれば幸いです。[5]

補足になりますが、継続長に関しては20曲では推定が難しい部分があるため一部修正を加えています。(音脱落など)
フルセット50曲での学習である程度善されることを期待しています。[6]

とのこと。なるほどわからん

わからんが、わからなくても使える(はずだ)。

えらく高度なことをしているような気がするが、SHACHIく「※個人的な趣味として作成しております。所属組織とは一切関係ありません。」とのこと。

関連動画

公式(開発者「SHACHI氏」による開発中の音声)

東北きりたん歌唱データベース中のNo.01~No.50の全50曲(約60分)を用いて学習させてから歌わせたもの。
Train50music-No.1-1:『ありがとう』(いきものがかり
Train50music-No.2-1:『世界に一つだけの花』(SMAP
Train50music-No.3-1~2:『God knows...』(ENOZ Feat.涼宮 ハルヒ
Train50music-No.4-1~2:『パプリカ』(米津玄師
Train50music-NoBGM:『ありがとう』(いきものがかり
Train50music-WORLD:『パプリカ』(米津玄師

同じく、歌唱データベース中のNo.01~No.20、No.23~No.5048曲(約55分)を用いて学習させてから歌わせたもの。
Train48music-No.21-1~5:『Realize!』(i☆Ris
Train48music-No.22-1~3:『ミライノナマエ』(i☆Ris

カバー曲

カバー曲については「NEUTRINOカバー曲」の記事も参照。

オリジナル曲

使い方解説動画

バージョン比較動画

GUIツール

関連リンク

公式/開発者関連

利用しているデータベースなど

関連ツール

ユーザーによる使用レポート、使用法解説など

関連項目

脚注

  1. *SHACHI氏Twitterよりexit
  2. *AIきりたん(東北きりたん) 歌唱音源商用利用ライセンスexit
  3. *SHACHI氏Twitterよりexit
  4. *SHACHI氏Twitterよりexit
  5. *SHACHI氏Twitterよりexit
  6. *SHACHI氏Twitterよりexit

掲示板

  • 435ななしのよっしん

    2020/04/04(土) 20:06:54 ID: KXZEJT0QL2

    すべて理解したぞ…(付け焼)

    OpenGL/ CL:サポート打ち切り(今知った)
    NVIDIA製品:悪いな、これ3人用なんだ
    CUDAの資産:しらねーくそしてねろ!!
    ↓↓↓↓↓↓↓↓
    Metal使ってね
    ↑↑↑↑↑↑↑↑
    マジで何考えてるんだ… それとも々が想像もつかない超絶璧なAPIなのか?

  • 436ななしのよっしん

    2020/04/05(日) 04:32:51 ID: 2K4b7PpJra

    聞いた感じ普通人間の表現えていて(部分もあって)すごい

  • 437ななしのよっしん

    2020/04/05(日) 05:24:15 ID: 3e2YXypSk9

    NEUTRINOきりたんVOCALOIDのずん子

急上昇ワード

最終更新:2020/04/05(日) 05:00

ほめられた記事

最終更新:2020/04/05(日) 05:00

ウォッチリストに追加しました!

すでにウォッチリストに
入っています。

OK

追加に失敗しました。

OK

追加にはログインが必要です。

           

ほめた!

すでにほめています。

すでにほめています。

ほめるを取消しました。

OK

ほめるに失敗しました。

OK

ほめるの取消しに失敗しました。

OK

ほめるにはログインが必要です。

タグ編集にはログインが必要です。

タグ編集には利用規約の同意が必要です。

TOP