DiffSinger

DiffSingerとは、浅い拡散メカニズム(拡散モデル)を利用した歌声合成である。

概要

DiffSingerは2021年に論文が発表され、2022年1月17日にPytorch版の公式実装がGithubで公開された。その後OpenVPI版のフォークが作成された。現在最新版はVer2.4.0である。

更に他のユーザーによりOpenVPI版を元にGoogleColabで利用できる学習にノートブックや
個人のPCで利用可能な学習ツールDiffTrainerが公開されている。

個人で作成可能なAI歌唱合成として人気があり様々なユーザーから音源が配布されている。

対応エディターは現在OpenUtauのみのため利用にはOpenUtauが必須である。

関連リンクに各種リポジトリ、ツールのリンクを掲載しています。

利用方法

DiffSingerの音源(音響モデル)を簡単に利用するにはOpenUtauを利用する必要がある。

1. 最新版のOpenUtauダウンロードする。
2. OpenUtauのWikiのDiffSinger supportページから
   nsf_hifigan vocoderをダウンロードする。
3. nsf_hifigan.oudepをOpenUtauのメインウィンドウにドラッグアンドドロップで
   インストールすることで利用可能になる。
4. お好きな音源をダウンロード
   メインウィンドウにドラッグアンドドロップでインストールすることで利用可能になる。

特徴

主な特徴としてマルチスピーカーと言われる物があり、
一つの音源に複数の声質や複数の言語を学習できる。

学習データを相互に組み合わせることで日本語話者の声で英語やフランス語、
中国語話者や英語話者で日本語といったクロスリンガルを実装可能である。

また、声質を別々に学習させることでUTAUで言う統合音源のような事もできる。

OpenUtauで声質を操作する場合は表情編集部分のCLR:VoiceColorタブのラジオボタンで
ノートごとに設定できる。

他にも表情設定から選択している音源の表情を追加できる。
追加したVoiceColorはカーブ（曲線）編集の形を取っており
カーブを書き換えることで声質の適応度合いや声質を混ぜる事ができる。

他にもの音源によって以下の表情をカーブ編集で操作できる。

• Gender(フォルマント)
• Tension(声の強弱、息の量)
• Energy(声の強弱)
• Breathiness(息の量)
• Voicing(有声化度合い)
• Velocity(発音速度)
• Pitch Expressiveness(ピッチ表現力)

関連動画

ニコニコ動画で投稿されている配布、アップデート動画

日本語話者による音源

他言語話者による音源

Youtubeやbillbillでより多種多様な音源が公開、配布されている

関連リンク

• DiffSinger_GoogleColabノートブック
• DiffTrainer
• DiffSingerモデル制作wiki

関連項目

• 音声合成
• ボカロ・歌声合成ソフトウェア
• ソフトウェアシンガー
• ENUNU
• NNSVS
• NEUTRINO(歌声合成エンジン)
• OpenUtau