Sinsy

Sinsy
HMM/DNN-based Singing Voice Synthesis System

Latest Ver. 4.1 (2020/12/25)

Sinsyとは、名古屋工業大学国際音声技術研究所が開発した歌声合成技術/サービスである。

概要

アップロードされた楽譜(MusicXML)に基づき、自然な歌声を生成するHMM（隠れマルコフモデル）/DNN(深層ニューラルネットワーク)歌声合成システム/Webサービス。2009/12/25にVer.1.0が公開されて以降、ほぼ毎年クリスマスに大きなアップデートを行なっている。

このシステムはWeb上で動作し、OSを問わずに無料で使える。また、合成前に声質やビブラートの強さも設定可能。

合成の仕組み

VOCALOIDやUTAUとはまったく合成アルゴリズムが異なっている。

まず録音するのは呪文ではなく「歌」である。これは楽譜上のメロディー・歌詞と実際の歌との対応を見るためである。

かなーりふんわり言うと、録音した複数の歌とその楽譜を使って「この人はこんな感じに歌う傾向があるのね」というのをコンピュータに学習させるのである。しかも全自動で。なんとなくすごい感じがするね！

そしていざ、歌ってもらいたい歌の楽譜を送ってやると、「ふむ、中の人はおそらくこんな感じに歌うだろう」という音源を返してくれるのである。しかも全自動で。なんとなくとってもすごい感じがするね！

そのため、調声・調教の必要がないことが特徴。また、応用として他の歌声を「真似る」こともできる（以下の動画参照）

また、一回コンピュータに学習させてしまえば、録音した歌は使わなくなるので、合成時にライブラリが必要なVOCALOIDやUTAUに比べて圧倒的にソフトウェアの容量が小さいのも特徴のひとつである。（CeVIO Creative Studioが小さいのはそのため）

MusicXML形式で出力可能なソフトはFinale(notepad2012はフリー)、MuseScore、Cadenciiがある。特に、CadenciiはフリーソフトでかつVSQファイルやustファイルを読み込むこともできるため、既存のデータから簡単に合成可能である。技術元が同じCeVIO Creative Studioも製品版・フリー版ともに出力可能である。

使い方

色んな方々が動画で説明しているので是非ご視聴あれ（丸投げ）

MuseScoreを使う方法	Cadenciiを使う方法
UTAUを使う方法	Symphony Proを使う方法（英語歌詞）

ボーカル

• 2009/12/25 Ver.1.0　Sinsyのwebページと同時に謡子(f001)が公開された。
• 2010/12/25 Ver.2.7　香鈴の日本語α版音源(f002j_a)が追加された。
• 2011/12/25 Ver.3.0　f001がf001j、f002j_aがf002jに名称が変更された。同時にf002は安定版に移行。
• 2012/12/25 Ver.3.3　香鈴に英語音源(f002e)が追加された。
• 2013/12/25 Ver.3.4　波音リツS(f004j_beta)と松尾P(m003e_beta)が追加された。
• 2015/12/25 Ver.3.7　香鈴に中国語音源(f002m)が追加された。(mはMandarin)
• 2016/12/25 Ver.3.8　日本語音源(f005j)と謡子のDNN版日本語音源(f001j_dnn_beta)が追加された。
• 2017/12/25 Ver.3.9　日本語音源(m01083j)が追加すべての音源の名称が変更になる。
  • f001j→f00001j、f002j→f00002j、f004j_beta→f00004j_beta、f005j→f00005j、f001j_dmm_beta→f00001j_dmm_beta、f002e→f00002e、m003e_beta→m00003e_beta、f002m→f00002m
• 2018/11/11 Ver.4.0　謡子DNN版が更新(f00001j_dnn_beta2)
• 2020/12/25 Ver.4.1　謡子DNN版が更新(f00001j_dnn_beta3)、香鈴のDNN版日本語音源が追加(f00002j_dnn_beta3)

2020年のクリスマスアップデート時点で、6名10種類の音源を生成することができる。

謡子（Yoko）

2種類の日本語音源（f00001j）と(f00001j_dnn_beta3)が存在する。歌のお姉さんのようなオペラのような歌声で綺麗な高音とビブラートが特徴。

システム公開時から存在する音源であるため、Sinsyといえばこの声を思い浮かべる人が多い。

香鈴（Xiang-Ling）

日本語音源（f00002j）(f00002j_dnn_beta3)と英語音源（f00002e）と中国語音源（f00002m）の4つが公開されている。謡子よりもポピュラーな雰囲気を持つ歌声。

中国語読みで"しゃんりぃん"。日本語読みで"かりん"。ITmediaの記事によると日本語、英語、中国語の3ヶ国語で歌える歌声を公開する予定であるとのことであったが、2015年のクリスマスアップデートで中国語が追加され、ついに
トライリンガル音源となった。

英語音源使用の楽曲の例。英語曲を自然に歌うことができる。

公式による中国語歌唱のデモ。MusicXMLの歌詞はピンイン＋四声で入力する。上記動画に実際の歌詞入力を表示しているので詳しくはそちらを参照。

波音リツS（Namine Ritsu S）

波音リツの中の人「カノン」氏の歌声を用いたSinsy音源（日本語のみ）

2011年のクリスマスアップデートで公式から投稿されたデモ動画で新ボーカル”波音リツS（f004j_beta）”の歌声が非公開ながら初披露された。その後、2013年のアップデートで一般公開され、誰でも使用可能となった。

まだまだベータ版なのでこれから性能がアップしていく模様。

松尾P（Matsuo-P）

ブロガー・ボカロPである松尾Pの歌声を用いたSinsy音源（英語のみ）　公開された初の男声音源でもある。

ご本人が開発者に取材に行った際に、「中の人をやってみませんか？」（ねとらぼ記事より）と提案されたとのこと。

こちらもまだまだベータ版なのでこれから性能がアップしていく模様。中の人との比較動画がいくつか投稿されている。

f00005j

2016年に追加された女性日本語音源。

m01083j

2017年に追加された男性日本語音源。

---

欠番となっているf003は、NHKの科学番組「サイエンスZERO」内で作られた安めぐみの音源である可能性が高いが公式からのコメントはない。

開発者のデモ動画

関連動画

隠れマルコフと言えば。	VOCALOIDカバー
アイステカバー	UTAUカバー
Sinsyオリジナル

Sinsyタグ検索

関連項目

• 名古屋工業大学
  • MMDAgent
• 音声合成
  • VOCALOID
  • UTAU
  • CeVIO
  • SofTalk
  • NEUTRINO(歌声合成エンジン)

外部リンク

• Sinsy - HMM-based Singing Voice Synthesis System - 公式サイト
• Finale
  代表的な楽譜作成ソフト。Notepad版はフリー。
• MuseScore
  フリーの楽譜編集ソフト。MIDI読み込み、MusicXML出力が可能。
• Cadencii
  VOCALOID Editorのようにピアノロールで打ち込めるシーケンサ。VSQ、ustなど様々な形式の入出力に対応。
• VSQ to MusicXML Conversion
  VSQファイルからMusicXMLファイルへの変換。zhuo制作。
• utau2sinsy
  ustファイルからMusicXMLファイルへの変換。Sinsy が処理できる程度しか出力しない。耳ロボP制作。UTAUがMIDIファイル、VSQファイルの読み込みに対応しているためUTAU経由でこれを使って変換するという手もある。