まさかの新規AI歌声合成ソフト！？「Synthesizer V AI」が発表！
それはbilibiliの公式Dreamtonic社のアカウントに投稿された、とある告知から始まりました……。
訳：Synthesizer V Studio AIアップデート。
ん？
ん？？？！？！？！？！？
ぬぁんだってぇ～！？
……というわけで、中国でSynthV AIがフライング発表されました。
ということは、次のAHS生放送はもしかして……！
【拡散希望】次回のAHS公式生放送は10月30日(金)20時頃からお送り致します！Synthesizer Vや小春六花のお話をする予定です！お楽しみに！ https://t.co/pgytMUXWi7 #ahsoft
— AHS公式 (@ahsoft) 2020年10月16日
だといいなぁ………。
それはそうとやっぱり商業男声AIシンガー欲しいなぁ……誰か作ってくれないかなぁ……。
追記１
ビリビリの投稿が削除され、公式サイトでも「10/23日に告知されたこと」になっていました
AI Updates for Synthesizer V Studio | Dreamtonics株式会社
追記２
追記その2
①ビリビリ動画の告知が消える
②DT社のホームページに告知が来る
③DT社の告知が消える
④私のサイトだけが残る←ｲﾏｺｺ
な ぜ 消 し た し
追記３
SynthV AIに関する考察
— アマノケイ@歌声合成系Vの者 (@aman0_kei) 2020年10月28日
①新規エディタを発表？
AI update for SynthV Studioと書いてあるので新規ではない
②元々あった自動ピッチ補正機能を改善？
【自動ピッチ補正】という機能名であって、【AIピッチ補正】ではないので多分違う
③SynthV Studio用のAI歌声データベースを発表？
矛盾はない
④全ての音源にて自動ピッチ調整を使用可能？
— アマノケイ@歌声合成系Vの者 (@aman0_kei) 2020年10月28日
無くはないけど②と内容似てる上、音源に合ったり合わなかったりするから微妙なのでは
⑤既存機能のどれかのアップデート
正直、マイナーアップデートに近い内容ならわざわざ告知する意味はそこまで無くない？
キャラクター「夏目悠李」を使用する際のガイドライン
キャラクター「夏目悠李」を使用する際のガイドライン
本ガイドラインは、アマノケイ(以下「甲」という)が制作した「夏目悠李/男声歌声データベース」(以下「歌声DB」という)に関連して制作された「キャラクター夏目悠李」を利用する際のガイドラインについて定めるものです。
・定義
「キャラクター夏目悠李」とは、その名称「夏目悠李」と「UNF/UserNotFound」がデザイン原案をした絵画の著作物とによって、その外観等の特徴を表現されている抽象的概念をいいます。
「デザイナー」とは、歌声DBに関連して制作された「キャラクター夏目悠李」をデザインした「UNF/UserNotFound」のことをいいます。
「公式イラスト」とは、デザイナーの「UNF/UserNotFound」が描いた「キャラクター夏目悠李」のことをいいます。
「イラストレーター」とは、デザイナーの原案に沿ってイラストを制作した「おにだるま」のことをいいます。
「準公式イラスト」とは、イラストレーターの「おにだるま」が描いた「キャラクター夏目悠李」のことをいいます。
「イラスト」とは、絵画の著作物の事をいいます。
「歌声DB」とは、音声提供者が提供した歌唱データファイル(wav形式)と甲が作成及び整備したMIDIファイル、MusicXMLファイル、ラベルファイルなど、配布物に含まれる一部または全部(修正、追加などを含む)をいいます。
「音声提供者」とは、歌声DBを構成する歌唱データファイル(wav形式)を提供した「霧野蒼太」のことをいいます。
・ガイドラインの変更
甲は本ガイドラインの内容を変更できるものとします。
変更したガイドラインは、甲がWebサイト等で告知を行い、乙が「キャラクター夏目悠李」の利用及び参考を続行した時点で有効になるものとします。
ガイドライン変更以前に発表された作品の内、甲がガイドラインを変更することでガイドライン違反になる作品については原則として不遡及となります。
・クレジット表記
公式イラストを用いる場合のクレジットは「UNF」または「UserNotFound」のどちらかを記載するものとします。
準公式イラストを用いる場合のクレジットは、デザイン原案として「UNF」または「UserNotFound」を、イラストとして「おにだるま」を記載するものとします。
・キャラクターの利用許諾
甲は乙が本ガイドラインを遵守することでの利用を許可するものとします。
同意していただけない場合、キャラクター夏目悠李の使用はできません。
・公式・非公式イラストの利用・参考許諾
甲は乙が本ガイドラインを遵守することで公式・準公式イラストの利用・参考を許可するものとします。
同意していただけない場合、公式・準公式イラストは利用・参考できません。
(1)公式・準公式イラスト、またはそれらを参考に制作した作品を公開する際には、該当作品が二次創作であることを明示、及びその他の手段で明確化することとします。
(2)乙が個人または同人サークルである場合、非商用の活動の範囲内であれば公式・準公式イラストを無償で使用することができるものとします。
※大規模に収益を得る目的ではなければ商業利用とはみなされないものとします。
(3)個人・同人サークルの乙が公式・準公式イラストを参考に新しいイラストを自主制作、または第三者に委任・制作した場合、該当するイラストを用いて(CD制作や印刷費などの)コンテンツ制作に必要な実費程度の対価を得ることは可能とします。
(4)乙が法人の場合、商用・非商用を問わず公式・準公式イラスト・または第三者の作成したイラストを無償で利用することはできません。(後述の使用許諾が必要な場合を参照)
上記を遵守した上、公式・準公式イラストを使用して制作された作品の発表をする場合は甲、音声提供者、デザイナー及びイラストレーターへの事前事後の連絡は不要です。
・公式・非公式イラストの利用・参考許諾が必要な場合
乙が公式・準公式イラストを利用して制作した成果物を以下の目的で利用する場合、乙は事前に甲まで問い合わせるものとします。
場合によっては使用料の甲への支払を含め、追加の契約を行うものとします。
なお、公式イラストの使用許可はデザイナーに、準公式イラストの使用許可はデザイナーとイラストレーターの両方に許諾を得るものとします。
(1)法人・同人・個人を問わず、キャラクター夏目悠李の公式・準公式イラストを商用利用する場合。
(2)法人が公式・準公式イラストを参考にして新たなイラストを制作する場合。
(3)法人が第三者にイラストの制作を依頼し、その成果物を商用・非商用を問わず利用する場合。
・禁止事項
(1)犯罪の助長を目的とした作品・サイトなどへの使用。
(2)音声提供者、デザイナー、イラストレーター及び「キャラクター夏目悠李」の有する信用、品質、品位、イメージを著しく損なうような作品の公開。
(3)甲、音声提供者、デザイナー、イラストレーター及び第三者の権利を侵害する作品への使用。
(4)公序良俗に著しく反する内容への使用。
(5)公式・準公式イラスト、及び「キャラクター夏目悠李」の著作情報を偽ること。
(6)公式・準公式イラストをトレースして新たなイラストを制作すること。
(7)本ガイドラインに違反すること。
それ以外にも甲、音声提供者、デザイナー及びイラストレーターが不適当と判断した場合には、乙に対してイラスト及び作品の公開を中止するよう要請する場合があります。
・禁止事項の非適用
以下の行為は禁止事項に該当しません。
個人や同人サークルの乙が「夏目悠李」の使用を明示及びその他の手段で明確化した上で、デザイナー及びイラストレーターの名前をクレジットせず、公式・準公式イラストを用いた作品を発表すること。
・準拠法
本規約は、日本法に準拠し、日本法に従って解釈されるものとします。
本規約に強行法規に抵触する規定がある場合、抵触部分のみ無効となり、抵触部分は強行法規の範囲内で最も近い内容に修正されるものとします。
・管轄
本規約に関する一切の紛争は、東京簡易裁判所または東京地方裁判所を第1審の専属的合意管轄裁判所とします。
以上に同意する方は、公式作者の名前(短い方)+準公式作者の名前+規約に同意しますと入力した上でダウンロードして下さい
StudioVoICEがXStudioに進化！音源制作＆ピッチ機能なども追加
先日、紹介したStudioVoICEですが今回メジャーアップデートが入りました！
使い方や導入方法はこちらから↓
その名も「XStudio!」
①シンガーの追加＆ビジュアル公開
今回新規公開された「陈水若(チェンシュイルオ)」以外に、「陈子瑜(チェンズユ)」さんのビジュアルが追加されました！
ふむ、中々イケメンのメガネ男子でござったか……。
②待望のピッチ編集機能追加！
なんと、右上の「参数」をクリックすることで……
ピッチを弄れるようになりました！
1.手書きモード
ペンツールで自由に描けるようになりました。
2.ポイントモード
UTAUやSynthVのような形式でポイントを置いてピッチが描けるようになりました！
③ピアノモードが追加！
ここの「○琴」と書いてある部分をクリックすることで、ボーカルではなくピアノでおとをプレビューすることができます（ピッチは無視する）
④音源自作が可能に！
なんと、応募すれば音源自作もできるようです！
加えて音源の権利は音源の製作者に帰属するとのことです。
※ただしオーディションがある上、中国語限定な模様。
感想
下手すると個人でも制作可能な高レベルのAI歌声合成のソリューション増えましたね、X Studioにはどんな音源が付くのか楽しみです。
Synthesizer V Studio Proの使い心地を試してみた
色々ありましてSynthV R2のエディタを先に貰いました、やったね！
あと今日は平行四界のR2音源発売日なので、「情報解禁してもいいでしょ！」ってかんじでレビューをしました。
※執筆時点でのバージョンはPro1.0.4です。
ここで書いた悪いところはアプデで改善される可能性もあります。
全体的な感想
R1とR2を比べた感じでは「目を見張るような新しい技術的機能は無い」という感じで、どちらかと言うと「UI的な機能面」を重点的に改修したように見受けられます。
あまり良い例えではないですが、V2→V3における「トライフォン採用」V3→V4における「グロウル、クロスシンセシス」並の驚きは無い感じがします。
そもそもSynthVがR1時代から超絶有能なのもあって、結構ハードルは高くなってる感じがあります。
それ以外に良くも悪くも「良いところを伸ばし、悪いところを切り捨てる」という感じもします。
R1との変更点
良い点
音質の向上
真面目に音質が向上しました、特に息成分。
R1では結構ぼやけた音だったのが、R2では高域の部分もしっかり合成されるようになったのでMixのときにも埋もれづらく、囁き系の声もいい感じに生成されます。
R1サンプル
R2サンプル
※特に2秒あたりの「綴れ『ば』」が息成分が減り、明瞭になっている
※「夢に『ね』むる」の明瞭度が向上
実際のピッチ、波形、音素領域が表示されるようになった
「∨ピアノロール」と書かれている右隣のボタンを押すと実際の音声のピッチ(NOTピッチベンドで描いたピッチ)、実際の波形、各音素の範囲が表示されるようになりました。
子音の長さを視覚的に弄れるようになったのは嬉しいですね。
R1時代は「▲」「▼」のみで表示されたので、「子音がどこまで伸びているか」「子音が伸びているのか縮んでいるのか」が非常に分かりにくかったので、これは大きな改善です。
「ゆらぎ」パラメータ
ゆらぎパラメータ自体はSynthV R1からあったのですが、いまいち効き目が分かりづらく何をしているのかよく分かりませんでした。
しかし、前述のピッチ視覚化機能により「ゆらぎ」の効き目が目に見えて分かるようになりました。
各ノートごとに「収録したときのピッチの揺れを加算する」機能です
（※Melodyneでいう「モジュレーション」、UTAUでいう「Mod」機能）
無調整でも良い感じに肉声感を加えたい場合は「ゆらぎ」を少々強めに、逆にとことん弄りたい/平べったい感じが良いのであれば「ゆらぎ」を弱く、あるいは無しにすることもできます。
ピッチの制御方法
SVR2にて追加された「点で制御する」タイプのピッチエディットですが、UTAUを使った事がある人なら結構良い感じにエディットできると思います。
ただ１つ、注意すべきことを言うなら１番UTAUチックな曲線は赤丸のボタンを押さないと適応されません。
１つ左は「カクカクの線」、その右は「ベジェ風味の曲線(使いづらい)」 なのでご注意を。
音素ガチャの効率化
公式で既に発表があったので書くか迷いましたが、3種類の音素を選択することができます。なので「この発音気に入らないなぁ……」ってなったときの代替案が見つけやすくなりました！
地味に既存の歌声合成では存在しなかった機能です(UTAUは異次元、V4xは表現特化なので用途が違うので除くものとする)
レンダリング率の視覚化
各トラックがどれくらいレンダリングされているのか非常に分かりやすく表示してくれます
ピアノロールの表示場所を変えるとそれまでのレンダリングを止め、表示した箇所からレンダリングされます。
あと、やろうと思えば12も並列してレンダリングができるみたいです、すげぇ……。
日本語歌詞の入力
R1でもずっと問題になっていましたが、R2になってようやく直りました！
拗音を入力すると「じ」「ゃ」ではなく「じゃ」と入力されます！！！！！
ようやく区別されるようになりました！！！！！
これだけで神アプデと言っても過言ではないかと思います。
UST読み込み
なんと、SynthVにて書き出したUSTが文字化け無しでUTAUに読み込めるようになりました！
これでもう神を越して超越です（何を言ってるんだか）
どっちとも言えない点
読み込めるファイルが減った
地味ですが、Sharpkeyのプロジェクトファイルが読み込めなくなりました。
R1時代の読み込み機能
(※あと、某DTMブログを見てCeVIOトークを保存した後にSynthVで読み込んだら何も表示されなかったので悲しかったです)
安定性(1.0.3/1.0.4)
超絶安定してます。全然問題無いです
1.0.4でデータを弄ってるんですが、激しい編集を施しても全く落ちないのでめっちゃ安定してると思いますが、運が良いだけかもしれないので一旦ここに保留しておきます。
※これから先全く落ちないなら「良い点」に移行するか削除します
1.0.3では結構データが落ちましたので、不安定な場合は「Ctrl+S」で頻繁に保存した方が良いと思われます。
※R1では救済措置として最短でデータを毎分上書き/新規保存してくれる機能がありました。
VST機能の削除
結構VST連携機能に関してはDTMerからは賛否両論だったので敢えて削除したのは一周してありだったかもしれません……が、やっぱりそれを残念に思う人は一定数いるかと思います。
息成分の分離(ブレスの分離)
正直、息成分を分離して色々やる人はRX7とかAdobe Auditionとかで各自の手段を手に入れてると思うので「あえて息成分を別出力する必要はあるのか」という感じはあります。
でも、非常にきれいな感じで息成分が分離できてるので新しい表現方法としては使えると思います
左チャンネルから有声音のみ、右チャンネルから無声音(息成分)のみが流れます
※SynthVの標準書き出し機能「ブレスを別チャンネルとして」を利用
悪い点
UIが初見で結構不親切
サイドバーの横幅は変更できないので、色々と見づらいです。
特に「ショートカットの設定」欄が見づらく、一部の説明に至っては見切れています。
それに加えここのボタンは「白がON、 黒がOFF」なので「ボタンを押すと凹んで黒い影ができる」という一般的な感覚と一致しません。
できれば緑色に光ってくれたら嬉しいんですが………。
この辺り、R1は非常に直感的で「機能美」といえるUIをしていたのですがR2は「整列された美しさ(使いやすかは別)」という感じがします。
グロウルエフェクトの削除
R1では余り使われなかったグロウルエフェクトですが、Studioでは削除されました。
簡便なエッジボイス生成手段が無くなったのは少々痛いですね……。
機能的にはボイスエフェクターだと思うので、個人的には、「生成音：原音」の比率をフリーハンドで調整できるようにしたら結構素晴らしい機能になると思ったので残念です。(初音ミクNTのような)
個人的なぼやき
翻訳の変更
私が担当した翻訳よりも良い感じになっている場所もあれば、直訳すぎて分かりづらい箇所や「この表現はどうなんだ……？」というところが(個人的に)結構見受けられます。
個人的に「トランスポーズ」→「転調」にしたのは分かりやすいと思います。
特に「ブレスの分離」は「(CeVIOみたいに)トラックに自動ブレスが入るので、それだけ別途でエクスポートする」という風に見えるので「息成分の分離」と訳した方が良かったと思う。
感想
今回のアプデはR1で不満だった点を改善してくれたので本当に素晴らしいです。
もうSynthV最高…………。
おまけ(執筆当時のバージョン)
SynthV Proの現発表時点での仕様を解説してみた
全体的なUI
視覚的に散らからないよう、何を弄ればいいのかわかりやすいようにデザインしたそうです
エンジンの向上
出力された音声に対し、さらにディープラーニングとガウスモデルを用いて収録音声に近づける
息成分、ピッチモデルを大幅に改善して品質を向上
新機能（一部）
ライブレンダリングシステム
ピアノロール上に見えてる部分を優先してなるべく早く合成できるように
ピッチ自動調整機能
ワンクリックでピッチが自動である程度いい感じに調整されます（おそらく言語OR歌声データベースごとにピッチモデルが違うと思われる）
ピッチ制御点の単純化
自動ピッチで設定したピッチ制御点を削減し、単純化させることで自然にしたり、編集しやすくしたりします。
現時点で判明した新機能は以上です（残りは公式Twitter参照）
https://twitter.com/dreamtonics_jp
その他細かいところ
・Lua, JavaScriptでのプラグイン作成が可能
細かいUI
・基本的な初代SynthVの機能は継承
・パラメータに関してはテンション、ラウドネスを確認
今まで告知されていた音源(赤羽)以外に生放送のエディタ内で以下の音源を確認
・琴葉葵・茜
・平行四界 海伊
・Dreamtonics Saki
【速報】AHSがSynthV参入！琴葉姉妹+SynthV Proもリリース決定！
なんとAHSがSynthVの新規サードパーティーとして参入しました！（なんとなくそんな気はしてた）
(※各種画像はAHSの公式サイトより引用)
まじかーー！！！
SynthVがどういうソフトなのかはこちらから↓
新規歌声合成ソフト「Synthesizer V」の個人的に良いところ11つ！ - アマノケイのまったり技術解説
SynthV Proのスペック
現状のSynthVはこの表におけるBasicと大体同じスペックです（２コアレンダリングであの速度なのが異常ですが……）
コアが無制限になったことで「爆速」になることは目に見えています。
機能
基本的な機能はR1と同じと仮定して、
①自動調整
これは恐らくピッチベントを自動的に描画してくれるものだと思われます。
開発者さんは機械学習に長けているので、AIチックな自動調整機能を適応している可能性もあります。
②代替発音
発音が気に入らなかった場合の代替音素を検索してくれる機能だと思われます
(ボカロやその他音声合成であった「音素ガチャ」を効率化？する機能)
③ブレス成分の出力
確か「機械学習ベースの息成分演算」についてweb SynthVで言及されていたので、それを別トラックとして出力できるようにしたものだと思われます。
これはVOCALOID3~4時代の「Job Plugin」を自作できるものかと思われます。
⑤おそらくR1にあったような手動ピッチのみならず、UTAUのようなピッチを点で制御出来る機能もあるようです
ちなみにエディターで全部調声してます。ピッチの編集はフリーハンドではなくクリックのみで作れました。その点はめっちゃ使いやすいです。
— azuma (@bk_azuma) 2020年6月26日
もちろんフリーハンドもありますのでお好みで。
— azuma (@bk_azuma) 2020年6月26日
SynthV Proの新音源
Saki
恐らくWebSynthVで先行リリースされていた女声音源の拡張版だと思われます
機能比較表を見るに、こちらに関しては「完全商業利用可能なプロ、アマチュア問わずに利用できるノーキャラ音源」として扱う模様です。
琴葉 茜・葵
こちらはボイスロイドでお馴染みの琴葉姉妹の音源です（こっちが先にSynthV化するとは正直思わんかった……）
たかぴぃさんによるデモですが、こちらベタ打ちの状態らしいです。
調声こだわる方なのもあってこれ以上いい感じになる可能性もある感じを踏まえると楽しみです！
琴葉姉妹の面影も普通にあります。
SynthVの価格・発売日
7月30日に発売するようです。
エディタはパッケージで1万3000円、DLで１万
音源も1万程度なので大体V4と同じレベルですね。
価格も良心的なので安心で……
はい？初回限定版？
いやマジですかAHSさん
恐らくVOCALOIDユーザーをSynthVに誘導するためにAHSさんがめっちゃ頑張ったみたいです……いやマジで凄いですわ。
もしかして前にやってたコロナで各種AHS製品をたたき売りしてたたのも、この先行販売が適応される人をなるべく増やすためだったのかもしれません。
いや、ほんとすごいの一言しか出てきませんわ。流石AHS.
しかも小春六花さんもSynthV化するようです
これから新しい歌声データベースも増えていきます。TOKYO6 ENTERTAINMENTさんの小春六花さんもSynthesizer Vの歌声データベースを制作させてもらいたいと思っております。
— tomo(AHS) (@tomo_ahs) 2020年6月26日
結論
9000円の初回限定版、めっちゃお得ですよ！！！！！
あと、今回のSynthVは実質V3〜V4の復興であるような気がします。
マイクロソフト中国がAIシンガーに本格参戦！？無料で使えるStudioVoICEを試してみた！
まさかのマイクロソフトが中国版のりんな「小冰」(シャオアイス/シャオピン)を歌わせることのできるエディタを無料配布しました
マジか！！！！！！
（※現状、歌わせられるのは中国語のみです）
試用動画
新しいAIシンガーを試してみた（by Microsoft中国)
— アマノケイ@歌声合成系Vの者 (@aman0_kei) 2020年6月25日
無理やり日本語も歌わせてみた
女声x2名
男声x1名
Orig：あの素晴しい愛をもう一度
MIDI：アマノケイ(Me) pic.twitter.com/9luKAcC6CG
簡単な使い方
①インストール後に「新建工程」をクリックして新しいプロジェクトを作ります
②シンガーを選んで右下の確定ボタンを押します
現在女声が小冰(シャオピン/シャオアイス)、何畅(ホチャン)
男声が陈子瑜(チェンズユ)の計3名です
③ノートを鉛筆ツールで入力するか、「插入」からMIDIをインポートします
※他の歌声合成を使ってる人はMIDI機能を使うことを強くおすすめします。
④歌詞を入力します。
ノートをダブルクリックして入力するか
ノートを右クリックして「編辑全部歌詞」を選択し、
一気に歌詞を入力することもできます
※使えるのは中国語のみ
※ピンイン不可
※「-」ハイフンでスラーやタイなどを歌わせることも可能
⑤各種装飾
ブレスを入れたいときは、入れたい場所の直後のノートを選択し、「挿入換気」を押すとブレス記号が付きます。
敢えて止めたい場合は、「挿入停○」を選ぶとストップが挿入されます。
⑥その他
この部分では上から「音量」「パン」「リバーブ」を選ぶことができます。
基本的には「干浄(ドライ？」でいいと思います。
歌手アイコンの真下の矢印をクリックするとシンガーを入れ替えることができます
「美化」になにかしら一括ブレス挿入機能があるのですが……基本的にはStudioVoICEも自動ブレス入れてくれるので使い所がよくわかりません。
プロジェクトを保存したい場合は「保存工程」をクリックしてください
それ以外のMIDIや音声ファイルは「○出」から選べるのですが、電話番号未認証だと使えないようです。
待望のピッチ編集機能追加！
なんと、右上の「参数」をクリックすることで……
ピッチを弄れるようになりました！
1.手書きモード
ペンツールで自由に描けるようになりました。
2.ポイントモード
UTAUやSynthVのような形式でポイントを置いてピッチが描けるようになりました！
开启AI互動模式(AI対話モード)
オンにしてキャラクターアイコンを押すと各シンガーがお喋りしてくれます。
（中国語読めないけど、雑談以外に編集のヒントとか喋ってる感じがある）
「ん？ 何かご用ですか？」
「中国語の曲を歌うのが一番好きだから、もっと英語を勉強しなきゃ」
「うん...私は普段あまり喋らないんだ」
そういえばAISingersの別エディタ、「77エディタ」でも元七七ちゃんが喋ってたのでこういう風にキャラクターが何らかの手段で喋ってれるのはトレンドなのかもしれませんね。
大まかな評価
良いところ
男声音源がある！
調整しなくてもある程度は良い感じにやってくれる！
悪いところ
Wi-Fi無いと使えない
音程外れる
ピッチ弄れない
弄れる機能が少ない
中国の電話番号無いと高音質機能、音声書き出しが使えない
ピンイン使えない
感想
CeVIOのFree版っぽいですね、エディタの外でVocalShifterなどでしっかり調整すればいい感じのボーカルになりそうな予感。
今のところは高音質版を試してないので何とも言えないんですが、どっちかと言うと歌声合成で遊びたい人向きな感じがします。デフォルトでリバーブも付いてるし。
