アマノケイのまったり技術解説

合成音声系の技術的なことを中心に解説記事を書いていきます。

韓国ボカロのSeeUちゃんが「大人の事情」を乗り越え、クラウドファンディングをやるらしい【10/22更新】

10/22

SeeU10周年記念イベントとして、クラウドファンディングを開催するようです

f:id:crimsonbutterfly0zero0:20211021163254j:plain

【SeeU10周年記念プロジェクト】

お久しぶりです☺️

SeeU10周年のご挨拶申し上げます🌼

#SeeU10Anniv

 

プロジェクトの概要

【プロジェクト紹介】

本プロジェクトは、SeeU10周年を記念して企画・進行されるクラウドファンディングです。

ボーカロイドを形成するコアコンテンツである「音楽」と「イラスト」を活用した様々なリワードを用意しました。

現在タンブルバックにて審査を行っており、完了次第お知らせします。

 

【ご挨拶】

韓国初のボーカロイド『SeeU』が発売されてから10年が経ちました。

韓国初のボーカロイド『SeeU』が発売されてから10年が経ちました。
大手放送局、素敵なイラスト、クリクルー(ピアプロ+ポータルサイト的なモノ)、そして数多くのクリエイター……みなさんの祝福の中、花道を歩くはずだったSeeUは、やむを得ず、約七年間、長い眠りに就く他ありませんでした。
それにもかかわらず、SeeUは忘れらることなく、数多くのクリエイターとファンによって息をしており、今この瞬間にも新しい作品が生まれています。
そのようなありがたい方々に、どうすれば報いることができるか、その方法を探してここまで来ました。複雑に絡み合っていた幾多の「大人の事情」をなんとか突破しました。
このプロジェクトは、過去10年間SeeUと共に歩んでくださった皆様へのSeeUの献辞であり、SeeUの新たな可能性をお見せする機会です。

 

【案内/イラスト】

2011年、SeeUのイラストを描いていただいたクエム様に新しく10周年記念イラストを描いていただきました。

イラストを活用したマウスパッド、ポストカードなどのグッズを準備しております。

10年間SeeUと共に歩んでくださった作曲家、調声師、作詞家の方々をお迎えし、記念アルバムを制作します。

未公開曲で構成されている限定音源が入った記念アルバムのクロスフェードは、11月初めにご覧いただけます。

そして……予想外のサプライズプレゼントも?

 

【案内/その他のグッズ】

その他にもさまざまなグッズをリワードにご用意しております。
詳細については公開されるタンブルバックのページをご参照ください。

※ この写真の人形は一次サンプルで、過度にボケーとした感じが改善された二次サンプルが製作されています。

【結び】

弊社が準備したこのプロジェクトが、これまでの空白を埋めるには甚だ足りないということをよく承知しております。

それでもSeeUが前に進む10年のために、新しい一歩を踏み出せるよう、皆様の力を貸してください。

 

クラウドファンディング

リターン

※ウォン→円のレートを単純計算で10倍に計算しております

・100円プラン

支援のみでリターン無し

 

・1,900円プラン

SeeU 10周年缶バッチx1

SeeU 10周年限定コンピアルバムx1

B5ミニポスター

 

・3,3000円プラン

SeeU 10周年金属バッチx1

SeeU 10周年限定コンピアルバムx1

SeeU ラバーストラップ

B5ミニポスター

 

・5,000円プラン

SeeU 10周年金属バッチx1

SeeU 10周年限定コンピアルバムx1

SeeU ラバーストラップ

デスクパッド

B5ミニポスター

 

・5,500円プラン

SeeU 10周年金属バッチx1

SeeU 10周年限定コンピアルバムx1

SeeU ラバーストラップ

SeeU ぬいぐるみ

B5ミニポスター

 

・7,000円プラン

SeeU 10周年金属バッチx1

SeeU 10周年限定コンピアルバムx1

SeeU ラバーストラップ

デスクパッド

SeeU ぬいぐるみ

B5ミニポスター

 

・25,000円プラン

SeeU 10周年金属バッチx1

SeeU 10周年限定コンピアルバムx1

SeeU ラバーストラップ

デスクパッド

SeeU ぬいぐるみ

メインビジュアルの大型アクリルフォトフレーム(絵師さんのサイン入り)

B5ミニポスター

 

 

tumblbug.com

※海外向けにキックスターターを開く予定もあるそうです

 

感想

SeeUちゃんがようやく動き始めたようです、良かったですね……。

SynthV AI 第3世代の問題点

タイトルだけ見ると、なんだかものすごいSynthVに問題があるような印象を受けますが、SynthVは歌声合成ソフトの中では(AI系に限定したとしても)非常に優秀な部類に入ると思います。

私としてはSynthVのファンですので、これはあくまでアンチではなくて問題提起の1つだと思ってもらえれば幸いです。

 

SynthV AI 第3世代の威力

もう既にご存じの方もいらっしゃると思いますが、第3世代のデモ動画を貼っておきますので、一度ご覧いただけると幸いです。

基本的には「非常に素晴らしい」の一言に尽きます。

youtu.be

何が問題なのか?

問題その1

お聴きいただければ分かると思いますが、動画でも出ているように高域の解像度が上がっています。(26秒あたり)

逆にそのせいで第2世代では分かりづらかった「高域のチリチリノイズ感」が出てしまっています。

先程ちょうど第3世代の弦巻マキさんの動画を出してきたのですが、高域のチリチリ感の処理をどうするか頭を悩ませていました。

(息成分の分離を試しては見ましたが、それらを合わせると結局チリチリ感が向上してしまったり……)

問題その2

SynthV AIの出力音声はピッチ情報を取り込み、そしてそれを参照して音声をAIで合成します。(SinsyやCeVIO AIはノート依存)

逆に言うと、声質が完全にピッチ依存になってしまいます。

これの何が悪いか説明するために、とりあえずこちらをお聴きください。

youtu.be

ピッチの描き方で完全に声質が変化しているのが分かると思います。

つまり……

ダイナミックなピッチを描く→強い声質

平坦なピッチを描く→弱い声質

という現象が発生しています。

 

第2世代までは比較的シンプルで、音高が高いと強く低いと弱くなる傾向がありました。なのでパラメータで高くて強い音をテンションで弱くしたり、低い音をトーンシフトで上げて強くしたり、色々と方法があったわけです。

 

第3世代の一番の問題点は「自動ピッチ調整機能がダイナミックなピッチを描くことが殆どないので調整なしではAI音源は基本的に弱い声質になってしまう。」という点です。

今までのSynthVは調声しなくとも結構良い感じの歌声が出力できたという点ですが、第3世代はそういう人にとってはやや微妙のアップデートになったかもしれません。

 

自分の思い描いた完成図がある場合、それに限りなく近づけるようになったかもしれませんが、個人的には70点を90/100点に近づける構図から60点を90/500点に近づけるような感じになった気がします。

解決策

解像度を上げたことによるチリチリノイズ感はDreamtonicsさんがなんとかしてくれると思うのでとりあえず保留にします。

ピッチに関する解決策は、ピッチ調整をそのキャラクター固有のもの以外にも「ポップス」「バラード」「ロック」みたいなジャンルごとにピッチモデルを作成すればいいと思います。

ポップスやロックは強い歌い方をする場合が多いので、ピッチを良い感じに描いてくれる可能性が高いです。

あるいは、楽曲の中で「激しい/普通/優しい」歌い方をするパートごとに分けてそれぞれを個別で学習すれば「ここ強く歌って欲しいな」と思ったときに「スタイル:激しい」を適応することで良い感じに歌ってくれるようになると思います。

 

感想

第3世代がめっちゃ早く出てきたんだし、第4世代もそのうち出てきそう。

ぼかりす(VocaListener)がメモリ不足で動かない場合の対処法

なんとなく気分転換でぼかりすを起動して遊んでみようと思ったのですが……。

 

メモリ不足で長いWAVが読み込めない

 

昔はWAVを細切れにしてなんとかしてたのですが……

 

正直めんどくさい

 

……ので今回は、ぼかりすのメモリ不足を何とか解消できた方法について書いていこうと思います。

 

やり方

※あくまでバックアップを取った上で自己責任で実行するようにお願いします。

①こちらのサイトに行って、「4gb_patch」をダウンロードします


②解凍して4gb_patch.exeを起動します

 

③ボカロのプラグインインストール先にある「〇〇VocaListener.exe」を選択肢してパッチを当てます。

※パスを変えたりしてない限り、大抵の場合は「C:\Program Files (x86)\VOCALOID4\Editor\JobPlugins」にあると思います

 

④V4, V3エディタからぼかりすを起動して、長いwavファイルが読み込めるか確認します

 

⑤普通に読み込めたら成功です(駄目だったらごめんなさい)

 

何でこうなるの?

ぼかりすは32bitのアプリらしく、RAMメモリを3GBまで認識できないそうです。

つまり、他のアプリが3GB以上容量を取っているとまだまだメモリに余裕があっても「3GB以上メモリ他のプロセスに取られているから動けないじゃん」と勘違いするようです。

この「4gb_patch」は本来32bitゲームののメモリ認識上限を4GB以上に引き上げるソフトらしいのですが、『exeなら適応できるんじゃね!?』と思ってためしてみた結果普通に成功してしまいました。

もしかしたらですが、VOCALOID4エディタにもパッチを導入するとメモリ不足になることがなくなりかもしれません。(こちらはまだ試したことがないのですが。)

NNSVSがUTAU上で簡単に使える!ENUNUの使い方

NNSVS、良いですよね。

でも今までは使い方がめんどくさくて微妙でしたよね。

 

ぬぁんだってー!?

 

……というわけで、CrazYさんとTarouShiraniさんのおかげでめでたく夏目悠李もENUNUに対応しました!

 

ざっくりした使い方+デモ動画

youtu.be

ざっくりとした使い方(文面)

①ENUNUをダウンロードします

oatsu-gh/ENUNU · GitHub

f:id:crimsonbutterfly0zero0:20210630000058p:plain

 

②ENUNUをUTAUのプラグインフォルダに入れます

f:id:crimsonbutterfly0zero0:20210630000258p:plain

③ENUNUのモデルをダウンロードする

 

④ENUNUのモデルをVoiceフォルダに入れる

f:id:crimsonbutterfly0zero0:20210630000847p:plain

⑤USTを開いて歌詞を調整する

f:id:crimsonbutterfly0zero0:20210630001014p:plain

・基本的には単独音形式

・小さい「っ」は1つのノートに[かっ]という感じで使用可能

ローマ字入力も可能[m a]

・詳細な音素はSinsyの音素表を参照USTを開いて歌詞を調整する

⑥プロジェクトの設定からENUNUモデルを選ぶ

f:id:crimsonbutterfly0zero0:20210630001240p:plain

⑦ノートを選択し、プラグインからENUNUを選択する

f:id:crimsonbutterfly0zero0:20210630001323p:plain

⑧生成を待つ

f:id:crimsonbutterfly0zero0:20210630001447j:plain

⑨出力された音声を加工する

f:id:crimsonbutterfly0zero0:20210630001522p:plain

 

簡易的トラブルシューティング

①wavがエラーで生成されない

USTやパスに日本語が入っているとエラーが出やすいです。

USTをデスクトップやCドライブに置くと生成されるかもしれません。

 

②女声しか再生されない

UTAUの再生機能を使うとダミーで入っている「波音リツ単独音」が再生されます。

プラグインからENUNUを起動してください。

 

③ピッチやフラグが反映されない

ENUNUは非対応です。

ENUNU夏目悠李の利用規約

その他のENUNUモデル


 

 

 

 

またもや新規AI歌声合成ソフトが!?Vocatoneが「MAGHNI AI」を発表!

はい、またもやAI歌声合成ソフトです

まずはこちらをどうぞ!

 

ぬぁんだってー!?

新輝合成エンジン!?

動画の中で一瞬出てくるロゴによると、新規エンジン名は「マグニ・エーアイ」らしいです。

音響技術者とプロデューサー、アーティスト、言語学者プログラマーが今までの音声合成ソフトよりもっと画期的な技術を作り出すように働いています。

使いやすいだけではなく、人工知能による使いやすくて、適応できる音声合成ソフトの作成に取り組んでいます。

Maghni AIの作業が三年間で大きな進展がありました。他の歌声合成エンジンより幅広い言語との互換性もあります。その結果はMaghni AIはもっと柔軟で使いやすくなります。他の歌声合成ソフトにまだ登場していない言語と表現力豊かな歌声のタイプを開発する計画もあります。

 

f:id:crimsonbutterfly0zero0:20201225202540p:plain

キャラクター紹介

オーラム

ぬくもりのあるテノールボイス

f:id:crimsonbutterfly0zero0:20201225202053p:plain

オーディン

ビビットなトラック向きの甘いソプラノ

f:id:crimsonbutterfly0zero0:20201225202202p:plain

この両方のキャラクターが英語・日本語・スペイン語に対応する予定らしいです!

運営元は?

VOCALOIDのオリバー、ヨヒオロイド、ソニカを作ったお馴染みVocaToneと……あれ?

f:id:crimsonbutterfly0zero0:20201225202837p:plain

どうやらMISBAH STUDIOS(ミスバ・スタジオ)なるところも協賛している模様です。

文化保存に焦点を当てた企業らしいのですが、詳細は不明です。

twitter.com

※ちなみにMaghniもMisbahも検索すると何故か中東系の名前が出てきました。

しかしやはり……

f:id:crimsonbutterfly0zero0:20201225203423p:plain

はい、資金がない模様です

(どうしてどこもクラファンばっかりしてるんかいな)

現地時間の1月7日にKICKSTARTARにてクラウドファンディングを開催する模様です

その辺りになったら音声のデモンストレーション辺りもリリースされると思います、多分。

 

余談

どうやら合成可能なのは以下の言語の模様です

英語

日本語

中国語

韓国語

ラテンアメリカスペイン語

ヨーロッパ系スペイン語

ロシア語

フランス語

ドイツ語

ブラジル系ポルトガル語

ヨーロッパ系ポルトガル語

スウェーデン

トルコ語

アラビア語

ペルシャ語

ヒンディー語

 

あと、それ以外にも何かしらの発表がある模様です。 

 

感想

こうは言いましたけど、クラファンベースなのとネイティブっぽくはないので現状ノーカンにしてください()

 

Oliverやヨヒオを制作したボカロプロジェクト「VocaTone」が復活!?

VotaToneとは?

2011年からPowerFxと協力してVOCALOIDのOliver, ヨヒオロイドを制作していたグループ。

f:id:crimsonbutterfly0zero0:20201212155020j:plain

2016年に「Ausgris(オーグリー)」という男声音源を発表して以来消息不明


本題

そのVocatoneが2020年12月12日にFaceBookにとある投稿をしました

f:id:crimsonbutterfly0zero0:20201212154433p:plain

https://www.facebook.com/VocaTone/posts/2157370527739917

 

どうやら復活する上、何かしらのビッグニュースがあるようです。

ずっと沈黙していたのに再び活性化するということは、恐らくですが歌声合成関連の発表をする可能性が高いと思われます。

(Vocatoneがキャラクタービジネスをやってきた気配はあまりないので、そういった発表である可能性は今のところ低め)

 Twitterによると、2020年の終わりには発表するとのことです。

個人的な音源予想(妄想)

①Ausgrisの復活

Vocatone公式TwitterアカウントがAusgirsの絵に反応しているので可能性は高いです。

 (Oliverの公式アカウントに掲載されたAusgrisのイラスト)

②その他の音源プロジェクトの開始

Ausgrisの収録から4年も経っているので、収録者と連絡が取れないなどの人的な要因で違う音源制作をしている可能性も考えられます。

f:id:crimsonbutterfly0zero0:20201212160307p:plain

https://www.facebook.com/VocaTone/posts/924005961076386

 

個人的なエンジン予想(妄想)

①VocatoneがSynthVに参戦

エレノアフォルテからずっと英語音源が増えなかったので、可能性としては十分ありえます。英語圏ではエレノアとSynthVの操作性と音質が好評なので、バランスは十分良いと思います。

もし、SynthV音源を制作したとしてSynthV AIも制作するかは微妙なところですが。

(個人的にそろそろ英語SynthV音源が欲しいというただの願望も入っています)

②VocatoneがCeVIO AIに参戦

時期的にCeVIO AIの音源参入ラッシュを踏まえて便乗したという可能性があります。

7月のIA, ONE, Flower, ゆかりの参戦ニュースを聞いて交渉開始&契約(制作まで行ったかは不明)まで6ヶ月はあるので、時期的な矛盾もそこまでないと思われます。

③VocatoneがVOCALOIDにて復活

可能性としてはありえますが、ただでさえ海外のコミュニティで「VOCALOIDが死んだ」みたいなことが言われてるので可能性は低いと思います。

 

あとがき

何はともあれ、男声音源が増えてくれるのは嬉しい限りですね。

AITalkも歌声合成に参戦!?「A.I. VOICE」が歌声合成事業展開へ!

まずはこちらからご覧くださいませ……。

エーアイ、個人向けオリジナルブランド製品「A.I.VOICE™」による歌声合成ソフト・外国語音声合成ソフトを2021年12月リリース予定 株式会社AI(エーアイ)

高品質音声合成エンジンAITalkⓇを開発・提供する株式会社エーアイ(本社:東京都文京区、代表取締役社長:吉田 大介、証券コード:4388、以下:エーアイ)は、個人向けエーアイオリジナルブランド「A.I.VOICE™(エーアイボイス)」において、歌声を作成できる歌声合成ソフト及び、英語・中国語音声が作成できる外国語音声合成ソフトを2021年12月に販売開始(予定)することを決定いたしましたのでお知らせいたします。

何ですとぉ!??!?!?完っ全にダークホースじゃないですか!?!?!?

 

というわけで、AITalkエンジンの歌声合成ソフトウェアがリリースされる模様です。

※2021末なので、あくまで1年くらい待つ必要あると思いますけど

 

それに加え、英語のTTS音源も同時期にリリースされるようです。

となると……東北ずん子Englishのボイスロイドは、本当にボイスロイドで制作されるのかそれとも、A.I. VOICE製品になるのか気になってきます。

(現状ではまだ制作できないと思いますが↓)

 

加えてこれはあくまで推測ですが、TTS(テキスト-トゥー-スピーチ)が英語・中国語でも利用できるということは言語のシステムが整備されているということなので、「歌声合成でも利用できる可能性が高い」のではないかな……と思っています。

 

ディープラーニング系で日本語・英語・中国語の歌声が合成できるということは、CeVIO AI, ProとSynthV AIの競合相手になりそうです。

 

あと、これは伏線回収と言って良いのか分かりませんが………実のところ、エーアイさんは結構歌うボイスロイドに造詣が深かったりします。

 

追記

どうやら発売が来年の12月で、発表自体は来年の2月らしいです

f:id:crimsonbutterfly0zero0:20201109171718p:image