声も顔も不気味の谷を完全突破！？(推定)世界一リアルなバーチャルアイドルが爆誕！
急にアイドルを取り上げてこのブログのコンセプトはどうなってると思っているそこのあなた、ご安心を。
今回もちゃんと歌声合成の記事です。
というわけで、早速この動画を見ていただきたいです。
何で急にK-POPのPVを見せてくるのと思った方、ご安心を。
これ、AI歌声合成です。
YuA(ハン・ユア)って誰？
ざっくり言うと、2019年にSMILEGATE社から発売されたPSVR&PCVR向けに発売された恋愛ゲーム「FOCUS on YOU」のヒロインです。
明るいけど素っ気なく、内気だけどちょっぴりドジな芸術高校2年「ハンユア」と「青春を謳歌する系」のVR恋愛ゲームのようです。
(韓国で作られたというのがあるかは不明ですが、お色気要素は皆無らしいです)
そんな「彼女」は、2021年8月にインスタを開設して精力的に活動しているようです。
実年齢も高校二年生の17歳から21歳になっていたり、リアルに年齢が変動しています。
(その過程で「人間の感情を搭載したAIであり、バーチャルヒューマンです。」などの後付け設定が付いたりしてます)
CG関連制作は韓国のメタバース系企業のジャイアントステップが担当しています。
NAVER NOW(旧ネイバーTV)のXRコンサート、SM entertainmentの次世代ガールズグループの「エスパ（AESPA）」等を展開してきた企業であり、リアルタイムエンジン技術ベースコンテンツ」ソリューションを通じて映像、広告、写真、ライブなど様々なコンテンツを高品質で制作出来る技術基盤も確保できたとのことです。
(3:19部分よりリアルタイムでのXR導入部分が見れます)
スマイルゲートは様々な自社開発IPを活用し、ゲームIPのドラマ、ハリウッド映画など様々なエンターテイメント分野の拡張を先導しており、ジャイアントステップはこのようなスマイルゲートとの協業を通じ、新しくて多様なリアルタイムエンジンベースのIPコンテンツを企画·制作する予定です。
CGで再現されたリアルな女性と聞くとSAYAを真っ先に思い浮かべますが、こちらは永遠の女子高生であるという違いがあります。
声は東芝のコエステーション(CoeAvatar)を使っていますが、音声合成の精度はかなり低いです。
松丸亮吾さんに
— Saya :CG女子 (@sayacg) 2022年4月4日
「”大人になる”ってどういうこと？」
を色々聞いてみましたhttps://t.co/0WcjaTWe2L https://t.co/k5Nizvaaaf pic.twitter.com/pJTc3GNawB
それ以外の似たコンセプトのキャラクターにはMicrosoftのりんながあります。
顔は見せておらず、声だけの存在という点で違いはあります。
歌声合成の品質も悪くはないですが、ハン・ユアと比較するとどうしても見劣って(聞劣って?)しまいます。
どうやってこの歌声AIを作ったのか？
技術提供会社なのか、自社製エンジンなのかは不明です。
ただ、スマイルゲート社のAI系情報提供サイトに「歌声合成系技術の専門家や業者の募集」があることより自社開発ではない可能性が高いです。
技術
楽譜データを入力し、音声合成技術を利用して歌う音声を作り出す技術
・必須
小規模な歌及び楽譜データベースの歌声合成
任意の声優（歌手）の3曲前後の小規模な歌及び楽譜データの確保
学習されていない楽譜データを入力したとき、当該声優の声によるボーカル音声を算出
・追加①小規模平叙文による音声ベースの歌声合成
任意の声優の小規模平叙文音声データの確保（5分前後）
学習されていない楽譜データを入力したとき、当該声優の声によるボーカルを算出②ノーリファレンスベースの歌声合成
パラメータ又はその他の方式により、本来存在しない声優（歌手）音声の構築
学習されていない楽譜データを入力した際、構成された音声をベースとしたボーカル算出
また、「スマイルゲートは神秘的な感性を持つYuA固有の声を具現するため、様々な年代の数百人のボイスデータを集めた後、人工知能(AI)で合成して最適な声を作りました。」とあるのでAIであることは確定しています。
出典:ゲームトーク(https://www.gametoc.co.kr)
制作協力が凄い！
まず、ハン・ユアはYG KPLUSと専属契約を結びました。ここはBIGBANGやBLACKPINKといったガチトップのK-POPアイドルが所属している事務所です。
韓国の事務所でもいわゆる「キワモノ枠」なのではないかといわれますが、韓国での音楽は完璧に実力至上主義です。オーディションに受かっても女性アイドルはデビューするまで約3年2ヶ月12日の間レッスンを受ける必要があるそうです。
事務所は違いますが、K-POPへのこだわりが分かるエピソードを引用しておきます。
実際、BTSの事務所の日本法人であるBig Hit Entertainment Japanの日本在住プロデューサー募集の応募要項には、「メロディーが鮮明で、ダイナミックな流れの起承転結がはっきりとした、定型化された曲の構造の音楽デモはご遠慮ください」と書いてある。これは暗にJ-POPはご遠慮くださいということだ。
出展:日経スタイル(https://style.nikkei.com/)
作詞・作曲・アレンジは「Mind Your Own Business」、MAMAMOOの「HIP」、ファサの「マリア」「TWIT」、チョンハの「SNAPPING」、「愛の不時着」「ミスターサンシャイン」「トッケビ」等のドラマOSTを手がけた「パク・ウサン」プロデューサーが担当。
振り付け担当はTWICEの「TT」「KNOCK KNOCK」「Like OOH-AHH」、MAMAMOOの「HIP」、ボアの「Fox」を手がけたワンミリオンダンススタジオ。
PV制作は「Red Velvet」「highlight」「IZ*ONE」等の映像制作を担当したVikings Leagueとのことです。
豪華すぎやろ！！！
感想
日本や中国では「初音ミク」「洛天依」といったバーチャルアイドルが人気だが、そういうアニメ的文脈を介しづらい諸外国(アメリカや韓国)は技術の発展により、ようやくマジョリティに受け入れられる「リアル系アーティスト」のプロデュースが現実的になってきたのかなって感じがします。具体的に言うとSBS主体のSeeUはコアな人気を博したが、やはり登場時期が早すぎた感じがします思っています。
そういう文脈を頭の片隅に置きながら、「League of Legends」というゲームを開発している韓国会社がプロデュースしたバーチャルアイドル「K/DA」のミュージックPVが世界的に人気になっているのを見ると不思議な感覚がします。
ちょっと違うかも知れませんが、早い段階でセガサターンを出して「早すぎる」といわれたSEGAを思い出します。(ワールドワイドにK-POPが人気を博し始めたという下地もあると思いますけど)
