スマホで手軽に自分のAIシンガーが作れる「歌叽歌叽」を試してみた!
どうもアマノケイです。
結構前に「コエステーション」という自分の声を収録するとAI歌声合成にしてくれるサービスが流行りましたね。
自分でしか使えないですが、あのサービスの登場はかなり話題になりました。
今回は歌を数曲歌うと自分のAIシンガーを作ってくれる中国のサービス「歌叽歌叽」について解説していこうと思います。
やり方
①インストールする
公式サイトからアプリとソフトをインストールしましょう。
Win, Mac, iPhone, Android版があります。
虚拟歌曲制作-虚拟歌手-作词作曲-虚拟偶像-酷狗音乐歌叽歌叽
②アプリ側の設定
歌叽歌叽で自分の歌をAI化させるにはアプリで歌声を録音する必要があります。
まずアプリを起動します。
ありがちな規約が表示されるので同意します。(公式サイトからも読めますがコピペができないのでGoogleの翻訳アプリを使って全文取得するか、ソースを開いてコピペすることをおすすめします。)
このまま進みます
未成年向けの一部機能規制についてらしいです、オンにすると多分コメント機能が規制されます。
画面下部のボタン「基地」を押すとホーム画面に飛べますが、会員登録をしてないので何も表示されていません。「去登録」を押しましょう。
こういう画面が出てきますので、同意にチェックを入れて認証方法を選びましょう。
Android:電話番号、WeChat
※ただし、電話番号は中国のものしか使えないのでAndroid勢はWeChatに登録する必要があります。
登録が完了すると「我的AI歌手」が表示され、「立即召喚」ボタンが押せるようになります。
押すとこういう画面が出てくるので進みます。
女声が男声を選ぶ画面が出てきます。
女声の場合は最低1曲、男声の場合は5曲必要です。
※歌えば歌うほど性能が向上します
ビジュアル(2種類)と名前を決め、「上传声音」をタップして歌声アップロード画面に移行します。
こんな感じで曲が出てきます。
「K歌」ボタンを押すと歌唱UIに移行することが出来ます。
こんな感じになって、伴奏のDLが終わると「開始K歌」が押せるようになります。
イヤホン側からガイドボーカルが流れてくるので、それに従って歌いましょう。
間違えた場合は、下部にある「重唱」から録り直しができます。
収録が終わると歌声を確認するUIが出てくるので「完成」を押しましょう。
もし「この曲難しい」と思ったら左上の✕→退出から曲選択UIに戻ることが出来ます。
収録終わったら曲をアップロードしましょう。
しばらく(数時間~数日)すると「我的AI歌手」から自分のAIシンガーが召喚されます、ヨシ!
③PCで自由に歌わせる方法
デスクトップ版の歌叽歌叽を起動すると右上に「未登録」というボタンが表示されます。
これをクリックするとバーコードが出てくるので、アプリ版のカメラで読み込みましょう。
下部の「宇宙」のここからカメラが起動できます。
無事認証に成功すると、歌手から自分の歌声が読み込めます。おめでとう!
④使い方
基本的にはXStudioと同じGUIです。
・歌詞の入力
中国語のみ対応しています。
・データのインポート
伴奏(wav, mid, mp3)、MIDIに対応しています。
・リバーブ
ここから調整出来ます
・パラメータの調整
右上のパラメータつまみからピッチ、タイミングを調整することが出来ます。
・音の確認/AIレンダリング
人声のスイッチをオン/オフすることでピアノ、AI合成モードに変えられます。
⑤何歌えば良いの!?
いくらAIシンガーができるとはいえ、知らない曲を歌う物はつらいものです。
なのでいくつかおすすめの曲をサジェストしておきます。
大体テンポ遅めなので歌いやすいです。
・平凡の道
バラードで歌いやすいです。割と有名な曲なので知ってるかもしれません。
・学猫叫
キズナアイちゃんが歌ってたので聞き込めば歌いやすいはず……。
・你笑起来真好看
AISingersの余袅袅の1つ目の曲なので、耳に覚えがあるかも。
・小苹果
割と有名な中国ポップス。アップテンポ曲なので気分的に覚えやすいかも。
・隱形的翅膀
中国語歌声合成のデモとしてよく使われてるので、耳に覚えがあるかも。
あとは歌詞をピンイン表示すればなんとかなると思います、これに関しては気合いです!
⑤使い勝手
中国語だと普通に良い感じに歌ってくれます!
声もめちゃくちゃ私の声です。
帰宅できたのでこれをPC版で使ってみた!
— アマノケイ (@aman0_kei) 2022年8月15日
基本的には良い感じに歌ってくれるけど、たまに音程がフラットになるのでそこは再合成が必要
手書き, Auto-tune式でピッチ描けて、タイミング調整も可能
無理矢理日本語を歌わせることも出来るから割と悪くないかも
曲:あの素晴らしい愛をもう一度 https://t.co/lE0JCPr4lM pic.twitter.com/12SShrwcuV
日本語空耳で無理矢理歌わせてみる方法はテンポが遅い曲においては有効かもしれませんが、そうでない曲だと割と微妙になりそうです。
でも日本語で無理矢理歌わせる方法を使う場合、早口気味な曲は苦手っぽい純正の(中国語音源で歌わせた場合も崩壊した)
— アマノケイ (@aman0_kei) 2022年8月15日
限りなく灰色へを歌わせた結果、「見失ってしまったのアイロニー」「バイx4」あたりが及第点になった
ust by つなまよ pic.twitter.com/dOD6rasnov
⑥補足
もしUTAUの中国語音源がある場合はそちらを使えば楽になると思います。
その場合、AndoidのPCエミュレータを使ってPC内部に流れている音声をマイクとして認識させたり、スマホのマイクに音声を直接流す必要がありますが。
あと、日本語音源しかない場合でもそれっぽい発音で歌わせると良い感じになります。
実際のところbilibili動画を見ると、日本語音源を学習させて中国語で歌わせている人がかなり居ます。
(それって大丈夫なの)(大丈夫か気になる方はこちらをご覧ください↓)
⑦感想
こういうサービスはデータ収集と引き換えにやれてるんだろうけど、日本ででもこういうのが展開されるにはきっと遠いだろうなぁ……。
むしろ海外サービスが跋扈する未来も見える。