アマノケイのまったり技術解説

合成音声系の技術的なことを中心に解説記事を書いていきます。

夏目悠李/男声歌声データベース制作の経緯

きっかけ

NEUTRINOがリリースされたとき、私は考えました

「これ、東北きりたんDBの真似すればNEUTRINOのデータベース作ってもらえるのでは?」

今考えてみると凄い……突拍子もない考えですね、はい。

発端

個人的な研究用に明治大学の東北きりたんDBの中身を再び見たら……

「ん?これ私にも作れるんじゃね???」

という意味の分からないことを思い付いてしまいました。

midi, wavはもちろん、mono_labelもテキストエディタで開いたらめちゃくちゃ単純な仕組みだったので、これは普通に作れるぞと。

問題はこれを作ったところで誰かが使ってくれる保証があまりにも少ないので、一旦保留ということにしました。

 

構想

女声はきりたんがいるので、競合がまだいない男声データベースを作ることにしました。(私の好み的な意味のほうが大きい)

私自身は歌うのが嫌いではなのですが、収録が物凄い面倒というか疲れるタイプの人間なので誰か音源提供者がいないか身の回りで探すことにしました。

収録者の決定まで

候補は3人いました。

3人とも相互さんで、歌がある程度上手な男性さんです。

Oさんはスタジオに通う必要がありそうなので一旦保留、

Aさんはテストで1曲分試作することになり、

霧野蒼太くんは環境が揃ってるけど一旦保留ということで。

 

テストにAさんでデータベースを1曲分作成し、明治大学の森勢さんにチェックを貰って本格的に進めていくことにしました。

データベース作成の効率化模索

森勢さんに教えてもらったところ、ラベリングにはWaveSurferというものが使われていることが判明しました。(あと、別の人にPraatというのも教えてもらいました)

でも、ぶっちゃけこのWaveSurferでラベリングするの……

すっごい面倒くさい

というわけで、なにか良い方法がないか考えました。

 

歌詞付きMIDIを利用して、これをoto.ini経由でlabファイルに変換できれば

  1. 歌詞付きMIDIからMIDI, MusicXMLファイルの生成が可能
  2. WAVに合わせてMIDIを作り、そこからラベルを生成すれば後は微調整のみでOK

という風にめっちゃ効率化できると思い、プログラマさん(ちていこさん、CrazYさん)に助けを求めました。

これがoto2labの開発(していただいた)経緯です。

本格的な制作協議

ある程度制作に必要なベースが整ったので、男声DBを作ることにしました。

あと、「成功するかどうか分からない中、歌を延々と収録するのは流石に酷だ!」と思ったので、蒼太くんのモチベ意地のためにある程度の報酬を渡すことにしました。

※終わりが見えない戦いである場合、報酬は非常に大事です

 

それに加え、もし歌声DBを公開しても利用されなかったら悲しすぎるので利用してくれそうな方をリストアップしました。

Mさん、Hさん、Nさん、D社、A社……そこまで大勢いる訳ではないですし、からといって扱ってくれる保証も無いですが営業は大事なので、念のために準備しました。

制作終了まで

4月から(ルイナの翻訳で)色々と忙しくなる予定だったので、4月までに制作するのを目標としていました。

結果、ベースはギリッギリ作れました。冗談抜きで死ぬかと思いました😇😇😇

配布までの期間

翻訳作業が物凄く忙しくなり、配布形態や規約整備の時間があんまり取れなかったので、各所に営業をすることにしました。

その結果、D社と黒木先生さんがデータベースを利用してくれることになりました。

そのあと、配布直前期にCHI-TAさんにもデータベースを扱って貰えることになりまして、フィードバックもいただきました。

配布後

最終的にいろいろと落ち着いた4月末になっての配布となりました。

早い段階で山本りゅういちさんに反応貰って「アヒェッヨウ!!!」って感じになりましたし、それから機械学習ガチ勢の方にも広がったので、物凄い「アッヒェヒャホウアエイ!!!」ってなりました。

あと、龍馬さんにも早い段階でフィードバックを頂きました。

感想

次はもうちょっとユルユルしたスピードで、英語DBとか韓国語DBとか作ってみたいな~と思いました(懲りない)(多分ArpabetとX-SAMPAでいいのかな?)

謝辞

最後に、歌声DBを制作するにあたってお世話になった方に感謝の言葉を申し上げたいと思います。

DB構築に必要なプログラムを作っていただいたCrazYさん、ちていこさん。

超絶スケジュールに付き合ってくれた蒼太くん。

早い段階でデータベースを使って頂いてフィードバックをくれたCHI-TAさん、黒木先生さん、龍馬さん。

初期段階で色々と問い合わせに快く応じて頂いた森勢さん。

歌声DBの直接的な開発動機になったNEUTRINOを制作したSHACHIさん。

本当にありがとうございました!