読了目安:約5分
2,000曲ぶんのプロジェクトファイルで、全自動のピッチ補正を試しています。お手本つきなら下手な歌も整いますが、お手本なしだと外れます。原因は、歌い方ではなさそうです。
お手本つきなら、ほぼ完璧
作っているアプリで、ピッチ補正を自動にする方法を、10種類から20種類ほど試しました。100種類には届いていません。
お手本がある場合は、完璧です。どんなに下手に歌っても、とても上手く聞こえる状態にできます。お手本とは、原曲のことです。
お手本がないと、外れる
問題は、お手本がない場合です。いわば、プログラムの勘でピッチを直す方法です。これがうまくいきません。
歌がある程度上手い人や、少しだけ外れている程度の人なら、勘でも直せます。でも、マイナーな曲でネットにデータが少なく、ピッチもタイミングも大きくずれている人や、歌い方に癖がある人になると、精度が下がります。ここまでは、私が最初に予想していた通りでした。
原曲を聴かせれば解決、とはならない
本当は、AIに原曲を聴いてもらって、「この音程までは直す」と判断させるのが早いのです。私たちがMelodyneを操作するときにやっていることと、同じです。
ところが、音楽の再生環境の規約で、AIに音源を聴かせることができません。AIの側にも、まだ耳がありません。前に書いた規約の壁は、ここにもつながっています。
見えてきたのは、収録環境
2,000曲での検証は、私がこれまで作ってきた、関わってきた作品のプロジェクトファイルで行いました。全部取っておいたものです(プロジェクトファイルの記事も、この話につながっています)。
歌の音程がどれだけ外れているかは、計測できるようになりました。その計測値を数値にして、音程のいい人から悪い人まで、ランキングをつけています。
ところが、精度が落ちる人は、歌が下手な人とは限りませんでした。マイクとオーディオインターフェースの組み合わせが、悪い方向に働いている症状が、何度も出てきます。原因は、いま調べている途中です。歌の上手い下手は、思っていたほど関係がなさそうです。
声は、楽器の中でいちばん多様
楽器の名前がついた楽器は、たいてい、どれも似た音色をしています。声だけは、十人十色どころではなく、音質が一人ひとり違います。それが魅力なのですが、学習させて解析するには、かなりの労力が必要でした。
MelodyneやCubaseのピッチ補正が、自動で追い込む機能をつけたかったはずなのに、できていない理由は、開発してみて分かった気がします。
余談:妥協してリリースする案
精度は、まだ納得のいく水準ではありません。いったん妥協して、リリースできるところまで進める案も、なくはありません。最初は無料で公開するつもりなので、どこまで通用するのかを、自分の目で見てみたい気持ちもあります。


