全自動ピッチ補正が難しい理由は、歌の下手さではなかった。2,000曲で試して見えた、収録環境という壁

全自動ピッチ補正が難しい理由は、歌の下手さではなかった。2,000曲で試して見えた、収録環境という壁

読了目安:約5分

2,000曲ぶんのプロジェクトファイルで、全自動のピッチ補正を試しています。お手本つきなら下手な歌も整いますが、お手本なしだと外れます。原因は、歌い方ではなさそうです。

目次

お手本つきなら、ほぼ完璧

作っているアプリで、ピッチ補正を自動にする方法を、10種類から20種類ほど試しました。100種類には届いていません。

お手本がある場合は、完璧です。どんなに下手に歌っても、とても上手く聞こえる状態にできます。お手本とは、原曲のことです。

お手本がないと、外れる

問題は、お手本がない場合です。いわば、プログラムの勘でピッチを直す方法です。これがうまくいきません。

歌がある程度上手い人や、少しだけ外れている程度の人なら、勘でも直せます。でも、マイナーな曲でネットにデータが少なく、ピッチもタイミングも大きくずれている人や、歌い方に癖がある人になると、精度が下がります。ここまでは、私が最初に予想していた通りでした。

原曲を聴かせれば解決、とはならない

本当は、AIに原曲を聴いてもらって、「この音程までは直す」と判断させるのが早いのです。私たちがMelodyneを操作するときにやっていることと、同じです。

ところが、音楽の再生環境の規約で、AIに音源を聴かせることができません。AIの側にも、まだ耳がありません。前に書いた規約の壁は、ここにもつながっています。

見えてきたのは、収録環境

2,000曲での検証は、私がこれまで作ってきた、関わってきた作品のプロジェクトファイルで行いました。全部取っておいたものです(プロジェクトファイルの記事も、この話につながっています)。

歌の音程がどれだけ外れているかは、計測できるようになりました。その計測値を数値にして、音程のいい人から悪い人まで、ランキングをつけています。

ところが、精度が落ちる人は、歌が下手な人とは限りませんでした。マイクとオーディオインターフェースの組み合わせが、悪い方向に働いている症状が、何度も出てきます。原因は、いま調べている途中です。歌の上手い下手は、思っていたほど関係がなさそうです。

声は、楽器の中でいちばん多様

楽器の名前がついた楽器は、たいてい、どれも似た音色をしています。声だけは、十人十色どころではなく、音質が一人ひとり違います。それが魅力なのですが、学習させて解析するには、かなりの労力が必要でした。

MelodyneやCubaseのピッチ補正が、自動で追い込む機能をつけたかったはずなのに、できていない理由は、開発してみて分かった気がします。

余談:妥協してリリースする案

精度は、まだ納得のいく水準ではありません。いったん妥協して、リリースできるところまで進める案も、なくはありません。最初は無料で公開するつもりなので、どこまで通用するのかを、自分の目で見てみたい気持ちもあります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次