読了目安:約5分
歌ってみたのミックスを自動で整えるプラグインを作っています。作業は、私が寝ている間にAIが進めて、朝に確認して直す流れです。いちばん大変なのは、技術より規約でした。
夜は、パソコンが止まっているだけだった
起きている間、私はずっとパソコンの前にいて、自分の作業に使っています。だから、AIに作業をさせるのは夜中です。寝ている間、パソコンはただ止まっているだけだと気づいたのが、始まりでした。
寝ている間にAIがプログラムを書いておく。朝に進み具合を確認して、修正を指示して、今夜はこれをやっておいて、と頼んで寝る。夜中に自動で動かせると知ったときは、本当に驚きました。
何百曲、何千曲ぶんのやり方を落とし込む
作っているのは、日本の歌ってみたシーン向けの、ミックス特化の自動補正プラグインです。iZotopeのNeutronやOzoneのような機能に加えて、ピッチ補正まで自動で行うところまで作り込むつもりです。
今のピッチ補正やタイミング補正は、人の手がどうしても必要で、大変です。それを一発でできるようにして、歌ってみたのミックスをもっと活性化させたい。私が何百曲、何千曲とやってきた作業のノウハウを、プログラムに落とし込んで指示しています。
いちばんの壁は、規約
自分のパソコンの中だけで動かす個人用なら、規約はあまり気にしなくて済みます。でも私が作っているのは、みんなが使える商用のもので、運営のためにお金もいただく予定です。そうなると、使っていい音源、使っていいエフェクトなど、規約をすべて確認してクリアする必要があります。
さらに、原曲の著作権は別の人にあります。ピッチ補正の基準にするために、AIが原曲を聴きに行って学習するのは、規約上できません。そこをどう扱うかが、いまの課題です。
ピッチ補正は、精度より先に音が崩れる
いま力を入れているのは、ピッチ補正の精度です。歌い手さんの素材は、ピッチが外れていても雰囲気で選ばれたテイクが多く、どこまで外れているかを判定する必要があります。外れすぎた音は、手でやるときと同じで、うまく補正できません。無理にやれば直せてしまうので、どこまで細かくやるかも難しいところです。
もうひとつは、ピッチを直した瞬間に、声がガジャガジャになる現象です。これは私の耳で聴いて、「これはダメな音源、これはいい音源」と判断して、その基準を数値にして書き込んでいます。手間がかかるので、この部分を自動化できないか探しています。
余談：AIに頼めば何でもできる、わけではない
AIに頼めば何でもできると思われがちですが、意外と手間が多いです。やってみると、知らないことばかりで、勉強の毎日です。音を聴けないAIにStudio Oneを動かしてもらう仕組みを作ったときも、同じでした。
