Python

音楽と映像の融合について

音は時間に対して切り離せないもので、音を構成する周波数は1秒間に何回振動しているかを表現したものであり、周波数は高い音や低い音に対応したものになります。映像も時間に対して切り離せないもので、画像を時間方向に繋ぎ合わせたものが映像となります。したがって、音楽と映像を融合させることは、時間の流れに対して、音楽と映像のタイミングを合わせることになります。

ある日、素朴な疑問として、「音楽に合わせて自動的に映像を変化させることはできないか?」ということが思い浮かびました。というのも、最近のコンサートでは、アーティストの方がイヤモニをしながらシーケンサーのクリック音に合わせながら完璧なタイミングで演奏をしながら、背景の映像がタイミングよく切り替わり、かっこいい演出であるのですが、これだと、アーティストの即興による演奏はしずらい世の中だなぁって思ったことです。いつの間にか、テクノロジーにアーティストの即興性の楽しさが奪われており、それならば技術の力で、アーティストの力を最大限に引き延ばす方法が欲しいと思った次第です。

同僚の一人が、Processingという言語を使って、プロトタイプを作ってくれました。このプロトタイプは、事前に音源ファイルをプログラムに読み込ませる必要がありますが、音楽のリズムに合わせて自動的にエフェクトが掛かるようになっています。見てみると幻想的な映像と音楽に仕上がっています。

もう一人の同僚は、修士の研究が音楽から様々な情報を自動検出する内容でしたので、内定者インターンとして、音楽からビートのタイミングを自動検知するコードを作ってもらいました。ビートのタイミングが分かれば、映像の切り替えるタイミングを合わせやすくなり、かっこいい自動編集をしやすくなります。

また、Unityちゃんを音楽のタイミングに合わせて自動的に踊れるようにすることにチャレンジしたりもしています。これは、PythonとC++をUnityに連動させて、自動的に動かしています。

上記以外にも、様々な連動性にチャレンジしていまして、個別デモやお問い合わせがありましたら、下記のフォームからお願いいたします
https://gri.jp/contact/?id=9773