Deep12

音楽解析AI – Deep12

「Deep12」はソニーコンピュータサイエンス研究所（ソニーCSL）のDeep12チームが研究開発している音楽解析AIです。Deep12を使うことで、膨大な楽曲カタログ内で似た音源を検索したり、楽曲のコード進行やサビの始まり位置を特定することが可能になります。Deep12は株式会社ソニー・ミュージックパブリッシングが運営するSONY MUSIC PUBLISHING LIBRARY MUSICに搭載され、「類似音源検索機能」と「音楽解析機能」を実現しています。

Deep12AGCT -「類似音源検索機能」

これまでの楽曲検索では、ジャンルや楽器名など、楽曲にあらかじめ付けられたタグ情報から検索する必要がありました。しかし、Deep12AGCTが実現する類似音源検索機能では、入力した音源の持つ音響的な印象や雰囲気（音色、リズム、ピッチや強弱のダイナミクスなどの多層的な組み合わせ）を深層学習することで、入力した音源と似た曲を膨大な音源カタログの中から探し出し、類似度順に表示します。また、データベース内の似た音源を任意のフレーズ単位で検索することができるので、サビ部分を指定して、そこに似ている音源を検索するなどのユースケースを想定しています。
Deep12AGCTは、ソニーCSLのポリュリャーフ研究員を中心に研究してきた、遺伝子クラスタリングを行う技術であるA Geometric Clustering Tool (AGCT)のコンセプトを元に、赤間研究員がDeep Learningを適用して発展させ、音楽アプリケーション向けに応用しており、SONY MUSIC PUBLISHING LIBRARY MUSICサイトには類似音源検索機能として実装されています。

Deep12MIR -「音楽解析機能」

Deep12MIRは入力された音源を解析し、以下の三つの音楽情報を推定し、音源の波形上に表示する技術で、ユーザーは視覚的に音源の情報を理解することができます。

Deep12チームについて

Deep12はソニーグループ株式会社とソニーCSLの共同研究に基づき、ソニーCSLのDeep12チームが研究開発している音楽解析AIです。Deep12チームでは赤間健人とナターリア・ポリュリャーフが研究を主導し、岸治彦が開発、松阪郁子が推進を行っています。

＊Focal Point (FP)は、ソニーコンピュータサイエンス研究所（ソニーCSL）が研究活動を推進する枠組みの一つで、研究テーマに合わせて集まったメンバーからなる「チーム」です。それぞれのFPには独自のマークと6桁の文字列が振られます。積層されるFPマークはソニーCSLのロゴのエレメントからデザインされています。