音楽解析AI - Deep12
「Deep12」はソニーコンピュータサイエンス研究所（ソニーCSL）のDeep12チームが研究開発している音楽解析AIです。Deep12を使うことで、膨大な楽曲カタログ内で似た音源を検索したり、楽曲のコード進行やサビの始まり位置を特定することが可能になります。Deep12は株式会社ソニー・ミュージックパブリッシングが運営するSONY MUSIC PUBLISHING LIBRARY MUSICに搭載され、「類似音源検索機能」と「音楽解析機能」を実現しています。
Deep12AGCT -「類似音源検索機能」
これまでの楽曲検索では、ジャンルや楽器名など、楽曲にあらかじめ付けられたタグ情報から検索する必要がありました。しかし、Deep12AGCTが実現する類似音源検索機能では、入力した音源の持つ音響的な印象や雰囲気（音色、リズム、ピッチや強弱のダイナミクスなどの多層的な組み合わせ）を深層学習することで、入力した音源と似た曲を膨大な音源カタログの中から探し出し、類似度順に表示します。また、データベース内の似た音源を任意のフレーズ単位で検索することができるので、サビ部分を指定して、そこに似ている音源を検索するなどのユースケースを想定しています。
Deep12AGCTは、ソニーCSLのポリュリャーフ研究員を中心に研究してきた、遺伝子クラスタリングを行う技術であるA Geometric Clustering Tool (AGCT)のコンセプトを元に、赤間研究員がDeep Learningを適用して発展させ、音楽アプリケーション向けに応用しており、SONY MUSIC PUBLISHING LIBRARY MUSICサイトには類似音源検索機能として実装されています。
Deep12MIR -「音楽解析機能」
Deep12MIRは入力された音源を解析し、以下の三つの音楽情報を推定し、音源の波形上に表示する技術で、ユーザーは視覚的に音源の情報を理解することができます。
- サビやＡメロなどの曲の構造
この機能を活用することで、例えばサビの開始位置を特定することができるので、サビの頭から再生することができます。 - ビート位置、BPM、調号、コード進行などの音楽理論情報
- 楽曲のジャンルやムードなどの音楽メタ情報
Deep12MIRは「音楽解析機能」としてSONY MUSIC PUBLISHING LIBRARY MUSICに搭載されています。
Deep12チームについて
Deep12はソニーグループ株式会社とソニーCSLの共同研究に基づき、ソニーCSLのDeep12チームが研究開発している音楽解析AIです。Deep12チームでは赤間健人とナターリア・ポリュリャーフが研究を主導し、岸治彦が開発、松阪郁子が推進を行っています。
＊Focal Point (FP)は、ソニーコンピュータサイエンス研究所（ソニーCSL）が研究活動を推進する枠組みの一つで、研究テーマに合わせて集まったメンバーからなる「チーム」です。それぞれのFPには独自のマークと6桁の文字列が振られます。積層されるFPマークはソニーCSLのロゴのエレメントからデザインされています。
Music Analysis AI - Deep12
Deep12 is a music analysis AI researched and developed by the Deep12 team at Sony Computer Science Laboratories (Sony CSL), which enables similar sound search in a large catalog of songs and identifies chord progressions and the beginning of chorus in songs. Deep12 is installed in SONY MUSIC PUBLISHING LIBRARY MUSIC, which is run by Sony Music Publishing Inc. and available as "similar sound source search" and "music analysis" function.
Deep12AGCT - "Similar Sound Source Search Function"
In conventional music search, it was necessary to search from tag information attached to a music piece, such as genre and instrument. However, Deep12AGCT's similar sound source search function uses deep learning to analyze the acoustic impression and atmosphere (a multilayered combination of timbre, rhythm, pitch, and dynamics) of the input sound source to find similar songs from a catalog, and displays them in order of similarity.In addition, since similar sound sources in the database can be searched by the specified phrase, users can specify a chorus section and search for sound sources similar to that section.
Deep12AGCT is based on the concept of A Geometric Clustering Tool (AGCT), a gene clustering technology that has been studied mainly by Sony CSL researcher Dr.Polouliakh, and developed by Dr.Akama by applying Deep Learning. It is implemented in the SONY MUSIC PUBLISHING LIBRARY MUSIC website as "Similar Sound Source Search Function".
Deep12MIR - "Music Analysis Function"
Deep12MIR is a technology that analyzes the input sound source, estimates the following three types of musical information, and displays them on the waveform of the sound source, allowing the user to visually understand the sound source information.
- The structure of the song such as the verse and chorus
By utilizing this function, for example, the beginning of a chorus can be identified so the song can be played from the chorus. - Music theory information such as beat position, BPM, key signature, chord progression, etc.
- Music meta information such as the genre and mood
Deep12MIR is applied to SONY MUSIC PUBLISHING LIBRARY MUSIC as "Music Analysis Function".
About the Deep12 Team
Deep12 is a music analysis AI developed by Sony CSL's Deep12 team based on a joint research project between Sony Group Inc. and Sony CSL, led by Taketo Akama and Natalia Polouliakh, developed by Haruhiko Kishi, and promoted by Ikuko Matsusaka.
