楽曲制作において、ドラムデザインは重要なプロセスです。近年は、サンプルライブラリの音源を加工することでオリジナルのドラム音を作る方法が主流ですが、膨大なライブラリから気に入った音源を探しだしたり、サンプラーで複雑な加工を繰り返すことは、ときに創造性の妨げになってきました。
DrumGANはソニーCSLで音楽を研究するチームが研究開発したドラム音生成AIです。AIを活用することで、元の音源には存在しない、新しいドラム音を直感的に作ることができます。DrumGANを使うことで音楽クリエイターは従来のように既存の音源に依存することなく、キックっぽさやスネアっぽさ、シンバルっぽさなどの直感的なパラメーターを調整しながらオリジナルのドラム音を作ることができます。
DrumGANではニューラルネットワークを使ったオーディオ生成技術「Neural Audio Synthesis」を核としています。ニューラルネットワークを活用した自動生成技術は一般的には、リアルに見える人間の顔写真を生成する研究として実用化されていますが、この技術を音声に適用することで、新しいドラム音の生成を実現しています。本研究は、ソニーCSLパリのStefan LattnerとJavier Nistalを中心に研究開発を行いました。
DrumGANを使用した取り組み
2020年、DrumGANはフランスのhip-hopビートメイカー/プロデューサーのTwenty9とのコラボレーションでドラムキット「The A.I. Drum Kit」をリリース。
膨大な量のサンプルを生み出すことができるDrumGANと、サウンドメイク・経験においても優れたプロデューサーであるTwenty9のコラボレーションにより、時代を超越したドラムキットが誕生しました。
The AI Drum Kit, by Twenty9 and Sony CSL
TechHub Web : https://techhub.developer.sony.com/drumgan/
#TechHubはソニーグループの研究成果の一部を公開するサイトです。
Drum design plays a prominent role in arranging and producing a song. While professionally-recorded sound libraries are available for editing, browsing sample packs or fiddling with expert controls in a sampler can be a barrier to creativity for some people.
DrumGAN is a technology researched and developed by Sony CSL to generate unique drum sounds using AI. Instead of relying on existing audio samples, DrumGAN allows creators to effortlessly synthesize original drum sounds from scratch by adjusting smart parameters, such as "kick-ness", "snare-ness", and "cymbal-ness".
DrumGAN's core technology is Neural Audio Synthesis, a new audio generation technology based on neural networks. Neural networks are widely used on images, to generate realistic-looking pictures of human faces, for instance but they can also be applied to audio. This research was led by Stefan Lattner and Javier Nistal in Sony CSL Paris.
Collaboration with Producer
In 2020, French hip-hop beatmaker/producer Twenty9 released the world's first AI-powered drum kit using DrumGAN.
The collaboration between DrumGAN, which is capable of generating a vast amount of samples, and Twenty9, an outstanding and experienced producer in sound creation, has resulted in a timeless drum kit.
The AI Drum Kit, by Twenty9 and Sony CSL
TechHub Web : https://techhub.developer.sony.com/drumgan/
#TechHub is a website that showcases some of Sony Group Companies' research accomplishments.