Flow Machinesとは
Flow Machinesは、音楽においてクリエイターの創造性を拡張することを目指す、研究開発及び社会実装プロジェクトです。
これまでの音楽の歴史においても、それぞれの時代における発明や技術開発によってクリエイターの持つ創造性が拡張され、新しい音楽のステージへ到達して来ました。古くは、様々な楽器の発明に始まり、近代に入ってからも、シンセサイザーの発明や、ドラムマシンなどにより、新しい音楽が実現しています。
Flow Machinesは、最先端の機械学習や信号処理技術などにより、更に新しい技術を開発し、クリエイターと共に新しい音楽を生成することに取り組んでいます。
このプロジェクトは、2012年にソニー CSLパリがパリ第6大学と共同で始めた音楽研究が土台となっています。現在はソニーCSLが株式会社ソニー・ミュージックエンタテインメントと共同で研究を進めています。
Flow Machinesの仕組み
Flow Machinesプロジェクトの中心は、Flow Machines Professional というAIアシスト楽曲制作ツールです。Flow Machines Professionalでは、様々な音楽を解析し構成された音楽ルールに加え、先端ソフトウエア技術を用い、クリエイターの構想のもと、多様なスタイルのメロディーを自由自在に生成することができます。
このツールを用いたクリエイターの指示により、新しい楽曲のメロディー、コード、ベースが生成され、そこからインスピレーションを得て生まれたメロディーを交えながら曲を作っていきます。
ここからは通常の音楽制作のプロセスと同じで、デジタルオーディオワークステーションなどを用いてアレンジを行い、歌詞を作成し、楽器を演奏し、ミキシング、マスタリングなどを経て楽曲が制作されます。
決して全自動で楽曲が生成される訳ではなく、クリエイターがアイデアとインスピレーションを得ることで、よりクリエーターの創造性を発揮できる、能力拡張のためのツールです。
Flow Machinesによる取り組み
ソニー・ミュージックレーベルズが立ち上げた、アニメーションと楽曲によるLo-Fi Beatsチャンネル「Tokyo LosT Tracks -サクラチル- 」ではFlow Machinesを使って制作された楽曲が数多く展開されています。
プレスリリース
その中の一つの楽曲「parkside in bloom」をFlow Machinesを用いて制作したkensuke ushio氏がビデオの中でFlow Machinesの魅力について語っています。
GANStrumentの導入：新しいサウンド制作
GANStrumentは、 Flow Machines チームによって開発された革新的なサウンド生成アプリケーションであり、既存のサウンドにインスパイアされた魅力的な新しいサウンドを作り出します。GANStrumentを使用すると、2つの入力サウンドの特徴を簡単に融合させて、ユニークなサウンドスケープを生成することができ、伝統的なシンセサイザーにはない直感的なサウンド作成体験を提供します。
例えば、オルガンの豊かな音色とギターのアタックを組み合わせたサウンドが欲しい場合は、単にオルガンとギターのサウンドをGANStrumentに入力して融合させるだけです。これにより、両方の楽器の最良の特徴を体現するサウンドが作成されます。ユーザーはアプリケーション内でブレンディング比率を制御できるため、自分が思い描く正確なサウンドを作り出すことができます。これにより、従来のシンセサイザーと比較して直感的なサウンド作成プロセスが実現されます。
さらに、GANStrumentは楽器のサウンドだけでなく、自然な音やピッチのないノイズも取り入れることができ、創造的な可能性をさらに広げます。例えば、猫が登場するビデオにバックグラウンドミュージックを追加したい場合、GANStrumentを使用すると、猫の鳴き声の要素を含む新しい楽器のサウンドを生成することができます。コンテキスト要素をサウンドに追加することで、GANStrumentは音楽表現とサウンド作成の幅を広げます。
About Flow Machines
Flow Machines is a research and deployment project aimed at achieving augmented creativity of artist in music.
Throughout the music history, creativity of artist had been extended by inventions and technical improvement in each era which always brought music to a new stage. Starting from invention of various instruments, synthesizer and drum machine's appearance had realized new music.
Flow Machines continues challenging to create new music together with artists by developing new technology based on leading-edge machine learning and signal processing technology.
Flow Machines was first developed in 2012 as a part of the research on the use of AI in music composition by Sony CSL Paris and University Pierre and Marie CURIE. Today Sony CSL, in collaboration with Sony Music Entertainment Japan Inc., continues its further studies and applications.
How it works
The main part of the Flow Machines project is Flow Machines Professional. Flow Machines Professional is an AI assisted music composing system.
Using this system, creators can compose melody in many different styles which he wants to achieve, based on its own music rules created by various music analysis.
Creators can generate melody, chord, and base by operating Flow Machines. Furthermore, their own ideas inspired by Flow Machines. From here, the process will be the same as the regular music production. Arrange them with DAW, put lyrics, recording, mixing, mastering etc.
Flow Machines cannot create a song automatically by themselves. It is a tool for a creator to get inspiration and ideas to have their creativity greatly augmented.
Introducing GANStrument: A New Way to Create Sounds
GANStrument is an innovative sound generation application developed by the Flow Machines team. It creates captivating new sounds inspired by existing ones. With GANStrument, you can easily blend the features of two input sounds to generate unique soundscapes, offering an intuitive sound creation experience that goes beyond traditional synthesizers.
For example, if you desire a sound that combines the rich tones of an organ with the attack of a guitar, simply input the organ and guitar sounds into GANStrument and blend them together. This creates a sound that embodies the best of both instruments. Users can control the blending ratio within the application, allowing them to craft the precise sound they envision. This leads to a more intuitive sound creation process compared to conventional synthesizers.
Furthermore, GANStrument can incorporate not only musical instrument sounds but also natural and pitchless noises, broadening creative possibilities even further. For instance, if you wish to add background music to a video featuring a cat, GANStrument enables you to generate a new instrument sound that includes elements of the cat’s meow. By adding contextual elements to the sound, GANStrument enhances the range of musical expression and sound creation.
