株式会社ソニーコンピュータサイエンス研究所(以下、ソニーCSL)はAIアシスト楽曲制作プロジェクト、"Flow Machines"(以下、FM)によるサービスを開始しました。第一弾となる楽曲は株式会社ソニー・ミュージックレーベルズが始めたアニメーションと楽曲によるLo-Fi Beatsチャンネル、「Tokyo LosT Tracks -サクラチル-」にて展開しました。
ソニーCSLは1996年より音楽に関する研究をパリの拠点で行っています。そして2012年に音楽でクリエイターの創造性拡張を目指す研究開発及び社会実装プロジェクトとしてFMを発足し、現在は東京とパリで開発を進めています。FMでは最先端の機械学習や信号処理技術でアーティストと共に様々なスタイルの新たな音楽の生成に取り組んでいます。FMの核はAIアシスト楽曲制作ツール"Flow Machines Professional"(以下、FM Pro)です。これは様々な音楽を解析して構成された音楽ルールに加え、先端ソフトウエア技術を用いて、クリエイターの構想のもと多様なスタイルのメロディーを自由自在に生成できるものです。FM ProによりAIが提案する独自のメロディーをクリエイターのセンスで選び楽曲制作を進めるという、人間のクリエイティビティとAIによる音楽の融合が実現しました。
Cubase(DAW)で機能するFlow Machines Professional
FM Proの特長
一般的に曲を作る際の工程には、作曲、作詞、編曲、演奏、ミキシング、マスタリングがありますが、FM Proは作曲に特化したツールであり、作曲者の作りたいスタイルに合わせたメロディー、コード、ベースを提案してくれるAIです。曲のスタイルを表現するためFM Proにはスタイルパレットという独自の概念があります。スタイルパレットはソニーCSLが開発した音楽データを解析した機械学習モデルです。
FM Proによる楽曲制作手順
まずデジタル・オーディオ・ワークステーション(DAW)※の中でFM Proのプラグインを立ち上げ、作りたい曲のコード進行に合わせてスタイルパレットを選択します。「compose」ボタンを押すと、選択したコード進行に合わせてAIにより複数の候補(メロディー、コード、ベースが連動した、4小節×4パターンもしくは8小節×2パターンの曲)が提示されます。「compose」ボタンを押す度、何度でも新しい候補に更新することができ、複数のパターンを1小節ずつ組み合わせる機能もあります。気に入ったものができたら、それをDAWのトラックにドラッグ&ドロップすることで、そのまま音楽の演奏情報をデータ化したMIDIデータとして使用できる形になります。MIDIデータのため、作曲者自身が後で自由に微調整することも可能です。
また、曲の全体をFM Proで作る必要はなく、例えばサビではFM Proから出てきたアイデアを使い、Aメロ、Bメロはそこからインスパイアされて自ら作るという方法を取るクリエーターも多くいます。
近年音楽制作において、メロディー、トラック、編曲、作詞など各クリエイターが得意分野を活かして共同で作曲するコーライティングという手法が増えています。FM Proにより、AIが提案する独自のメロディーをクリエイターのセンスで選び楽曲制作を進める、人間のクリエイティビティとAIの音楽が融合する、新たなコーライティングが実現しました。
Lo-Fi Beatsについて
インターネット上で産まれたChill Hopとも言われているインストゥルメンタル音楽。主に勉強や作業用BGMとして聴かれています。YouTube チャンネルやSpotify にプレイリストがあり、YouTubeLive上では常時1万人程度がアクセスしています。
「Tokyo LosT Tracks -サクラチル-」について
ソニー・ミュージックレーベルズが手掛けるアニメーション・楽曲を軸とするLo-Fi Beats チャンネル。「チルアウト」の空気を共有する動画・世界観と共に心地の良い音楽を24時間365日配信します。YouTube、Spotifyなどのプラットフォームで3月21日より公開。
※DAWとはDigital Audio Workstationの略で、コンピューターを使って音楽制作をするために用いるソフトウェアです。
複数の楽器に対するMIDI情報を編集でき、またプラグインという仕組みを使い機能拡張ができます。
Tokyo, Japan - Sony Computer Science Laboratories, Inc. (Headquarters: Shinagawa-ku, Tokyo; President and CEO Hiroaki Kitano; hereinafter referred to as Sony CSL) announced today the launch of a service based on its AI-assisted music production project, Flow Machines (FM). The first track created using the service has already been released on "Tokyo LosT Tracks - Sakurachill," a Lo-Fi Beats channel combining animation and songs started by Sony Music Labels Inc.
Sony CSL has been conducting music research since 1996 in Paris. In 2012, it launched FM as a research and development and social implementation project looking to expand the creativity of music-makers. The project is currently underway in Tokyo and Paris. The project leverages state-of-the-art machine learning and signal processing technology to empower artists to create new music in various styles. At the core of FM is the AI-assisted music production tool, Flow Machines Professional (FM Pro). FM Pro combines music rules generated by analyzing a variety of music with advanced software technology to help creators to freely create various styles of melodies based on their own concepts. FM Pro delivers an integration of human creativity and AI-based music, where creators select distinctive melodies proposed by AI according to their own aesthetic sense as they produce music.
Flow Machines running inside Cubase (DAW)
FM Pro Features
Generally, the process of creating a song includes composing, lyric writing, arranging, playing, mixing and mastering. FM Pro leverages AI dedicated to the composing process to propose melodies, chords, and bass that match the style of music that the creator intends to make. FM Pro employs a unique concept called Style Palette to express the style of the song. Style Palette is a machine learning model that analyzes music data developed by Sony CSL.
How FM Pro works
First, the user launches the FM Pro plug-in within a digital audio workstation (DAW),※ and selects a style palette according to the chord progression of the song they want to create. When they press the compose button, the AI will present multiple candidates (4 bars x 4 patterns or 8 bars x 2 patterns of melodies with accompanying chords and bass) according to the selected chord progression. Each time the user presses the compose button, they get new candidates. They can do this as often as they like. There is also a function to combine bars from multiple patterns one by one. Once they have created something they like, the user simply drags and drops it onto a track in the DAW, and then they will be able to use the music performance information directly as MIDI data. Because it is MIDI data, the user can easily adjust it later.
There is no need to make the whole song with FM Pro. For example, there are many creators who choose to use the ideas from FM Pro to obtain a hook-line and then compose verse and bridge themselves, inspired by the hook-line.
In recent years, in music production, the method of co-writing, in which creators make use of their specialty fields, such as melodies, tracks, arrangements, and lyrics, has increased. FM Pro offers a new type of co-writing that combines human creativity with AI music, allowing creators to select distinctive melodies proposed by AI based on their own aesthetic sense.
About Lo-Fi Beats
Instrumental music composed of rough beats with a vinyl-style sound. People enjoy it mainly for background music when studying and working. Playlists are available on YouTube and Spotify. About 10,000 people are accessing these tracks at any given time on YouTubeLive.
About Tokyo LosT Tracks - Sakurachill
A music project focusing on animation and music created by Sony Music Labels. This project develops videos with a distinctive chill-out world that go with Lo-Fi Beats music.
Published on YouTube, Spotify, and other platforms.
Distribution start: March 21, 2020
※A digital audio workstation (DAW) is a software used to produce music with a computer.
It allows editing of MIDI information for multiple instruments, and extension of functions using plug-ins.