音楽は人間の経験の基本的な部分です。それは感情を伝え、物語を語り、他者とつながるための普遍的な言語です。指を叩く、メロディーを口ずさむ、交響曲を演奏するなど、音楽的な表現は私たちの本質に根ざしています。しかし、芸術的な意図から音楽的な表現に至るまでの道のりは、経験豊富な音楽家であってもチャレンジングな挑戦となることがあります。
このため、音楽技術が重要になります。しかし、現在のシステムは驚くべき能力を提供する一方で、複雑で高度な技術的専門知識を必要とするため、多くの人々が音楽的に自己表現する際の障壁となっています。私の研究は、アーティストが創造性をより簡単に探求し表現できるようにする人工知能を探求しています。具体的には、直感的な音楽オーディオ生成と操作のための深層生成モデルを研究しています。これらのツールは音楽制作の複雑なプロセスを簡素化し、人間と機械の協力を豊かにし、アーティストや初心者がより自由に創造性を発揮できるようにすることを目指すものです。
Selected Publications
J Nistal, M Pasini, C Aouameur, M Grachten, S Lattner. “Diff-A-Riff: Musical Accompaniment Co-creation via Latent Diffusion Models” Proceedings of the International Society for Music Information Retrieval (ISMIR) 2024
J Nistal, S Lattner, G Richard. “DrumGAN: Synthesis of drum sounds with timbral feature conditioning using Generative Adversarial Networks.” International Society for Music Information Retrieval (ISMIR)
J Nistal, S Lattner, G Richard. “Comparing representations for audio synthesis using generative adversarial networks.” 2020 28th European Signal Processing Conference (EUSIPCO), 161-165
J. Nistal, C. Aouameur, I Velarde, S Lattner . “DrumGAN VST: A Plugin for Drum Sound Analysis/Synthesis with Autoencoding Generative Adversarial Networks”. ICML2022 Machine Learning for Audio Synthesis (MLAS) Workshop
J Nistal, M Pasini, S Lattner. “Improving Musical Accompaniment Co-creation via Diffusion Transformers” Audio Imagination: NeurIPS 2024 Workshop AI-Driven Speech, Music, and Sound Generation