Musical Dynaformicsの研究成果をダンスに応用したアプリケーションの効果検証を実施

Musical Dynaformicsをダンスへ応用

Musical Dynafomicsは古屋研究員が提案する、音楽家の熟達支援と故障予防を通して、音楽表現の進化と持続可能性の実現を目指す研究の取り組みです。（https://www.sonycsl.co.jp/sp/7931/）
この研究の過程で生まれた、"身体の動きを検出しお手本と比較する"技術を応用できないか、横展開を目指すチーム※が様々な応用先を議論する中で、今回ダンスを対象に検証を行うことにいたしました。ダンスが2012年に必修化が義務付けられたことで、中学校体育で取り組む必要に迫られ、思うように上達せずにモチベーション上がらない学生が増加していることが課題となっています。また、音楽同様に感覚的な指導が中心となっており再現性が高い指導が難しいという背景から、本技術の応用先としてダンスが適しているのではないかという仮説に至りました。

ウィズダムアカデミーと共同での効果検証

Dynaformicsをダンスに応用することで、上達に課題を抱える学生のダンススキルとモチベーション向上に貢献できるのではないかという仮説の元、ウィズダムアカデミーと共同で効果検証を行いました。
ウィズダムアカデミーは習い事付きの民間学童を手掛けており、その中で幼児(年中) ~ 小学生対象のダンススクールを展開しています。講師陣へのヒアリングにより、ダンススキル向上に課題を抱える受講生が多数いらっしゃることが判明しました。本実験で用いたアプリケーションの身体の動きの類似度判定が受講生の課題解決に貢献できるのではないかという期待のもと、検証にご協力いただく運びとなりました。

本実験で用いたアプリケーション

図1：実験のアプリケーションイメージ

実験概要

今回の実証実験では小学校1-3年生のベーシッククラス3名と4-6年生のアドバンスクラス6名を対象に実施しました。

目的：
1. Musical Dynaformicsがダンススキルおよびモチベーションの向上に貢献できるかを検証する
2. 現アプリケーションの課題を抽出する
日時：2023年8月28日（月）、9月4日（月）
参加者：ウィズダムアカデミー池尻三軒茶屋校　ダンススクール生 9名

本実験ではスマートフォンやタブレットのカメラを用いて、ユーザーの身体の動きをセンシングするアプリケーションを用いて実証実験を行いました。これは、任意のトレーニング動画に合わせて身体を動かすと、リアルタイムで類似度判定が行われ、動画が終了するとスコアが表示される仕組みとなっています。

図2：実験の様子（左：練習中　右：アプリを用いて振り返り中）

本実験は
1. アプリを用いて課題曲を練習
2. 練習内容を振り返る
3. 1と2を繰り返す
4. 練習終了後にインタビュー
という流れで行いました。

検証結果

Musical Dynaformicsをダンスに応用したアプリケーションはダンススキル向上の要素として
・お手本と自分の動きを同時に見ながら練習できる（6/9名）
・ボーンが身体の動きを理解することに役立つ（5/9名）
・速度調整しながら苦手意識が強い動きを繰り返し練習できる（3/9名）
モチベーション向上の要素として
・ダンスのスコア化が練習のモチベーションに繋がる（5/9名）
を確認することができました。

本アプリケーションは、お手本と自分の動きを同時に見ながら練習できるため、普段の自主練習に比べてダンススキルが向上していることを感じている被験者が多数見受けられました。普段の自主練習に関するヒアリングを行ったところ、複数の被験者は場所の制約から自分自身の動きを理解しながら踊ることが困難な環境であることを言及していました。このような背景から、本アプリケーションを用いれば、鏡等がなくとも理想の動きと自分自身の動きを照らし合わせてどこでも練習が可能であるためダンススキル向上に貢献できているものと考えられます。また、ボーンによってお手本（理想の動き）とどのくらいズレが生じているのかが理解でき、ズレが大きいところは動画で繰り返し練習できることも価値として観測されました。

図3：被験者が振り返りを行っている様子

一部の被験者は、アプリケーションで振り返りを行う際に、点数が低く苦手意識が強い振付を0.5倍速で繰り返し練習していました。苦手か所の特定をスムーズに行い、ユーザーの適切な速度で繰り返し練習を行えることもダンススキル向上の要因となっていることを観測できました。

図4：練習後に点数が表示される画面

図5：点数を競い合っている様子

モチベーション向上の観点においては、スコア化の機能が大きく影響していました。複数名の被験者が点数を競い合い、練習に励んでいる様子も確認され、上達するにつれ点数が上がっていき楽しんでアプリケーションを利用していました。このような背景から、本アプリケーションはダンススキル向上に対するモチベーション向上の貢献も可能であることを確認されました。