Changing Sense of Embodiment by Spatial-Temporal Deformation of Virtual Human Body
SonyCSL笠原研究員はコンピュータ技術を用いて人間の感覚に介入したり、人間の知覚を接続することで、工学的に知覚や認知を拡張、変容させる研究の枠組「Superception：超知覚」を研究しています。その一例として、笠原研究員とYCAM（山口情報芸術センター）は共同でコンピューターグラフィックスによる身体の仮想表現を用いた、身体感覚に関するSuperceptionの研究を進めています。
身体感覚に関するSuperception
人間の身体帰属感（Body ownership)：「これが自分の体であるという感覚」は、非常に柔軟であり、環境や道具に適応して身体感覚を拡張することができる。この感覚を、自己の身体そのもの以外に対して発生させることは、Body ownership illusionと言われる。有名な例は「ラバーハンド錯覚」と言われ、視覚と触覚の同時提示によって、偽物の手（ラバーハンド）が自分の手であると知覚するようになる。同じようにVirtual Reality空間における身体表現を自分の手であるように知覚させることが可能である。
 |
 |
そのような身体帰属感（Body ownership)の柔軟性に着目し、Virtual Reality空間で自分の身体表現の動きを時間的・空間的に変調させることで、身体の軽さや重さなど物理的な感覚の変化を生み出すシステムを開発。
Malleable Embodimentシステム
このシステムでは、モーションキャプチャスーツなどの全身の動きをリアルタイムに計測する装置を用いて、人間の動きデータ系列から仮想的に過去や未来の時刻における身体の動きを推定する。ヘッドマウントディスプレイ越しに、この時空間的に変調させた自分の身体の動きを観測すると、自分の身体そのものは変わっていないのに、自分の身体感覚に変化を感じることができる。
プロフェッショナルダンサーなどとともに、身体表現の時空間的に変調に対する感覚の変化を調査。身体的表現の時間操作に対して、時間的に近傍な未来の場合は「身体の軽さや調子の良さ」、時間的に近傍な過去の場合、「身体の重さや調子の悪さ」といった内的な変化を感じることが観察された。一方で、より大きい時間操作では「自分の身体ではない」身体への付随オブジェクトとして感じて、自身の身体感覚の変化は発生しないことが観察された。
身体感覚の工学制御の可能性
これらの結果より、仮想身体表現に対して身体帰属感（Body ownership)を保持できるように、システムを設計することで、身体感覚の制御を工学にすることができる可能性があること示唆された。これら無意識的な身体感覚制御はスポーツトレーニングやゲームにおける身体感覚の変容表現、リハビリテーションなどへの応用が期待されている。
Sense of Embodiment in Virtual Reality
Spatial-Temporal Modulation of Human Body Expressions
Utilizing computer technology, Sony CSL researcher Shunichi Kasahara is building a research and engineering framework called “Superception” (super+perception) with the intention of transforming and expanding human perception and recognition.
To showcase Superception, Kasahara has been working together with YCAM (Yamaguchi Center for Arts and Media) to research on human embodiment by making use of virtual body expressions via computer graphics.
Superception of embodiment
The feeling of body ownership — that “this is my body” — enables a malleable adaptation to an environment or tool while expanding physical sensation. Elicitation of this feeling with other than the body itself is called the body ownership illusion. A common example is the “rubber hand illusion.” By the simultaneous stimulation of visual and tactile, an imitation (rubber) hand is perceived as one’s own hand. Similarly, it is possible to have body ownership with computer generated body expressions in immersive virtual reality space.
|
|
Our focus is on making the sense of body malleable. With spatial-temporal modulation of movements that define one’s physical expressions in virtual reality space, our system will create changes in the sense of embodiment, including awareness of body weight variations.
Malleable Embodiment System
We developed a system that captures full-body movement and generates estimated past and future body movement by deformation. This system utilizes motion-capture that measures real-time body movements. From sequences of human movement data, it then estimates virtual body movements at past and future moments in time. With a head mounted display, people could see their bodies as slightly deformed. Our results show that spatial-temporal deformation of a virtual body actually changes the sense of body although the body itself doesn’t change.
We conducted a workshop study with a range of participants including those who professionally use their bodies such as professional dancers. As a general tendency, the deformation toward the near future induced lighter, nimble, and vitalized sensations. In contrast, the deformation toward the near past induced heavier, dull, and diminished sensations in motion. On the other hands, the larger deformation made participants distinguish the discrepancy between their body and the virtual body, then induced no change of internal body.
Possibility of Computational engineering for sense of body
The research results provide exciting new possibilities of computational control of how a person's body is perceived, along with associated impacts on feelings and emotions. Our results suggest the design of a system intended to maintain the sense of body ownership during virtual body expressions. Control of these unconscious sensations is expected to find application in the rehabilitation, full-body dance creation and in the process of transforming physical-sensation for sporting activities.
Talk
"Perception Engineering" Kickoff Event—Connecting Bodies
