人間が相互に接続した状態で我々の知覚やコミュニケーションはどのように変容するのか？
SonyCSL笠原研究員とYCAM（山口情報芸術センター）は共同で未来のテクノロジー環境におけるコミュニケーションについて体験者と共に探索するワークショップを開発しています。
未来のテクノロジー環境として、すでに始まっている、ネットワークとの常時接続や、ウエアラブル、個人体験の共有、といったキーワードを外挿的に考えた時、「視点映像という非常にパーソナルなメディアを、複数人間で相互に交換することで、人間同士を接続する」という可能性に行き着きました。視覚を通じて相互に接続した状態の人間の知覚やコミュニケーションの変容を明らかにするために、「視点交錯おにごっこ」や「視点共有うろおぼえがき」など、エンターテイメントとして楽しみながらも、議論ができるワークショップ・システムを開発しています。
Parallel Eyes : Exploring Human Capability and Behaviors with Paralleled First Person View Sharing
Parallel Eyes システム
４人の視点共有
Parallel Eyes では視点共有ゴーグルを装着します。これは、スマートフォンを利用したヘッドマウントディスプレイであり、ネットワークで接続された４人分の一人称視点のカメラ映像が同時に表示されます。
Who watches whose sight.
視点共有ゴーグルには、もう一つの機能として視線検出をすることができます。これにより、それぞれの参加者が同時に表示されている視点映像の、誰の視点を見ているのか、リアルタイムに測ることができます。この情報は行動のリフレクションとワークショップ終了後の分析に使用します。普段意識しない目の動きを可視化することで自分の行動を客観的に振り返ることができます。視点共有状態において参加者が他者の視点をどのように利用し、意識的・無意識的に影響を受けていったのかを分析することができます。
Activity.1 / 視点共有うろ覚え描き
自分の記憶だけで「バラ」って漢字書けますか？
誰しも自分の記憶だけを頼りに、「聖徳太子」や「日本地図」を描いて、と言われたら自信を持って描けないかもしれない。しかし、同じことをしている人の視点が同時に、しかも相互に見えていたら、”わたしたち”は思い出して描く事ができるのでしょうか。
参加者はヘッドマウントディスプレイを装着し、参加者4人全員の視点映像が同時に見えている状態で"夏目漱石"や"日本地図"をうろ覚えで描くゲームをします。すると、「他者が描いているものを参照し、意識的に、もしくは無意識的に自分の描くものに反映していた」、「本来無いような絵の要素が、ある一人から継承されて知らずのうちに自分も書いていた」と言った振る舞いが発生します。まさに、自分の記憶を頼りに描いていたお絵かきが、いつのまにか”みんなの記憶”を使って描いていた、ということが起きるのです。
Activity.2 / 視点交錯おにごっこ
オニに追われている自分" を "自分"が見ている
我々人間は普段、自分の視点で自分の身体と環境を見ています。では、視点共有状態で、他人の目を通して自分自身と環境を見ることができたときに、私たちの脳は複数の視点を統合して見ることができるようになるのでしょうか。
「視点交錯おにごっこ」では、参加者はヘッドマウントディスプレイを装着し、ダンボールの仕切りで作られた迷路のようなステージで「おにごっこ」や「こおりおに」をします。しかし、普段とは違い、おにを含めて参加者4人全員の視点映像が同時に見えている状態でゲームをします。一見すると、非常に複雑な視覚状態になりますが、しばらくすると、自分の視点映像に加えて、他者の視点映像をどのように使ってゲームをするかが感覚的にわかってきます。いわば、複数の人の知覚を相互に交換・共有することで、自分の知覚や能力が拡張されたような状態を体験することができます。
「未来」の問いを「いま」考える
Collaborative workshop based research
SonyCSL＋YCAMで行う、JackInワークショップ シリーズ（2015年3月から開発スタート）では、人が人に「ジャックイン」する新しいコミュニケーションの形を探索し、ワークショップを通じて人間の能力や感覚の変化を参加者とともに探っていきます。このワークショップシリーズの目的は、参加者自身がウエアラブルテクノロジによってもたらされる感覚を体感し、エンターテイメントとして楽しみながらも、実感のある「問い」として提示し、議論できるリサーチプラットフォームをつくることです。
Technology probe
新しいメディアテクノロジーがもたらす変化は概して予測が難しく、利便性の向上や我々能力の強化と共に、コミュニケーションの変化やプライバシーの問題など、私たちの生活に予想外の恩恵と影響を与える可能性があります。私は、それらの不確定な事象を悲観的な立場ではなく、積極的に捉えてテクノロジの研究開発を行うと同時に、将来のテクノロジの享受者が、このような変化に対して受動的にならずに、能動的／自律的にテクノロジと向き合う力を育むようなメディア教育にも貢献したいと考えています。テクノロジがもたらすであろう、新しい人間の能力や身体感覚について、実感を伴った「問い」を持ち、議論するために何をするべきなのか。これらを探索・実行するための開発・研究を行っています。
Research papers
CHI 2016 paper : dl.acm.org/citation.cfm?id=2858495
Exploring Human Capability and Behaviors with Paralleled First Person View Sharing
What if we could directly connect our sight and share it with other people? Could we extend our embodiment? Complement our memory? And/or extend our perception?
Our research explores how to expand the human capability by sharing perspectives of multiple people in real time. We provide a system that allows a person not only to see his own perspective but also to see other people’s perspectives at the same time. We conducted workshops focusing on two activities, "Drawing with Faint memory,” and “playing a tag game.”
Parallel Eyes : Exploring Human Capability and Behaviors with Paralleled First Person View Sharing
Parallel Eyes system
Four shared paralleled perspective
Parallel Eyes system is a technology probe for creating a mutual visual shared parallel experience. Users wear a head mounted display which shows shared videos of each other's perspectives as well as one's own perspective in realtime.
Who watches whose sight.
For realtime observation, the reflection upon behaviors, and post analysis, we embedded a small IR camera and IR-LED into the head mounted smartphone goggles to capture the single eye image. Then we implemented an eye tracking system with standard computer vision pupil detection. This allows researchers and audience of the workshops to observe and interpret the relationship between behavior of participants and eye movement. Therefore, we can carefully observed what they do as they consciously and what is happening unconsciously.
Activity.1 / Drawing with faint memory
Can you draw "the Statue of Liberty"? without any hints but others perspective.
No one would draw with complete confidence, even it's well-known landmarks or popular animals. However, if we could share our perspective each other, can WE draw it with OUR memory? Our researches revealed that participants referred to each other and complemented the elements of each other's drawings.
Activity.2 / Game of tag
I see that I am chased.
We human usually have sense of own body with own perspective. However, what if technology one day connects our perspective each other, can we acquire and develop behaviors with new form of perspectives? We designed the ``game of tag" with Parallel Eyes in which participants play a simple chasing game in a specially designed field. Observation of actual games revealed that people can develop their viewing behaviors to understand their own physical embodiment and spatial relationship with others in complex situations.
Playfully Probing the Future of perspective
We designed workshops to create a process whereby participants can become more than just passive bystanders to the changes wrought by technology. By enabling direct immersion in the development process, we hope to promote illuminating insights into the impact of new technologies, based on first-hand experience.
Technology probe
It is often difficult to predict the changes that new media technologies will bring. We may anticipate greater convenience and enhanced capabilities, along with changes to the way we communicate and even an impact upon our privacy, but these can be accompanied by unforeseen effects—both positive and negative—on how we live our daily lives. We choose not to approach these unexpected phenomena from a position of pessimism, preferring instead to proactively bring future technologies under development in the lab to users as early as possible. This serves to cultivate an active, rather than passive, engagement among users when it comes to the process of change. We want people to experience first-hand the new human capabilities that technological progress promises and which we encourage them to explore, assess and discuss.
Collaborative workshop based research
In order to promote that level of engagement between users and emerging technologies, in 2015 Sony CSL and YCAM began a research journey from an inter-personal communication framework "JackIn" that is advocated by Sony CSL researchers. We combine the interactive systems and expertise in media-education workshop design, thereby creating a research platform that gives workshop participants the chance to experience and consider the enlightening effect of new technologies.
Research papers
CHI 2016 paper : dl.acm.org/citation.cfm?id=2858495
