JackIn Headは、”人へのテレプレゼンス”のための360度全周囲を撮影・伝送可能なウエアラブルカメラによる体験伝送システムです。装着者の全周囲映像をスタビライズして他者にリアルタイム伝送することで、他者がその全周囲映像をヘッドトラッキングHMDやスクリーンで自由に見回して観測し、装着者とのコミュニケーションすることができます。
Application
JackIn Head システムにより、旅行の同時体験やリモートアシスタントから、特殊体験のリアルタイム配信や、スポーツ観戦のエンターテイメント、プロフェッショナルトレーニングや、専門知識を要する災害や医療協調作業などのアプリケーションが可能になると考えています。
例として、CSL研究員の笠原俊一、カディンチェ株式会社、アスリートソサエティと共同でJackIn Headを用いることで、トップアスリートの一人称360度全周囲を撮影を行ってきました。
(リンク：https://www.sonycsl.co.jp/news/2670/)
参考リンク：SportsVR (http://www.panoplaza.com/movie/sports-vr/sports-vr)
Technology
Realtime multiple image stitching : 実時間複数映像合成
Realtime Omnidirectional video stabilization : 実時間映像安定化処理
JackIn Head Gear
JackIn head gearはヘッドフォーン型のフォームファクタを持ち、頭部の両側に超広角レンズが配置されています。この2つの広角カメラからの映像を小型コンピュータモジュールで合成・画像処理したのち、全天球映像を配信します。このデザインにより、映像における視線高さの一致と低重心化・装着性の向上を可能にしています。
デザイン協力：Tetsuya Konishi (exiii Inc.)
Movie
本プロジェクトは、東大暦本研との共同プロジェクトです。
(リンク：https://lab.rekimoto.org/projects/livesphere/)
JackIn Head is an immersive experience transmission system based on a wearable camera. It supports capture and transmission of 360-degree surround video, and enables human-mediated telepresence. In addition to two-way vocal communication, it supports real-time transmission of stabilized surround video from the Body, so that remote Ghosts can freely look around using a head-mounted display (HMD) or screen while communicating with the Body.
Application
This system opens the door to many possible applications, such as virtual real-time tourism and other fascinating real-time experiences. Some examples would be an immersive feed where a Ghost helps a Body prepare a meal; sports entertainment; professional training; and collaboration of experts in situations such as disasters and medical procedures.
Technology
Realtime multiple image stitching :
Realtime Omnidirectional video stabilization :
Movie
JackIn Head is a joint project with the Rekimoto Lab at the Tokyo University.
(Link：https://lab.rekimoto.org/projects/livesphere/)
