ソニーコンピュータサイエンス研究所（ソニーCSL）は応用可能な基礎研究により人類・社会の発展に貢献することを目的に1988年に設立され、今年で30周年を迎えました。これを記念し、2018年10月23日（火）- 24日（水）の2日間、ソニーCSLにてオープンハウス2018を開催し、2日間で社内外から約2000人の参加者が集いました。
受付を済ませると、ソニーCSL社長 兼 所長の北野のメッセージが出迎えます。
３階の展示の様子
高安秀樹は、「金融市場におけるディーラーの戦略分析」のテーマで、為替ディーラーの売買注文の動きが分子の動きと似ていることなどを例にとりつつ、物理学の考え方を用いて金融市場戦略を人工知能（AI）が策定することの有効性と将来性を分かりやすく説明していました。
ミカエル・シュプランガーは、「Symbolic Machine Learning for Developmental AI and Natural Language Processing」のテーマで展示。人の新生児が新しい経験をすることにより、新しい現象を説明しようとして自発的に言語習得していくように、AIロボットも自発的に言語習得していくという発達的なAIを紹介。言語はどのようにして生まれ進化してきたかを解明する取り組みです。
古屋晋一は、「音楽演奏科学センター」というテーマで、脳と身体の動作原理に基づいた適切な身体の使い方や練習法・指導法を研究することにより、音楽家の故障を予防し、さらには演奏表現の進化とそれを持続可能なものにする狙いを説明。ピアノを使ったデモを奥貴紀とともに行いました。
舩橋 真俊は、「協生農法 －人間による生態系の拡張」をテーマに、この地球を真に持続可能な軌道に戻すには、今の食糧生産のシステムである慣行農法を根本的に改革する必要があること、そのためには生態学と農学の科学的な定式にのっとり、テクノロジーを使った農場での実践と実験室での解析をお互いにフィードバックさせるような試みがますます重要になることを説明していました。ハーブの香りに満ちた展示スペース内で、南智之らとともにARを用いたデモなども行い、来訪者からはこの農法の実践を視野に入れた具体的な質問も出るなど、関心の高さが伺えました。
佐々木 貴宏は、「超大規模な資産の長期運用におけるAI活用 - ロバストなマネジャー・ストラクチャー実現に向けたDeep Learningによるファンドの行動分析 -」というテーマで、年金積立金管理運用独立行政法人（GPIF）とのプロジェクトである国民年金資産のAI支援運用について、原理的施策とより高度な運用を現実化させる方向性について紹介しました。
オープンハウス初日にプレス発表された「ICカードを利用した仮想通貨ウォレット」の展示。福原寛重は、その仕組みである、ICカード内部での鍵の生成、安全な保護、署名処理などについてデモを通して紹介しました。
吉田 かおるは、「食と薬の境を探る」のテーマで、分子生物学など多角的アプローチで進める研究の成果を基に、中医薬膳の考え方をベースに食養を考えることが欠かせないと訴えました。
茂木 健一郎は「脳の情報処理、知能、意識、個性」をテーマに展示。多くの方から質問を受けていました。
２階の展示の様子
暦本 純一「Human-AI Integration」のブースでは、既存のスマートスピーカーに声を発せずに口パクに命令できる無発生音声インタラクションのデモと、テレビの映像を認識してその映像の周辺映像を自動生成してテレビ周辺に映すという深層学習を利用した視覚体験拡張システムの二つのデモがあり、いつものことながら大賑わいでした。
アレクシー・アンドレは、「空間を飾る音楽」というテーマで、音楽を聴く人が「時間」のみならず「空間」をも実際に歩きながら楽しめるという新しい音楽の楽しみ方を提案し、次世代エンタテインメントの可能性を示しました。
笠原 俊一は、Super + Perception（知覚）の造語からなる「 Superception」（スーパーセプション）という工学的に知覚や認知を拡張・変容させる研究に基づき、インタラクティブシステムを制作。それによる知覚能力強化や、他者との共感を生み出すことを試みています。この日は、自分の意志によって身体が動く前にコンピュータによって「動かされた」としても、その行為を「自らが行った」と知覚することがあるという知覚の境界を体験できるデモが大好評でした。
来訪者アンケート回答で人気だった「CALCを支える先端技術」を説明する磯崎 隆司（写真左から3人目）。ソニーCSLが開発した独自のAI技術「CALC」は、現在、株式会社電通国際情報サービス、クウジット株式会社、ソニーCSLの3社により製品化され、大規模データ解析サービスとして事業展開しています。
他の展示
「ソニーCSLの研究成果や技術を売り込む」というテーマの展示（右）。（（左から）テクノロジープロモーション＆デプロイメントオフィスの松阪 郁子、夏目 哲、柏 康二郎）
この他、オープンエネルギーシステム(OES)プロジェクトからは再生可能エネルギーを主電力源とする安定的な電力システムの開発と事業化の方向性について説明し、データサイエンスラボ（DSL）はソニーグループ内でのデータ分析教育の提供内容を紹介していました。また、ソニーCSLとソニーネットワークコミュニケーションズ株式会社との共同プロジェクトである「Cybernetic Factory Project」は、AIやビックデータ解析を使ったソニー独自の製造ソリューションを開発・サービス提供する内容を紹介するなど、事業に直結するプロジェクトの説明も多くの来訪者の注目を集めていました。
ソニーCSLパリからも参加
今年で設立22周年を迎えたソニーCSLパリのメンバーも１１件の研究展示を行いました。ソニーCSLパリでは、複雑系科学、データ科学、AIなどのツールを用いて、音楽の理解と創作、言語とコミュニケーションシステム、持続可能性、イノベーションダイナミクスと創造性といった多彩な分野における研究が行われています。
マティアス・ドゥムクロンは、エマニュエル・デルティーとの研究でディープラーニングを用いたリアルタイムオーディオイコライザーの「AutoMix」を説明。楽曲がクラシックであれポップスであれ、ミクシングの技術と経験と機材が無くても音楽プロデューサーになり新たな音楽表現を創造することができることを、デモを通して紹介していました。
ガエタン・ハジェレスとテイス・バザンの研究展示で、AIを使って作曲した楽曲のデモで体験者からの質問に回答するバザン（写真中央）。
レミ・ヴァン・トレップ（右）の展示「Deep Semantic Processing」
この他、ベルナルド・モネーキの「Kreyon City」ではカラフルなブロックを使いゲーム感覚で都市計画を練り社会システムをモデリングする実証実験を紹介。文化的なイノベーションでは、ピエトロ・グラビーノの物語を創作するシステム「Creastoria」、CSLパリとローマ大学の共同プロジェクト「Rubedo」、農業では、ピーター・ハナッペの「Robotics for microfarms」、デイビッド・コリオーの「Crop monitoring for microfarms」、音楽ではシュテファン・ラトナーの「DAWGen」などが展示されました。
ソニーCSLからスピンアウトした事業の紹介
ソニーCSLの研究成果を基に開発した技術を事業化しスピンアウトした会社の展示も３件ありました。株式会社ソニー・グローバルエデュケーションが展開するソニー教育事業サービスの展示、ギリア株式会社による会社紹介と導入の事例紹介の他、クウジット株式会社は「CALC:意思決定を支援するAI」をテーマに、CALCを活用した事業企画や技術協力をしている内容などを紹介しました。
おわりに
今回のオープンハウスは、設立30周年を記念して開催しました。コンピュータサイエンスから始まり、オープンシステムサイエンスへと研究のアプローチを広げ、今や研究領域は幅広くかつ深化しました。どのテーマも研究者やプロジェクトメンバーのイマジネーションと意思が感じられる力のこもった展示内容でした。オープンハウス2018が、来訪された方々にとって、ソニーCSLでの最先端の研究成果とその根底にある研究者の妄想を深く知っていただき、ともに人類の未来のための具体的な行動へと具現化する機会となったことを願います。次の開催は３年後に予定しています。
デモンストレーション内容
3階展示
金融市場におけるディーラーの戦略分析（高安 秀樹 ）
情報幾何学と機械学習の新展開（フランク・ニールセン ）
食と薬の境を探る（吉田 かおる ）
Symbolic Machine Learning for Developmental AI and Natural Language Processing （ミカエル・シュプランガー ）
未来を肌で感じましょう（ナターリア・ポリュリャーフ ）
ソニーCSLでの10年の調整 ー 道具的価値から内的価値へ ー (桜田 一洋 )
音楽演奏科学センター（古屋 晋一 ）
協生農法 ー 人間による生態系の拡張 ー（舩橋 真俊 、南 智之 ）
Crop monitoring for microfarms （デイビッド・コリオー ）
3D Plant scanner （ティモテ・ウィンツ ）
Robotics for microfarms （ピーター・ハナッペ ）
Deep Semantic Processing （レミ・ヴァン・トレップ ）
Creastoria （ピエトロ・グラビーノ ）
Rubedo (CSLパリとローマ大学の共同プロジェクト)
Citychrone （ベルナルド・モネーキ ）
Kreyon City （ベルナルド・モネーキ）
投資型医療で高齢社会を支える（山本 雄士 ）
酵母・食・健康 （吉田 由紀 ）
超大規模な資産の長期運用におけるAI活用 - ロバストなマネジャー・ストラクチャー実現に向けたDeep Learningによるファンドの行動分析 - （佐々木 貴宏 ）
ICカードを利用した仮想通貨ウォレット （福原 寛重 ）
脳の情報処理、知能、意識、個性 （茂木 健一郎 ）
2階展示
Human-AI Integration （暦本 純一 ）
進撃の義足 （遠藤 謙 ）
Wikitopia: 「みんな」でつくる未来都市 （竹内 雄一郎 ）
エネルギーをみんなに、そしてクリーンに / 持続可能な生活基盤、持続可能な開発（OESプロジェクト ）
機械学習を用いた映像技術 （大和田 茂 ）
Superceptionー超知覚 （笠原 俊一 ）
「空間を飾る」音楽 （アレクシー・アンドレ ）
研究をいかに社会実装するか （Technology Promotion & Deployment Office ）
宇宙光通信 （SOLプロジェクト ）
データ分析教育 （Data Science Laboratory）
ソニーの教育事業 （株式会社ソニー・グローバルエデュケーション ）
ギリア株式会社 会社紹介と導入事例 （ギリア株式会社 ）
CALCを支える先端技術 （磯崎 隆司 、野田淳史 ）
CALC: 意思決定を支援するAI （クウジット株式会社 ）
カスタマーサポートのAI化（C3POプロジェクト ）
Cybernetic Factory Project (Cybernetic Factory Project )
Flow Machines ー 機械学習を用いた音楽制作活動 ー(Flow Machine Studio Tokyo )
Interactive Music Generation （ガエタン・ハジェレス ）
AutoMix （エマニュエル・デルティー ）
DAWGen (シュテファン・ラトナー )
メディアカバレージ
オープンハウスにはメディアの方々にもご参加いただきました。公開されたものをここにご紹介します。
■日経電子版 映像 2018年10月23日「ソニーの農業、ソニーの義足、研究所を公開」
■ITmedia NEWS 2018年10月24日 「口パクの「Alexa, play music」で音楽流す ソニーコンピュータサイエンス研究所がデモ公開」
■Gizmodo 2018年10月24日 「プロのピアニストの技術を可視化したら音ゲーっぽいかも」
■Gizmodeo 2018年10月24日 「庭も3Dプリントできる未来。手入れも楽だし、公園や農園までプリントできるかも」
■Gizmodo 2018年10月25日 「トガった技術の祭典！先端研究があつまるソニーCSLオープンハウスに行ってきた」
■電化新聞 2018年11月5日号 「ソニーCSLがオープンハウス 創立30周年を記念し東京で開催」
On October 23-24, Sony CSL held its Open House 2018 to celebrate the 30th anniversary since its founding. Approximately 2,000 visitors from within the company and externally made the trip to catch a glimpse of this groundbreaking research that is seeing global attention. This report brings you inside the Open House event, which was brimming with visitors' enthusiasm.
A Look at the 3F Exhibits
Hideki Takayasu
Under the theme of “Strategy Analysis of Dealers in Financial Markets”, this exhibit explained, in layman's terms, the effectiveness and future applications of using artificial intelligence (AI) to determine financial market strategies through the principles of physics. Examples given were how trends in buy-sell orders placed by exchange rate dealers resembled the movements of molecules.
Michael Spranger
An exhibit on the theme of “Symbolic Machine Learning for Developmental AI and Natural Language Processing”. Just as how newborn babies spontaneously learn languages in order to explain the new phenomena and experiences they encounter, Spranger introduced a developmental AI robot that also spontaneously learns languages. This project attempts to unravel and understand the way in which language comes about and develop.
Shinichi Furuya
At the “Center for Music Excellence” exhibit, Furuya explained how by conducting research into practice methods and guidance of the proper ways of using the body based on the movement principles of the brain and body, it is possible to prevent injury to musicians, and even possible to evolve and sustain what is possible with performative expressions. He also held a piano demonstration alongside Taranori Oku.
Masatoshi Funabashi
In “Synecoculture – Human Augmentation of Ecosystems”, Masatoshi Funabashi explained that in order to return the planet to a more sustainable track, we need a fundamental transformation of the current agricultural practices by which we acquire our food. To do so, it will be increasingly crucial to adopt formulas from the studies of ecosystems and agriculture, analyze practical trial and laboratory trials conducted on farmlands using technology, and attempt to feed them back into each other through technology. In an exhibition space that was teeming with the smell of herbs, he carried out an augmented reality (AR) demo alongside Tomoyuki Minami and answered specific questions from visitors regarding this agricultural method. Visitors' interest was palpable.
Takahiro Sasaki
This exhibit's theme was “Applying AI to Large-Scale Long-Term Asset Management - Analysis of Funds' Behavior by Deep Learning toward Realizing Robust Manager Structure”. He introduced a joint project carried out with the Japanese Government Pension Investment Fund (GPIF) which uses AI to support the management of citizens' pension assets, and discussed methods of making this sort of advanced management a reality through fundamental policies.
On the first day of the Open House, the “IC Card Based Cryptocurrency Wallet” was announced to the press. Here, Hiroshige Fukuhara explained the methods behind this, going over the way keys are generated, secure encryption, signature processing, and more using a demonstration.
Kaoru Yoshida spoke on the theme of “Exploring the interface between food and medicine”. Based on the results of research approached from multiple angles including molecular biology, she asserted the importance of considering nutrition from the perspective of traditional Chinese nutritional medicine philosophies.
Kenichiro Mogi 's exhibit was “Information Processing in the brain: intelligence, consciousness and personality” He fielded questions from a large number of visitors.
2F Exhibits
Jun Rekimoto
The “Human-AI Integration” booth featured two demos: “voiceless interaction” demonstrated how orders could be given to existing smart speakers through lip-synched movements, while a “visual experience expansion system” used deep learning to recognize images on one TV, and automatically generate those same images and display them on neighboring televisions. As usual, this booth was quite packed with visitors.
Alexis André
This exhibit's theme was “Music Decorats Space”. This provided a new way of enjoying music wherein listeners can experience a journey through not only time, but also space. The exhibit demonstrated the possibilities of next-gen entertainment.
Shunichi Kasahara
"Superception" (super + perception) creates interactive systems based on engineering research that can expand and modify perception and awareness. Through this, it attempts to enhance sensory capabilities and generate sympathy towards other people. The demo on display allowed visitors to experience the borders of perception, as a computer generated movement was perceived by users to have occurred of their own volition. This experience was highly praised.
Takashi Isozaki(Third from the left)
The “Advanced Technologies for CALC” exhibit proved very popular according to visitor surveys. CALC, a unique AI technology developed by Sony CSL, has been commercialized by three companies: Information Services International-Dentsu, Ltd., Koozyt, Inc., and Sony CSL. This business is being developed as a large-scale data analysis service.
Other exhibits
(right) An exhibit on the theme of “Selling the results and technology from Sony CSL's research.” (From left: Ikuko Matsusaka, Tetsu Natsume, and Kojiro Kashiwa of Sony CSL Technology Promotion & Deployment Office)
Aside from the above, the Open Energy System project explained its efforts to develop and commercialize a stable electrical system that used sustainable energy as its primary energy source, while the Data Science Lab introduced the content it offers for data analysis education within Sony Group. Furthermore, the Cybernetic Factory Project, which is a joint project between Sony CSL and Sony Network Communications Inc., introduced its efforts to develop and provide a unique Sony manufacturing solutions service that uses AI and big data analysis. Such projects that tied directly into our business drew lots of attention from visitors.
Participants from Sony CSL Paris
16 members from Sony CSL Paris, which also celebrated its own 22 year anniversary, were also on hand with research exhibits of their own. Sony CSL Paris utilizes tools such as complex science systems, data science, and AI to conduct research across a wide variety of fields including musical comprehension and creation, language and communication systems, sustainability, innovation dynamics and creativity, and more.
Matthias Demoucron
This exhibit featured “AutoMix”, a real-time audio equalizer that uses deep learning, researched alongside Emmanuel Deruty. This demo showed how even those without musical technology, experience, or equipment can become a musical producer and create new musical experiences, be they classical or pop or anything in between.
At a research exhibit by Gaëtan Hadjeres and Theis Bazin, Bazin (center) answers questions from visitors who took part in their demo, which featured songs composed using AI.
In addition, Bernardo Monechi's “Kreyon City” introduced a proof-of-concept that models societal systems through a game-like demo that uses colorful blocks to carry out city planning. On the cultural innovation front, there were many different exhibits: Pietro Gravino's “Creastoria” system generates stories, while “Rubedo” is a collaboration between CSL Paris and the University of Rome. Peter Hanappe's “Robotics for Microfarms” and David Colliaux's “Crop monitoring for microfarms” had to do with agriculture, and Stefan Lattner's “DAWGen” dealt with the theme of music.
Introducing Businesses Spun Out from Sony CSL
There were also three exhibits from businesses that had spun off and commercialized technology based on Sony CSL R&D efforts. These were: “Education Business” exhibit from Sony Global Education, Inc.; a company introduction and examples from Ghelia, Inc.; and “CALC: AI for decision support” from Koozyt, Inc., which introduced efforts to utilize CALC in business planning and technological collaborations.
Closing
This Open House was held in honor of Sony CSL's 30th anniversary. Beginning with computer science, it expanded its research approach to encompass open system science, and today features a diverse and deep array of research domains. Each exhibit on display showcased the imagination and determination of the researchers and project members involved. Open House 2018 was an opportunity for visitors to deepen their understanding of the cutting-edge research results achieved at Sony CSL and the ambitions of the researchers that lie at their heart while seeing concrete examples of steps being taken towards the future of humanity. The next open house is scheduled for three years hence.
List of Demonstrations
Third Floor
Strategy Analysis of Dealers in Financial Markets(Hideki Takayasu )
Geometric Sciences of Information (Frank Nielsen )
Exploring the interface between food and medicine(Kaoru Yoshida )
Symbolic Machine Learning for Developmental AI and Natural Language Processing (Michael Spranger )
Skin senses inner beauty.(Natalia Polouliakh )
My ten-year journey at Sony CSL — From instrumental value to intrinsic value — (Kazuhiro Sakurada )
Center for Music Excellence (Shinichi Furuya )
Synecoculture — Human Augmentation of Ecosystems —(Masatoshi Funabashi, Tomoyuki Minami )
Crop monitoring for microfarms (David Colliaux )
3D Plant scanner (Timothée Wintz )
Robotics for microfarms (Peter Hanappe )
Deep Semantic Processing (Remi van Trijp )
Creastoria (Pietro Gravino )
Rubedo (Collaboration Project between CSL-Paris and Sapienza - Università di Roma)
Citychrone (Bernardo Monechi )
Kreyon City (Bernardo Monechi)
Welcoming Aging by Investing in Health (Yuji Yamamoto )
Yeast・Food・Health (Yuki Yoshida )
Applying AI to Large-Scale Long-Term Asset Management — Analysis of Funds' Behavior by Deep Learning toward Realizing Robust Manager Structure — (Takahiro Sasaki )
IC Card Based Cryptocurrency Wallet (Hiroshige Fukuhara )
Information processing in the brain: Intelligence, consciousness, and personality. (Kenichiro Mogi )
Second Floor
Human-AI Integration (Jun Rekimoto )
Attack on Prosthesis (Ken Endo )
Wikitopia: Future Cities, Built by Citizens (Yuichiro Takeuchi )
Affordable and clean energy for all (OES Project )
Computer Graphics by Machine Learning (Shigeru Owada )
Superception (Shunichi Kasahara )
Music Decorates Space (Alexis André )
Bringing research into business (Technology Promotion & Deployment Office )
LASER COMMUNICATION IN SPACE (SOL Project)
Data Analytics Education (Data Science Laboratory)
Education Business (Sony Global Education, Inc. )
GHELIA Inc. — create a shared environment for people and AI — (Ghelia, Inc. )
Advanced Technologies for CALC (Takashi Isozaki 、Atsushi Noda )
CALC:AI for decision support (Koozyt, Inc. )
Cybernetic Contact Center Project (C3PO Project)
Cybernetic Factory Project (Cybernetic Factory Project )
Flow Machines — music-making activities using Machine Learning — (Flow Machine Studio Tokyo )
Interactive Music Generation (Gaëtan Hadjeres )
AutoMix (Emmanuel Deruty )
DAWGen (Stefan Lattner )
