新型コロナウイルスの世界的な流行に伴い、オンライン飲み会やオンライン会議など、私たちの生活においてもコミュニケーションの在り方が変わってきた今、KDDI総合研究所が、触覚技術を活用し、離れた人とでも「すぐ隣にいる感覚」が共有できるソファ「Sync Sofa（シンクソファ）」を開発した。
それはいったいどのような仕組みで、どんな体験ができるソファなのか。開発に至った経緯や今後の展望など、KDDI総合研究所の開発チームに話を聞いた。
左奥から、KDDI総合研究所 今野智明（映像技術）、大久保翔太（音響技術）、堀内俊治（音響技術・人間中心設計）、田島優輝（触感技術）Sync Sofaとは
―――あらためてSync Sofaとは、どんなソファなのでしょうか。
堀内：Sync Sofaは、視覚、聴覚、触覚という3つの感覚を上手に組み合わせることで、離れていてもすぐ隣にいるような体験ができるソファです。相手の等身大の映像と声に加え、ソファに座った時の振動や動き、背中をなでられる感覚など、相手の動作や反応によって生じる音と振動を伝送してリアルに表現します。
堀内：また、座ったまま背面にもたれかかったり前かがみになったり頭の位置を変えると、その動きに応じて相手の見え方も変わるという立体的な視点に加え、相手との距離に応じて声の聞こえ方も立体的に表現されるので、触感とあわせ、コロナ禍で減っている「触れ合いを感じるコミュニケーション」を体験することができるソファです。
Sync Sofaの仕組みは？
―――実際に体験しましたが、本当に隣に人が座っている感覚が伝わってきます。どのような仕組みでこの感覚を再現しているのでしょうか。
堀内：仕組みとしては、送信側と受信側に分かれていまして、送信側にいる人の映像をカメラで撮影、声や所作音をマイクロホンで収録、振動を加速度センサーで検出して、受信側にいる体験者にディスプレイとスピーカー、そして振動アクチュエーターにより、それぞれ出力しています。
堀内：ここで大事なポイントとして、ただ単にカメラ、マイクロホン、加速度センサーのデータを独立して出力するだけですと、なかなか自然な座ったときの感覚になりません。そこで、分野間で連携しつつ、分野ごとに細かい調整を入れていきました。
大久保：まず音響と触覚をメインに説明させていただきます。送信する側の音響としては声を拾うマイクロホンと、身体の動作や衣擦れの音など所作音を拾うマイクロホンの2種類を用意し、触覚としては動作を拾う加速度センサーを配置してあります。受信する側には、音響として相手の声を出すスピーカーと、所作音を出すスピーカーの2種類、触覚として動作を提示する振動アクチュエーターを用意しています。
触覚を提示するにあたって、加速度センサーを使った送信側の動作の情報と、マイクロホンによって拾った所作音の情報を混ぜることで、受信側にある振動アクチュエーターに出力するという構成です。シンプルにそのまま収録した音と振動を出力しているのではなく、収録したデータを整理し、最適なタイミングでそれぞれを出力する仕組みになっています。
KDDI総合研究所 大久保翔太（音響技術）大久保：特に苦労したのが、所作音用マイクで収録したデータの切り分けです。マイクロホンが所作音だけでなく声も一緒に拾ってしまうので、その切り分けが必要でした。所作音用マイクのデータをそのまま振動アクチュエーターに出力すると、声に反応して揺れるミュージックフラワーのようなソファになってしまいます。声のデータを出力しないように、加速度センサーが反応しているかいないかで所作音をどう分離していくかというチューニングは、難しくもありましたが、楽しい部分でもありました。
触感の出力では、シンプルに加速度センサーが拾った揺れを振動アクチュエーターに出力すると、隣の人から来る少し離れた振動でなく、ドン！という強い振動を伝えることになってしまいます。「隣に座った人から来る振動」ならばもっと優しい振動になるはずです。それを表現するために、少しだけ揺れて減衰する振動を提示しようと思い、どのように表現するかにも苦労しました。試行段階では、余韻を残しすぎてブルブルといつまでも震えているようなソファになってしまったこともありましたが、最終的には、所作音と振動アクチュエーターとを混ぜて減衰を調整することで、よりリアルな振動を再現できたというわけです。
ーーー映像に関してはいかがでしょうか。
今野：映像に関しては、被写体をカメラで撮って、その映像から人物を抽出して背景と合成して出力していますが、こちらもそのまま撮った映像を出力するのではなく、CGでつくった3Dの背景と合わせることで、その場にいるような立体的な映像表現をしています。体験する人の頭の位置を3Dセンサーで捉え、見る人の視点に応じて変化させた映像を都度、出力しています。
ーーー送信側の撮影は、3Dカメラで撮っているのでしょうか？
今野：2Dカメラで撮ったものを3D空間に合成することによって立体的に見せていますが、事前に収録するオフラインのコンテンツであれば、複数台のカメラで撮ったデータから人物の3Dデータを作って3D空間に合成することも可能です。今回特に視覚で貢献できたと思うのは、体験者の頭の動きで見え方が変わるインタラクション要素を入れることによる臨場感だったのかなと思っています。
あとは、映像が遅い、振動が早い、というように、実際に3種のデータを出力するタイミングを合わせるというのも苦労しましたね。データとして正確なタイミングで出すというより、体験としてより実際の感覚に近いほうに調整していくという過程を繰り返しました。
KDDI総合研究所 今野智明（映像技術）ーーー映像、音感、触感のすべてのデータをどのタイミングで出すかの調整は大変そうですね。その制御システムも新たに開発したのでしょうか。
堀内：はい、一からつくりました。それぞれの出力制御ソフトはもちろんあるのですが、3種のデータを統合して制御するというシステムは今までにまったくないものなので、自分たちで開発したシステムを利用しています。
―――そこまで細かく調整した結果、このリアルな体験が生み出されたのですね。
大久保：コントロールでいえば、2か所に埋め込んだスピーカーを使い、体験者の頭の位置によって再生する音の位置も細かく変えています。より臨場感を出せるよう、映像内の人の位置をトラッキングして、映像内の顔のあたりから声が出るように調整しました。体験者との距離も検出していますので、顔を近づけると吐息音まで感じられるような、そんな調整も入れています。
堀内：人間は五感のうち、特に視覚に引き寄せられる効果が大きいので、映像と合わせると、本当に近くで耳元でささやかれているような体験になるんです。
Sync Sofa開発のきっかけ
―――そもそもなぜ、開発しようと思ったのでしょうか。
田島：KDDI総合研究所の活動として、2030年の近未来に向け、XR技術の分野において五感の再現・表現技術の研究開発を進めているなかで、2021年3月に「Sync Glass（シンクグラス）」という、遠くにいる人と乾杯やお酌の感覚を共有できるグラスを開発しました。Sync Glassである程度の触覚技術の手応えを感じつつ、またもう一方で、物足りなさも感じていたので、次はもう少し大きな体験をやりたいと考えました。
Sync Glass（シンクグラス）田島：とはいえ大きな体験として箱モノまでやってしまうと、その体験をするために毎回準備するのが大変です。そこで、家のなかで気軽に使えて、なおかつ人と人とのコミュニケーションをつなぐことができないかと、家具に注目しました。
堀内：最初はダイニングテーブルの構想もあったのですが、議論を繰り返すなかで、家庭の中心にあって、肌に触れていて、人と人とのコミュニケーションの中心になっているもの…と考えていくと、自然に「ソファでやろう」という流れになりました。
田島：そこからが大変だったのですが、ソファからどう触覚を出力するかを考えた際、そもそも中に何かを入れることを想定したソファって世の中にないんですよね。「ここに穴を空けて機材を入れたい」って家具屋さんに問い合わせしたら、皆さん「そんなことができるソファはないよ」との回答です。
そこでまずは家具屋さんやメーカーさんと同じく、ソファの設計図をひくところから始めました。なにせまだ世の中にないソファをつくるわけですから、触覚の研究とはまた違う、手探りのスタートです。制作するために必要なパーツの選定や取り寄せなども繰り返した結果、おかげで今では型番を見るだけで、どんな家具メーカーのどんな部品かまでわかるようになりました。
KDDI総合研究所 田島優輝（触覚技術）田島：そこから実際にソファをつくり始めたのですが、ボツ案もいろいろありました。機材をなかに入れるのが難しければクッションはどうか。そこで気持ちを表すハート型クッションから始まり、人型クッションなんかもあったのですが気持ち悪いと一蹴され、トライアンドエラーを繰り返しながらようやく今のソファの形に集約されたのですが、今度は座り心地が悪いと言われ…。俺たちは家具のプロじゃないんだぞ、と半分冗談を交えながら、なんとか違和感なく使える形にまでつくり上げることができました。
触覚技術の活用によるコミュニケーションの進化とは
ーーー今後、このように触覚を含めたXRによる遠隔コミュニケーションは、どんどん増えていくのでしょうか。
田島：メタバース（インターネット上の仮想空間）のサービスでもグローブを使って手を触れ合うというのはすでにあるのですが、今の世の中の触覚技術のほとんどは、手の触覚に特化したものになっています。とはいえこの手の感覚というのはとても賢くて、過去の触った感触を覚えているので、なかなかだましにくい感覚です。そう考えるとグローブが普及するのはもっともっと先で、先に普及するのは視覚に引きずられやすい、手じゃないところで接触するものかなと思っています。
堀内：さらに今後デバイスの進化で体験できることも増えると思いますが、一方で、コミュニケーション課題を解決するという点においては、今回のSync Sofaと同様に、体験者がデバイスを装着しなくてよい方法を考えたいですね。オペレーション支援や作業のサポートなど、ビジネス利用であればまだVRゴーグルやグローブでもいいと思いますが、対人コミュニケーションの場面においては、使う人が機材を身体に付けず、気軽に体験できるものにしたいという考えを、今後も大事にしていきたいと考えています。
KDDI総合研究所 堀内俊治（音響技術・人間中心設計）ーーー通信の進化で期待できるところはありますでしょうか。
堀内：リアルタイムの体験を考えますと、5Gの特長でもある低遅延な通信はコミュニケーションのズレがなくなる上でも必要な条件です。あとは5Gが普及すると、Wi-Fiのある屋内だけでなく、屋外など体験できる場所を問わずに新しいコミュニケーションを提供できる環境になることが、今後期待できるところだと考えています。
田島：触覚に限っていえば、今以上に高速な通信が必要です。たとえば握手をするときの強さって、普通に握手すれば相手もちょうどいい力で握り返してきますが、なぜちょうどいい力で握手できるかというと、人間の手が賢く、握った瞬間に強い弱いの判断を行い、調整しているからです。この判断は1m sec（1000分の1秒）レベルの世界で制御しているのですが、この瞬時の調整ができないと、押し合ったり肩をポンポンたたいたりするような接触コミュニケーションは再現できません。5Gになることでようやくこの人間の身体が行う一瞬のデータのやり取りをできるようになり、6Gの世界になると、さらによりリアルな触覚が再現できるようになると思います。
ーーー今後の展望はいかがでしょうか。
堀内：Sync Sofaに関していえば、今は片方向の体験ですが、コミュニケーションとしてはやはり双方向の体験まで実現できればと考えています。双方に同じ機材を備えることは簡単にできますが、ひとつのソファに送信装置と受信装置の両方を備えると音や振動のエコーやハウリングが生じます。これらを制御、調整していくことが課題であり、解決すべきポイントの一つです。
田島：今回Sync Sofaを体験して自分でも驚いたのは、単なる映像と音と触感の再現でなく、隣に座った人の雰囲気まで伝えることができたということです。今回デモで収録したモデルの女性はとても元気な人だったのですが、Sync Sofaで横に座って試しても、元気のいい人だなというのがそのまま伝わってきました。
田島：この雰囲気が伝わるというのが今までのメディアの歴史から見てもすごい進化だと思っています。音を伝えることができるようになることでラジオが生まれ、歌や音楽のセンスを持っている人が注目される世の中になりました。次にテレビが生まれ、おもしろい動画や感動する映像を生み出せる人に注目が集まり、そして今後は雰囲気を伝えるメディアが生まれてくると、なんとなく一緒にいると楽しい人や安らぐ人など、今とはまた別の才能やライフスタイルを生み出すんじゃないか。そういう新しい文化を作っていきたいというのが今後の目標です。
―――通信や技術の進化により、便利なだけじゃなく、新たなコミュニケーションやライフスタイルが生まれてくる。今後のKDDI総合研究所の発表に期待したい。
- もっと知りたい
- KDDI Accelerate 5.0とは
- もっと知りたい
- 触覚研究者インタビュー動画”Sync Glass”と”Sync Sofa"
※掲載されたKDDIの商品・サービスに関する情報は、掲載日現在のものです。商品・サービスの料金、サービスの内容・仕様などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。
