2024年、米・Apple社より発売された「Apple Vision Pro」をご存じですか。デジタルな仮想空間がまるで現実のように目の前に広がる“空間コンピュータ”を体現した機能で、「現実世界にデジタル世界を重ね合わせられる」と大きな話題を呼んだ複合現実（MR）デバイスです。（※） 私たちはすでにスマホで現実とデジタルを行き来する世界に生きていますが、今後このようなデバイスが普及するようになると、日常生活にもビジネスシーンにもさらに大きな変化が訪れることでしょう。加えて、日本は現在「Society 5.0」を掲げ、デジタルな仮想空間と現実空間の融合による新たな未来社会の構築を目指しています。 こうした時代に、三次元画像計測や身体拡張工学などの研究のトップランナーである佐藤宏介教授は、技術を「使う側」ではなく「創る側」として、来たるサイバー社会を見つめています。今回は、MRと深く関わる佐藤教授の研究テーマである「三次元身体空間工学」を主軸に、メタバース技術の現在地と展望について解説していただきます。
INDEX
なぜ今、複合現実（MR）が注目されるのか？
MRとは何か。ARやVRとの違い、期待されること
（編集部）VRやARに続き、最近では「MR」という言葉が聞かれるようになりました。それぞれの技術の違いについて教えてください。
（佐藤先生）VR（Virtual Reality）、AR（Augmented Reality）、MR（Mixed Reality）のいずれも、基本的には現実世界と仮想世界を融合し“現実にはないもの”をユーザに知覚させる技術です。それぞれ個別に発達してきましたが、現在、総称するときにはXR（Cross Reality, Extended Reality）という言葉も使われています。
VRはゲームや動画が代表的ですね。人工的に作り上げられた仮想世界の中で、現実世界のような疑似体験ができる仕組みのことです。自分が仮想世界に入り込んでいき、その中で完結するのがVRです。
ARは拡張現実のことで、現実世界に“少しだけ”デジタル情報を重ね合わせるイメージです。VRとの違いは、ARは現実世界ありきであること。 『ポケモンGO』『ピクミンブルーム』『ドラクエウォーク』といったスマホのゲームアプリをご存じでしょうか。これらのアプリは、現実の空間に向かってカメラをかざすと、その中にCG（コンピュータグラフィックス）のキャラクターやアイテムが表示されるAR機能を搭載しています。実世界をコンピュータ技術で“少しだけ”拡張する。これがARです。
そしてMRとは、ARをさらに進化させたもの。日本語で「複合現実」と訳されます。現実空間の形状をデバイスのカメラやセンサーが3Dスキャンして再現し、その上に仮想オブジェクトをCGとして重畳する技術です。仮想オブジェクトの割合は多くても少なくてもMRと言えますが、いずれにしてもユーザにとって「どこまでが現実でどこまでが仮想オブジェクトかわからないような世界」を構築する仕組みです。
先ほどのスマホアプリの例でいえば、現在のAR技術だと、スマホ画面に映る背景が現実空間で中央に浮かぶキャラクターがCGだとすぐわかるんですが、MRは現実空間とCGの繋ぎ目がわからないように技術のレベルを高めたものを指します。MR技術においても「没入感」は重要ですが、リアルとデジタルの空間を違和感なく行き来するためのもので、完全にデジタル空間に入り込むVR技術で重要視される「没入感」とは少し違った目的と、その世界にユーザ自身の生身が居るという「存在感」を持ちます。
（編集部）完全に仮想世界に入り込むVRと、現実世界の空間を活かすAR、MRは違うのですね。
（佐藤先生）歴史はVRが最も古く、研究者による技術開発はすでに一通り決着しました。キラーコンテンツはやはりVRゲームになりますが、今はさらなる高精細化のために業界で開発が進んでいます。 一方、AR、MRは現在も大学などで基礎研究が進んでいる分野です。特にMRは最新の研究分野だと言っていいでしょう。
最新のMR技術は、すでにこんなところで活躍している！
（編集部）いちばん新しいというMRも、すでに実社会で活用され始めているそうですが、どういった事例がありますか？
（佐藤先生）業界別にいくつかご紹介しましょう。 たとえば、製造業の生産ラインでMR技術が活躍しています。作業者の視界にバーチャルなパソコン画面を重畳し、作業指示やマニュアルを確認できるようにする。この場合、両手を塞ぐことがないので、より安全に作業できるメリットがあるんですね。 他には、企業が工場を新設するといったときに、MRやVRで稼働時の製造装置と作業員の動きを合わせてシミュレーションで確かめる技術もあります。 また医療分野では、医師が手術する際に、MR技術を用いて皮下の血管や臓器を患者さん自身の皮膚上に投影することで、技術的な支援を叶えていたりしますし、医療職に就く人向けの研修として、統合失調症や認知症の人の感覚（本人に見えている世界）をMRで体感する、といったことも行われていますね。 個人的には、教科書やマニュアルを読むだけでは理解しにくい現象を、圧倒的な情報量で生々しく体験できることを考えると、MRは特に教育分野と相性がよい気がしています。
研究の最先端。ゴーグルなしでもMR（複合現実）が可能に！？
没入感が魅力のHMD。最近はグラスタイプも登場
（編集部）現在、一般的にVR／MRデバイスとして有名なものにMeta社のMeta Quest、Apple社のApple Vision Proといったものがありますが、いずれも両目をすっぽりと覆うゴーグルの形状が印象的です。
（佐藤先生）ゴーグルデバイスやヘッドセットとも呼ばれる、いわゆるHMD（Head Mounted Display）ですね。VR／MRはHMDを主流として発展してきたのでイメージが強いのは当然ですし、頭に被るタイプは特にサイバー空間への没入感が特徴的です。 ただ必ずしもゴーグルタイプである必要はなく、現在は小型化も進み、スマートグラスと呼ばれるサングラス型も登場しています。
ことMRについてお話しすると、HMDの機能を大きく進化させたブレイクスルーは、「パススルー型」というタイプが登場したことでした。これは、デバイス前面に小型カメラを搭載して、撮影した空間や自分の両手を即座に計測し、CG処理をしてリアルタイムで表示する仕組みです。この登場によってHMDを被ったままで周囲の状況と自分の身体が見えるようになり、応用の幅が大きく広がりました。ただ、現在はまだ表示する周囲の見え方や仮想オブジェクトの質感、ディスプレイの画素数に改善の余地があり、これからさらなる進化が待たれるところです。
MR＝ヘッドセットだけじゃない。暮らしにとけ込む新たなアプローチ
（編集部）MRといえばHMDという流れだった中、佐藤先生は新しいかたちのMRを開発されていると聞きました。先生のご専門の話から、そのアプローチについて教えてください。
（佐藤先生）私はシステム工学を専門としており、奈良先端科学技術大学院大学の在職時、VRを専門分野とする研究室の立ち上げに関わったことをきっかけにレーザによる三次元計測をVRに活かす研究を行ってきました。特に考古学に関する共同研究の機会に恵まれ、出雲大社境内遺跡で発見された巨大柱根の三次元計測や、エジプトの階段ピラミッドのレーザ測量調査など、三次元画像工学の知見を生かして国内外の考古遺跡や遺物の研究・保存にも精力的に携わっています。 こうした三次元画像工学の知見を生かして現在進めているのが、プロジェクションマッピング（※）を用いた新しいMRのアプローチです。 ※プロジェクションマッピング：プロジェクタ等の映写機器を用いて、立体的な物体に映像を投影し、実物と映像を融合させた映像表現のこと。
（編集部）HMDやゴーグルを装着せずにMRを使用できる技術ということですね。
（佐藤先生）これまで、VRではゴーグルを通した別世界への没入感、新感覚のバーチャル体験が高く評価され、受け入れられてきました。ですが私たちは生身の身体から逃れることができません。今後、バーチャル技術を暮らしや産業に生かしていくとすれば、仮想現実（VR）オンリーではない、現実との融合（MR）が強く求められていくでしょう。 その場合、現状のMRのままだと、使うたびにヘッドセットやサングラスを装着しては取り外すという前提がつきます。これってユーザにとって、少しハードルが高い気がしませんか？
（編集部）何かにつけてヘッドセットを被ったり外したりするのはめんどうくさい気がします。
（佐藤先生）そう、めんどうなんです。加えて、視界を覆われることに閉塞感を抱く人もいるでしょう。そこで、三次元計測の知見から研究を進めているのが三次元映像のMRへの応用。プロジェクションマッピングを使ったMRの実現です。
MR研究の現在地。人間の身体とサイバーワールドを融合して「超人」に！？
（編集部）プロジェクションマッピングを用いたMR技術の開発は、国内では佐藤先生がパイオニアだと聞いています。具体的にどういったことができる技術なのでしょうか？
（佐藤先生）現実空間に投影したオブジェクトを操作してシステムを操る技術です。その中の一つが「Extended Hand」と呼ぶ一連の研究です。 科学技術の未来予測の一つに、機械やシステムを使って人間の身体・認知能力を飛躍的に進化させようとする「トランスヒューマニズム」という思想があり、たとえば、AIを用いた視力や聴力の大幅な向上、筋力を強くアシストする装置などはトランスヒューマニズムから研究されてきた分野なのですが、「Extended Hand」もその一環といえるでしょう。
「Extended Hand」はこれまでに考案した投影型の身体拡張技術の総称で、基本的には、プロジェクションマッピングで投影されたCG映像による手腕の伸張と感覚追加です。 手のひらに何らかのメニューボタンを投影してそれをプッシュすることで操作するものや、自身の手の形を遠くへ投影して遠隔ボタンを操作するものなど、さまざまな形式のものを研究してきました。いずれも従来のようにゴーグルなどの装置を被る必要がなく、肉眼のまま操作できる点が特長です。 出典：「Extended Hand」HPより、視覚触覚フィードバックを用いた触覚感覚の提供を示す映像。遠隔地の人と将棋を指し合うこともできる。
（編集部）研究のポイントを教えてください。
（佐藤先生）現在の開発での重要課題は、映像を投影する際の三次元計測です。 我々は、壁だけでなく動く人や車にも投影することを目標としており、正面や真上のみならず、斜め位置からでも正しい形で見えるようにするには、周囲の立体物を正しく把握して、投影の際には遅延なくリアルタイムに補正する高度な技術が必要です。特に同じ空間に複数人の利用者がいるような場合、全員が同様の体験を得るためには、どの方角からでも同じように立体的に見せる技術も求められます。この技術開発が難しく、さまざまなアプローチから取り組みを進めているところです。
そしてもう一つ。ボタンを押した感触、モノをなでた感触などの触感をどう計測し再現するかですね。 現在、VR／MRの体験価値を下げているのが“触感のなさ”です。この点については、ビジュアルエフェクトを工夫することで少しでも再現性を上げられるよう研究中。たとえば、パソコン操作中にマウスのカーソルの動きが鈍くなると不思議な“粘り気”を感じる人が多いのですが、こういった感覚を利用することでプロジェクションマッピングでも触感を再現できないか、試行錯誤しています。
（編集部）デバイスを装着しなくてでも操作できるこの技術が社会実装されたとき、どのようなメリットが考えられるでしょうか。
（佐藤先生）大きな利点としては、そこにいる人たちがデバイスなしで体験を即座に共有できることです。ゴーグルが必要だと、どうしてもゴーグルを被った人でしか共有体験ができません。プロジェクションマッピングなら、同じ空間にいる全員が同じ体験を得ることができます。 またこの新しいMR技術は、従来のゴーグル型との住み分けも可能だと考えています。ゲームやリモート会議など、集中が必要なケースでは没入感の高いゴーグルタイプを。自宅のリビングで家電を操作するような気軽なケースでは、窮屈感のないプロジェクションマッピングタイプを。シーンに合わせて選択できればより便利なことは間違いないので、プロジェクションマッピングを活用したMR技術開発には手応えを感じています。
MR技術が未来社会のプラットフォームに！？
社会に貢献できるメタバースを目指して
（編集部）VR、MRを含む佐藤先生のメタバース研究は、すでに産業や福祉の領域で活用されているそうですが、どういったことを実現されてきたのでしょうか。
（佐藤先生）自動車メーカーとの共同研究だと、内装のダッシュボードをデザインするシミュレーションでプロジェクションマッピングを使ったMR技術を開発しました。 運転席に座ったときにダッシュボードの曲面がどのように見えると都合がよいか、表面の模様や色合いはどうするかといったデザイン検討は、以前であればそれぞれの粘土模型を作る必要がありました。しかしプロジェクションマッピングを用いたMR技術を使えば、運転席に座ったままそこにデザイン案のパターンを投影するだけで、簡単に複数プランを切り換えてデザインを比較検討できる。手間も時間も抑えられるわけです。
また福祉分野では、高齢者向け介護の現場でVRやMRが活用されています。たとえば、介護利用者さんにVRで昭和の世界を再現し、タイムトラベル体験を提供する。または入院患者さんに遠く離れたご家族との面会や、外出、旅行などをVR／MRの技術で実現する、といった試みを実現しました。 現在は、介護施設での使い勝手の向上のために改良を進めているところです。
日本から新たな技術を発信したい
（編集部）企業だけでなく一般ユーザも使えるようなサービスですでに生かされているのですね。 さて、国が掲げるSociety 5.0では、「サイバー空間とフィジカル空間を高度に融合させたシステムにより、経済発展と社会的課題の解決を両立する人間中心の社会」が提唱されています。佐藤先生から見てSociety 5.0の実現は近いでしょうか。
（佐藤先生）かなり近いと思います。これまでAIやメタバースなどの技術は、各分野で個別に研究が進められてきました。ですがここ数年、特に生成型AIのブレークスルーも相まって、複数の分野を包括するかたちでの大きな進化が散見されます。 この様子だとVR、MRの技術も飛躍的に高度化し、数年のうちには「会社の会議はすべてサイバー空間で。参加者は社員3人に、職業知識をフルに学習させたAIアシスタントのアバター3人を入れた計6人で」なんてことが当たり前になるかもしれません。
スマホの普及で我々の暮らしや働き方が変わったように、MR技術は、未来社会において一つのプラットフォームになりうる可能性を持ちます。現実世界とデジタル世界をスマホで行き交うようになり、今度はMR技術によってスマホ画面から離れてシームレスにつながっていく。現在はいくつかの課題がありますが、Meta社などが比較的安価なデバイスを販売しており、決してゲームだけの技術ではなく日常生活でも使用されるものになってきました。
これからの未来が楽しみですが、個人的にはすばやい変化に埋もれないよう、日本からインパクトのある技術発信がしたいですね。メタバース技術は、これまでアメリカが世界をリードしてきました。様々なプラットフォームもアメリカのビッグテック企業が中心となっています。今後、プロジェクションマッピングを使ったMRなど新たなウェルビーイングへのアプローチをカギとして、日本からもムーブメントを起こしていければと考えています。
まとめ
近年聞かれるようになったMR（複合現実）は、これまでのARやVRとはまた違い、現実世界と仮想世界の境目がわからなくなるような、まさに近未来的な技術なのですね。すでに製品シミュレーションや医療、工場作業支援など社会的にも重要な役割を果たしつつあると知り驚きました。 現在はゴーグル装着型が主流だそうですが、佐藤先生が研究されているプロジェクションマッピングによるゴーグル不要の仕組みも研究分野で注目を集めているとのこと。MRの新たな選択肢となり、さまざまな社会課題の解決に貢献することが期待されます。
【関連記事】
