メイドイン Mixed Reality

てくいの！MR担当兼いろいろやる担当のナカ（証拠）です。

弊社では、新年度早々席替えがあり、私の右手が無事デスクトップPCの下敷きになったりして少し悲しい思いをしました。NNCチャレンジも終了し、やってやったぜ…（精度から目を逸らしつつ）というやり切った感が凄いのですが、心機一転元気を出していきましょう。

本記事では、

• AR、VR、MR分野について
• ゲーム、インターネット界隈で話題になったHololens, Hololens 2とは？

という点についてお話ししようと思います。

本記事では何かプロジェクトを制作する手順や開発環境構築、学術的なMRの話を詳細には致しません。ARやVR、MRについてゆる～～～く説明しようと思いますので、 閲覧・ご指摘頂ければ幸いです。

人類最新の魔境と呼ばれる、いまだ底知れぬ巨大な分野「Mixed Reality（複合現実）」。その大穴の縁に作られた研究開発部署には、MRの探検を担う「エンジニア」たちが暮らしていた。彼らは会社貢献のプレッシャーと引き換えに、日々の糧や超常の「アプリ」、そして未知へのロマンを求め、今日もMRに挑み続けている。

Hololens, Hololens 2 とは？

2019年2月にMicrosoft社からHololens 2が発表され、2019年4月には、実機がなくても実行動作のテストが出来るような、Hololens 2 Emulatorが発表されました。

そもそもHololens（ホロレンズ）とは何ぞ？という方に向けて、軽くMicrosoft社公式からの概要を以下に一部引用してみます。

一度により多くのホログラムを目にすることができます。業界最高の解像度で、より簡単かつ快適にテキストを読んだり、3D 画像を細部に至るまで確認したりすることができます。
自然な感覚でホログラムを触ったり、握ったり、動かしたりすると、実物のように反応します。Windows Hello で目だけを使って安全かつ即座に HoloLens 2 にログインできます。また、音声コマンドは、スマート マイクと自然言語の音声処理を通じて、雑音の多い産業環境でも機能します。

https://www.microsoft.com/ja-jp/hololens/hardware#

……そういうことね？完全に理解した。（わかってない）
VR機器やPC、HMDに知見がある方は以下Wikipediaに多少詳しい説明が載っていますので、そちらもお時間のある時にでもご覧になると楽しいかもしれません。
https://ja.wikipedia.org/wiki/Microsoft_HoloLens

以下、筆者が体験した経験からHololens 2の概要について記そうと思います。
一言で言うと、
『レンズ（眼鏡）を通して、現実世界に存在するかのようにデジタル情報を３Dで確認できる』
ということに尽きると思います。全然一言で言えていませんね。

デジタル情報を３Dで確認できる？

アニメ「harmony」、「PSYCHO-PASS」や弊社本部長が愛している「ソードアート・オンライン」、洋ドラマ「スター・トレック」など、所謂 ”SF” と呼ばれたジャンルが、”フィクション”ではなくなってきているのです。

例えるなら、目の前の上司に目を向けると、上司の機嫌の悪さが表示され、視界の端に表示されている自分の居場所を「離席中」に変え、上司に八つ当たりされる前にすみませんちょっとトイレへ…なんてことが夢物語では無いのです。

これらSFやゲームの世界観は、現社会ではAR（拡張現実）、VR（仮想現実）と呼ばれ、それらを合わせたものがMR（複合現実）と通称されています。

AR？VR？MRって？

上記で軽く紹介した、AR、VR、MRを実際の用例を交えてご紹介します。

ARとは、 Augmented Reality （拡張現実）の略称であり、身近な一例として、ポケモンGOで会社の床にメタモンたちを表示させるときに使われる技術です。現実世界をベースとして、その上に３Dキャラクターや文章などのポップアップを表示します。床や机などの平面を認識する、または人や動物を正しく認識出来るような、「画像認識」技術が使われることが多い分野になっています。

VRとは、 Virtual Reality（仮想現実）の略称であり、身近な例では、Virtual YouTuberやアバターなどがネット空間でも、現実の人間の動作や移動が反映される技術です。身体は日本にいるのに、見ている視界や音はロンドンのビッグ・ベンの直下、そのままオペラへ観光も行けるかもしれません。
VRでは、バーチャルの世界をより楽しむために繊細な「モデリング」技術や、現実で操作する人間の動きを真似するための「モーショントラッキング」技術が使われています。

MRとは、 Mixed Reality（複合現実）の略称であり、未だMRと言ったらこれ！のようなアプリは現在時点で身近には、存在していないように感じます。（身近に手に入るMR再生機器がそこまで有名じゃない＆高価等の理由）
MRを使うイメージを知るのは、やはりMicrosoft社公式の「▷Hololens2のビデオを見る」が一番分かりやすいかと思います。
以下リンク
https://www.microsoft.com/ja-jp/hololens#

複合現実という名を冠するに相応しく、MRでは、
・操作者の視点移動（アイトラッキング）
・手指や移動の動き（モーショントラッキング）
・声での操作（音声認識）
・リアルタイムで空間の壁や床を認識（空間マッピング）など
多くの技術が使われています。まさに複合（AR+VR+α）現実です。

MRは結局何が凄い？

個人で使う場合でも、（周りの人から見るとそこそこパンチのある姿になってしまうけれど）自分の手でデジタル環境に干渉して遊んだり、仕事したり、ライブに参加したり…といった様々な用途に活用できる可能性を秘めているということがMR技術の凄いところです。

実際に、トヨタ自動車株式会社様では、以下のような取り組みが行われています。自動車の整備を直感的に理解でき、マニュアルに頼らない整備方法から、作業効率の向上、お客様を待たせてしまう時間の短縮になっていることについてお話しされています。DX（デジタルトランスフォーメーション：デジタルによる働き方改革）の観点から見ても、素晴らしい革新であると考えられます。
※DXについてはブログで書くかも書かないかも知れません。
https://www.youtube.com/watch?v=M3_iR0ig0Zo

Hololensの紹介ムービーでも多く見受けられるように、工場現場や、機器の整備、学校やセミナーの場での活用が考えられています。また、その他こんなことが出来るのではないか、等々ご自身でも調べてみて頂けたら幸いです。（そして私にも教えてください）

次回以降の記事では、
実際に自分のPCでMRアプリケーションを開発する環境を構築するための準備として、Hololens2 Emulatorの導入、ゲーム開発エンジンであるUnityのインストールを行っていこうと考えています。（予定は未定）