「MREAL」がものづくりのプロセスを変革する Mixed Reality

動画を再生する

「見る」から「体感する」へ。目の前の現実とCGをリアルタイムで合成するMixed Reality(MR:複合現実感)の技術は、本物が目の前にあるかのような、圧倒的な臨場感を実現。「MREAL(エムリアル)」は、製造業や建設・建築業などの「ものづくりのプロセス」に革新をもたらします。

現実映像の中に「現実にあるようなCG」を融合
「見る」から「体感する」へ

仮想現実(VR)や拡張現実(AR)は、パソコンやスマートフォンなどの身近なデバイスで活用されています。さらにいま、ものづくりのプロセスを変える新しい技術として期待されているのがMixed Reality(以下MR)と呼ばれる技術です。
MRとは、目の前の現実とCGを違和感なくリアルタイムに融合させる映像技術のこと。現実映像の中に、あたかもそこにあるようにCGを合成して表示します。MRは対象に近づけば大きく、遠ざかれば全体が見え、また、あらゆる角度から対象を見ることができるため、自分が仮想現実の中にいるような「没入感」を得られます。

左:MREAL HM-A1/右:MREAL HH-A1

MRシステムを製品化
小型で軽量、高画質な「MREAL」を発売

キヤノンは長年の研究開発を経てMR技術を確立。2012年に「MREAL」として発売し、事業化をスタートしました。
キヤノンの「MREAL」は、ヘッドマウントディスプレイ(以下HMD)、基盤となるミドルウエア、アプリケーションソフトウエア、各種センサーで構成されます。HMDを装着しディスプレイをのぞくと、左眼用、右眼用それぞれのビデオカメラが捉えた映像がコントローラーを介しパソコンに送信され、CGと合成。合成された映像は、目の前の何もない空間に表示され、実寸大のスケールで体感できます。
さらに、現実世界に表示された仮想物の後ろや横への回り込みや、複数人による同時・同空間の共有も可能です。

HMDの小型化を実現する自由曲面プリズム

HMD「MREAL HM-A1」の両目の前の部分を簡略化すると上の図のようになる。違和感のない映像体験を実現するには、従来のシステムでは目の前の機器が大きく迫り出してしまうが、自由曲面プリズムにより、HMDの小型化・軽量化に成功

キヤノンのHMDの最大の特長である「小型・軽量」を実現するのは、自由曲面プリズムです。コンパクトな自由曲面プリズムの採用により、HMD内にスペースをつくり、ビデオカメラを最適に配置。肉眼で見るのと変わらない、違和感のない映像体験を実現しています。
さらに、現実世界とCGによる仮想物を違和感なく表示するためには、位置合わせが重要です。キヤノンは、独自に開発したマーカーを現実物体にあらかじめ配置して三次元位置を計測。各種センサーと組み合わせて、HMD(=利用者)の位置や姿勢情報を正確に計測してディスプレイに描写する技術を開発しました。

ものづくりの現場で活用される「MREAL」
ソリューションビジネスを展開中

「MREAL」は、人と人とのコミュニケーションを変えるだけでなく、ものづくりのプロセスを変え始めています。
たとえば自動車産業では、試作車の完成前にMR映像を見ることで実寸大で確認したり、ハンドルやメーター、シフトレバー、アクセルなどのデザインの検討に使われるほか、空気抵抗など各種シミュレーション結果の可視化などにも活用。設計プロセスにおける手戻りや生産準備のための工数を減らすなど、コスト削減も実現しています。
また、建築設計分野では、建築物の中に入った感覚で天井の圧迫感や光の入り方などを実寸大で確認できることから、設計段階でイメージを共有するといった使われ方が広がっています。
キヤノンの「MREAL」の特長は、ハードとソフトだけでなく、アプリケーションやコンテンツをユーザーの目的や用途に合わせて提供していく提案型ビジネスであることです。建築・建設業界、自動車業界など活用可能なあらゆる分野にソリューションを提案しています。

理想が現実になった「MREAL」開発ストーリー
Mixed Reality技術はいかにして「MREAL」になったか

「MREAL」の開発に携わる開発者

産学連携でスタートしたMR技術
映像の革新に挑むキヤノン

キヤノンは旧通商産業省との共同プロジェクトとして、1997年1月、「株式会社エム・アール・システム研究所」を設立し、MR技術の開発を進めてきた。
映像革新への挑戦こそキヤノンの基本姿勢。現実と仮想を融合するMRに強い可能性を感じていたキヤノンは、産業向けに試作機をつくり、企業に貸し出しては、その使用感を開発部門にフィードバックし完成度を高めていった。そして、ついに事業化を決断したのが2007年。現在の製品構成になったのもこの頃だが、2012年に実際に発売されるまで、乗り越えるべき壁は多かった。

小型で軽量かつ高精細
MRの実用化はブレークスルーの連続

課題の一つがHMDの「小型・軽量化」だった。製品化第1号の「MREAL HM-A1」は重量を640gにおさえ、30分装着しても疲れない軽さと最適な重量配分を実現している。
HMDの小型化に貢献しているのが独自開発の自由曲面プリズムだ。一般的な光学系では球面レンズなどの部品が一直線上に配置されているため、前方に装置が張り出すことになりバランスを欠く。特殊な形状の「自由曲面プリズム」を採用することで、光の通り道を折り曲げ、前に張り出す距離を縮めることができる。このプリズムにより、小型・軽量化はもとより、HMDのすっきりとしたデザインも可能になった。
HMDの開発にはもう一つ乗り越えるべき大きな課題があった。快適な装着性を備えたHMDをつくるための情報が不足していたのだった。メカの開発では、とにかく人種や年齢など、頭の形状のサンプルデータを徹底して収集し計測。また、ヘルメットメーカーに行き、装着感の良し悪しや重心位置などのヒアリングも行った。人の頭の形は一人ひとり違う。いかに一つの形に集約させ快適に装着できるか、その理想の形状を探り続けた。

精度の高い位置合わせを実現
肉眼で見るのと変わらない映像が可能に

CGでつくった花瓶が、現実空間の中で宙に浮いていたりテーブルにめり込んでいたりすると現実感がない。現実空間と仮想物を違和感なく見せるためには「位置合わせ」が必要であり、これこそMR技術の長年の命題であった。
そこでソフトウエア設計チームは、独自のマーカーを開発。床や壁などにマーカーを貼って撮影することで、正確な位置や姿勢を割り出すようにした。さらにジャイロセンサーなどと組み合わせ、精度の高い位置合わせを実現した。
また、HMDには左右2つのカメラと2つのディスプレイパネルが搭載され、パソコンとの間でデータを高速に処理する。カメラから取得した映像情報をパソコンに送り、合成した映像をHMDに戻している。そのため、電気信号を伝送する際、映像に遅延が起きないようにすることも課題だった。特に、HMDとパソコンをつなぐ10mの長いケーブルによる伝送損失が心配された。そこで電気設計担当は、効率の良い電気制御回路を設計することで利用者の動きとズレのない映像を可能にした。

駅のホームドア設置にMRが活躍
「MREAL」利用の可能性を拓く

協力:JR東日本研究開発センター フロンティアサービス研究所

製品として発売する前に、キヤノンではBtoB領域での実用性を考慮した総合的な検証を実施している。つまり、実用に耐えられるか現場で試しに使ってみるのだ。たとえば、鉄道会社ではホームドアの設置の検証に「MREAL」を使用。駅のホームドアといえば、ホームからの転落防止や列車との接触事故を防ぐ目的で設置される安全対策の一つ。駅員がHMDを装着し、ホームドアに死角ができないか、安全性、運用性の事前確認を可能にした。
こうして2012年に「MREAL」というブランドを冠して事業化をスタートさせた。開発メンバーは自動車や生産設備などの設計の現場や建設・建築の現場でタフに使用される製品をめざし、高品質・高性能を発揮できるよう高いレベルの製品づくりを追求した。現在、「MREAL」はさまざまな産業分野からの引き合いが寄せられ、用途が広がっている。
開発メンバーに「MREAL」の将来像を聞くといろいろな答えが返ってくるが、大切なのは使う人の想像力に負けないくらい先を見通す開発者の想像力だ。可能性を大きく秘めた「MREAL」は、初めの一歩を踏み出したばかりなのだ。

「MREAL」マーカー

なぜ、「MREAL」マーカーの形状は六角形なのか?それは、丸や四角よりも傾き形状の認識率が高い図形だからだ。また、ほかの形状に比べ、無駄なく敷き詰められるといったメリットもある。位置合わせのやり方はとてもシンプルだ。MRを利用する前に、まず、HMDに内蔵されたビデオカメラで現実空間に配置されたマーカーを撮影する。次に、撮影されたマーカーを画像処理することにより利用者の位置・姿勢情報を取得する。そして、その情報を指標として、利用者の動きに合わせた合成映像を、目の前の空間にリアルタイムに表示する。

関連コンテンツ