究極のリアリティを追求する 次世代画像処理技術

キヤノンは永年にわたり、撮像技術や認識技術、データ処理技術といったイメージング分野の技術を発展させ、多様な分野での応用に挑戦してきました。なかでも画像処理技術では世界のトップレベルを歩んできました。この分野でキヤノンが現在、研究開発に注力しているもののひとつが、撮影後の写真や動画をユーザーの要求に沿って再構築したり、コンピュータグラフィックス(以下CG)とリアルに自動合成させたりする画像処理の新技術です。キヤノンはこれまでのイメージング技術を超える、目を見張るようなリアリティを追求しています。

不可能を可能にする 画像処理は新たな領域へ

写真:リライティング

従来、画像処理とは撮影後に画像を形成した上で解像度や明暗、色彩、階調などの補正を行うことを指しています。これら補正中心の画像処理を超える技術として、キヤノンは今、撮影画像をより基本的な構成要素に分解し、再構築する技術の研究に取り組んでいます。

撮影とは、カメラのレンズを通過した光線を捕らえることですが、理想的にはその場に存在するすべての光線(光線空間)を捕えることができれば、今の画像処理では不可能な処理が可能になります。たとえば、撮影後に視点や画角を変更したり、対象に光が当たる位置や角度を変更したりして、明るいところや影の場所、影の形・濃さなどを自在に変えること(リライティング)ができます。

また、物体の質感、たとえば金や銀などの金属の光沢感や布の質感を表現するには、人がどのようにして質感を感じるかという分析とその分析に基づく再現の方法を確立することが必要です。

こうした画像処理を行うには、光線を取得・再現する技術と被写体情報を稠密(ちゅうみつ)に取得する質感取得技術、そして質感情報をもとに画像を高精細で再構築するPhotorealistic CG技術が不可欠です。キヤノンは画像処理の新領域を拓くこれらの技術の研究・開発に力を注いでいます。

被写体情報を稠密(ちゅうみつ)に取得する 質感取得技術

CGで何か物体画像を作る場合、その物体に関する3要素のデータ(3次元形状・表面の反射特性・光源)をもとにレンダリング(描画)を行います。ということは、これら3要素のデータを稠密(ちゅうみつ)に取得できれば、たとえば光源を変えるリライティングのような、ユーザーの希望に沿った画像の再構築をCGレンダリングと同じ原理でできることになります。

特に難しい質感再現の研究のため、質感情報を直接取得する高精度計測環境を整備しています。質感は物体表面での光の反射特性に依存しています。反射特性は、光の入射方向と物体の材料や形状、また、観察方向によっても変化します。そこで、受光器や光源の角度を変化させた測定を行い、BRDF(Bidirectional Reflectance Distribution Function=双方向反射率分布関数)というデータを取得します。

また、将来的には撮影画像から画像処理によって質感情報を取得することをめざし、インバースレンダリングという技術の検討にも着手しています。これが可能になると、デジタルカメラなどのコンシューマー製品で質感取得機能を実現することができます。

光沢性の測定方法
光沢性が異なるサンプル

解析データからリアルな画像を再構築する Photorealistic CG技術

抽出した3要素のデータをもとにリライティングなどの目的に沿った画像の再構築を行う際、最も重要なのは画質です。人が手を施した「CGっぽさ」や「不自然さ」を払拭した本物の写真と同等の画質で再構築するために、キヤノンは高精度なレンダリングを特長とするPhotorealistic CG技術に取り組んでいます。

その柱は、まず色情報として分光を利用していることです。従来のCGは人間の可視光領域をRGBの3原色で簡易的に表現したものでしたが、キヤノンの新技術では可視光領域を数十以上の原色に分光して、色の再現精度を向上させています。これによって、実物の持つ質感をそのまま再現したり、実写CGの違和感の無い合成を実現したり、任意の光源環境下における物体の見え方を再現することができます。

もうひとつの柱は高精細の追求です。CGにおいて形状はポリゴンと呼ばれる三角形で構成されており、その数が多いほど高精細であるといえます。キヤノンでは通常の映画の100倍以上の10億ポリゴンを扱える分散処理技術を開発しています。

そして、3つ目の柱が高速処理です。色彩と精細さを実現するデータだけでもその量は膨大になるため、高速処理が欠かせません。従来の画像処理速度の100倍以上を実現する高速処理の研究に取り組んでいます。

キヤノンのPhotorealistic CG技術は実写とCGの合成においても極めて有効です。人が1コマごとに手作業でリアル感を描出するといった手間が掛からなくなり、実写とCGのスムーズな合成を自動的に行うことも可能になります。それによって、ハリウッド映画や広告などの世界において、革新的な合成画像が簡単に作り出される可能性を秘めています。

Photorealistic CG技術で制作した高精細合成画像

リアル技術とサイバー技術を融合

質感取得技術やPhotorealistic CG技術などキヤノンが得意としてきたリアル(機器)の技術は、最新のサイバー(IT)の技術と融合し、先端的な実用技術を創造します。キヤノンが新たに掲げた研究開発コンセプト「アドバンストIRT」です。長期的に、さまざまな事業領域での拡張が見込まれる「アドバンストIRT」。とりわけ有望視されるのが、キヤノンの高度な3次元認識技術を応用する知的ロボットです。

3次元計測・認識技術を核に産業用知的ロボットの研究開発に着手

キヤノンは2012年、研究開発のひとつのコンセプトとして「アドバンストIRT」という旗印を掲げました。「IRT」とは、サイバー世界のテクノロジー「IT(Information Technology)」とリアル世界のテクノロジー「RT(Real world Technology)」を融合させた新技術を意味する造語です。「RT」はキヤノンの得意とする実世界とのインタフェース技術で、質感取得技術やPhotorealistic CG技術もその一部です。「IT」はクラウドによるビッグデータ解析やネットワーク利用によるマシンインテリジェンス応用が加速している領域です。その融合により、先端的な応用技術を開発し、将来の事業領域の拡大を図ります。

拡大を見込む領域は大きく「映像・情報」「安全・安心」「健康・医療」「産業用マシン・知的ロボット」の4つです。この中で現在注力中のターゲットの1つが産業用知的ロボットです。知的ロボットは、現実世界を認識するビジョン(視覚=リアル技術)と自ら考えて行動を決定する知能(サイバー技術)、そして実際に行う動作(リアル技術)の3要素で構成されます。実用的な知的ロボットを創造するには、各要素の飛躍的な技術向上が求められています。

文字認識や顔認識、画像検索などさまざまな認識技術を実用化してきたキヤノンは、2005年以降、「ロボットの眼」や「スーパーマシンビジョン」といった開発プロジェクトに取り組み、光学・撮像・認識技術を応用したマシンビジョン技術を研究してきました。この高精度の視覚能力に、知能となるIT技術を加えることにより、キヤノンは新たな知的ロボットの開発を進めていく考えです。環境や状況の変化を自ら察知・判断し、さらには経験をもとに学習して判断・行動を最適化してゆくといった知的ロボットは、今後さまざまな分野で活躍することでしょう。

同時に、ロボット以外の3領域、すなわち「映像・情報」「安全・安心」「健康・医療」においても、キヤノンが得意としてきた「RT」に先駆的な「IT」を相乗的に融合させることで、これまで世の中に存在しなかった応用技術を探求します。キヤノンの「アドバンストIRT」はまさに近未来の社会で広く貢献するための研究開発コンセプトなのです。