製造業の生産性を向上させるロボットの眼 3Dマシンビジョン
システムの開発秘話

3Dマシンビジョンシステム(3DMV)とは物体の位置や姿勢を認識する、いわば「ロボットの眼」。ロボットアームと組み合わせて利用することで、製造業の生産ラインの部品供給の自動化や高速化を推進し、生産性を向上させる製品として、その市場は大きな成長が見込まれている。キヤノンの技術者は一丸となって、この新しい市場へ挑戦した。

キヤノンの3Dマシンビジョンシステム RVシリーズのご紹介

今回の「語る」開発者

浦川 隆史(うらかわ たかし)

担当:メカ設計

結城 寛之(ゆうき ひろゆき)

担当:光学設計

吉川 博志(よしかわ ひろし)

担当:ソフトウエア開発

百海 浩二(どうかい こうじ)

担当:アプリケーションエンジニアリング

POINT 1

小型化とメンテナンスフリー
を実現したメカ設計

続きを読む

キヤノンの3DMVのRVシリーズがターゲットとしているのは、自動車や電子機器をはじめとする製造業の工場におけるバラ積み部品のピッキングである。高速、高精度、設置の容易さ、防水・防塵、メンテナンスフリーなど、お客さまの厳しい要求に、はたして技術者はどう応えたのか?

浦川 隆史(うらかわ たかし)

担当:メカ設計

2000年に入社し、MRシステムや超小型プロジェクターなどの光学保持、筺体設計に従事。
多くの人を惹きつけるような製品の開発をめざしている。

3DMVは世界的に見てもまだ新しい市場です。キヤノンがこの市場への参入を決めたのはいつ頃ですか?

自動車メーカーでの使用例

浦川隆史
要素技術検討を始めたのは2008年からで、2012年頃から製品化に向けてかじを切りました。光学と画像処理に強いキヤノンは、この分野に優位性があると考えたからです。

3DMVには大きく分けて、固定型のタイプとロボットアームに取り付ける小型タイプがあります。固定型のタイプによる、バラ積み部品のピッキングに需要があると判断し、プロジェクトが始まりました。キヤノン製のプロジェクターとカメラを組み合わせて、部品をピッキングする試作品を作ったのが最初ですね。この時点ではサイズもかなり大きく、現在の製品の3、4倍くらいはありました。

RVシリーズの仕様はどのように固まっていったのでしょう?

浦川
3DMVの導入を検討されている企業にヒアリングすると、一番の課題はセットアップだということがわかってきました。

吉川博志
3DMVは、バラ積み部品にパターンを投影し(下図①)、距離を測った後(下図②)、事前の学習データを登録した「認識辞書」(下図③)と3DCADデータを用いて照合することによって個々の部品の位置や姿勢を検出するようになっています。その後、ロボットハンドの(ピッキング)可否を判定し(下図④)、ロボットコントローラーへデータを転送します(下図⑤)。市場に出ている3DMVは、この認識辞書に部品を登録する作業がとても複雑で時間がかかっていたんです。私たちが開発した初期のシステムでも、部品を回転ステージに載せて回しながら、10台のカメラを使っていろいろな角度から撮影し、そのデータを元に、専門知識を持った技術者が細かくパラメータ調整を行う必要がありました。

そこで、対象となる部品のCADデータをシステムに登録し、特に専門知識のないお客さま自身がバラ積みした部品を5回撮影すれば、あとは自動的に認識辞書へ登録できるシステムをめざしました。これが実現できれば、競合に対して大きなアドバンテージとなるからです。

3DMVの動作フロー

RVシリーズは、幅約25cm、高さ約20cm、重量も約6kgと他社と比較しても非常にコンパクトに収まっています。カメラとプロジェクターが一体になっているので、設置も非常に簡単ですね。しかし、これだけ小さなボディーで、高精度の認識が行えるようにするのは大変だったのではないですか?

浦川
RVシリーズでは、部品の形状や距離を認識するために、「アクティブステレオ法」を使っています。これはプロジェクターから対象物に光を投影し、その光の反射をカメラで測定して位置を割り出すというもので、プロジェクターとカメラの間の距離(基線長)が長いほど測定誤差を減らしやすくなります。しかし、コンパクトというニーズに応えるために、競合製品よりも大幅に大きくするわけにはいきません。RVシリーズの基線長は商品企画の早い段階で決まり、その目標を実現するために光学設計、メカ設計、そしてソフトウエアの担当が一丸となって取り組みました。

メカ設計では、どのような工夫をしているのでしょう?

浦川
外装の構造と組み立て方に特徴があります。外装をある程度組み立ててから、内部を組み立てるというような、知恵の輪のような構造になっているんですよ。

結城寛之
工場の組み立て担当者は、相当驚いたでしょうね(笑)。

キヤノンRVシリーズの特長

浦川
外装を大きくしてもよければ、もっとシンプルな構造にできたんですけどね。しかも、防水・防塵で、自然空冷というニーズも途中から入ってきました。最初の段階では他社製品と同様にファンを使って冷却する仕様にしていました。しかし、自動車の組立工場などでは、オイルミストが大量に発生するため、ファンが故障しやすい状況にあります。よって、万が一故障すると生産ライン全体が止まってしまいますから、できるだけ駆動物は使わないようにしてほしいという要望もありました。また、いったん設置したらその後のメンテナンスが不要になる、メンテナンスフリー性も高めています。現場でメンテナンスすると、精密に調整したキャリブレーションに誤差が生じてしまいますから。

競合に対して優位に立つためにサイズを小さく抑えつつ、防水・防塵、自然空冷でメンテナンスフリーを突き詰めていった結果、このような構造になりました。個人的にこの構造を「ボトルシップ」(船の模型が、口の小さなボトルの中に入っている工芸品)と呼んでいるんですけど(笑)。

そんな複雑な構造をどうやって設計したのですか?

浦川
CAD上で部品がきちんと収まるかどうか、ひたすらCADの中で実際に部品を組み立てるように細かく部品を動かしながらチェックしていきました。地道な努力と思い付きです(笑)。それでも、見落とした要素はないか、不安はありましたよ。

POINT 2

光の経路を正確に追跡する
驚異の光学性能

続きを読む

3DMVではカメラとプロジェクターを使い、部品までの距離を算出する。通常のカメラとは異なる光学性能を実現するため、技術者はシミュレーションと実験を繰り返した。

結城 寛之(ゆうき ひろゆき)

担当:光学設計

2004年に入社し、半導体露光装置、コンポーネントなどの光学設計を担当。
チームワークと好奇心でオンリーワンの技術開発をめざす。

光学部分での課題は、何だったのでしょうか?

結城
苦労したのは、精度ですね。3DMVに要求される光学性能は、一般的なレンズとはだいぶ違ってくるんです。

一般的なレンズに求められるのは、像の歪みが少ないこと、解像力、明るさといったところでしょう。極端なことをいえば、光がどんな風にレンズを通ろうが、最終的な像に問題なければよいわけです。

これに対して3DMVでは、高速、高精度を実現するために、ステレオ測距法を用いており、その原理はピンホールカメラを前提としています。ステレオ測距法の原理を図1で簡単に説明すると、プロジェクターのある画素を光らせて、その光が物体に反射してカメラのある画素に映ったとします。光は直進する性質があるためプロジェクターから出る光はピンホールを抜ける直線(図1の点線)で表されます。同様にカメラに写った光もピンホールを抜けてきた直線で表されます。従って2本の直線の交点が反射位置、すなわち物体の位置という事になり、物体の3次元位置を特定できるのです。

しかし実際にピンホールを置いてしまうと、ピンホールを抜けてくる光は光量が少なく検出できないため、レンズを使用します。図2は、赤線が実際の光束を示しており、赤丸部分に光が照射している例です。ステレオ測距法では、これをピンホールカメラのモデルとして計算するため、一般的なレンズを用いると点線の経路を光の経路として計算してしまい、算出した反射位置と実際の反射位置には誤差が発生してしまうのです。

そこで3DMVのレンズは、通常のレンズ性能に加え、光の経路がピンホールカメラと同様になるように、光学設計をより厳密に行う必要がありました。

図1.ピンホールカメラとステレオ測距
一般的なレンズと3DMVのレンズで発生する測定誤差
ステレオ測距法

コンピューター上のシミュレーションで、光学設計の精度を高めたのですか?

結城
設計によって解決した問題もありますが、実際にレンズを製造してみると想定される精度が出ないこともありました。その現象はどういう原理によって起こっているのか。仮説を立て実験を行い、解決策を考えて試す。その繰り返しです。

光学設計によってメカ設計も影響を受けることは多かったのではないでしょうか?

結城
メカ側でまず基線長が決まり、それを実現するための光学系を設計し、それがボディーに収まるかをメカ側で検討する。そういうやりとりを行いながら、開発を進めました。

浦川
光学設計とメカ設計の担当者は隣り合うように席を配置し、光学系からの要望をメカがすぐ検討できるようにしました。

結城
レンズの光学性能は熱の影響を受けますから、ここは熱が変動しないようにしてくださいとか、そういうやりとりもありましたね。

POINT 3

高速かつ高精度に部品を
認識するアルゴリズム

続きを読む

バラ積みされた部品の山から、一つひとつの部品形状を認識してピックアップする。生産ラインの高速化を図るため、RVシリーズは約1.8秒から2.5秒という短時間で部品の測距と認識を行う。正確さと速度を両立するために、ソフトウエア技術者は新しいアルゴリズムを編み出した。

吉川 博志(よしかわ ひろし)

担当:ソフトウエア開発

2005年に入社し、外観検査装置の光学設計・評価に従事した後、マシンビジョンのソフトウエア開発を担当。さまざまな視点から物事を捉え、人とは違った考えを生み出すことを心がけている。

対象となる部品の形状を認識し、位置を把握する画像処理は、ソフトウエアによって行われているんですよね。どういう風に動作しているのか、簡単に説明していただけますか?

吉川
3DMVの動作は大きく分けて、「パターン投影」「測距」「部品認識」という3つのステップに分かれています。

パターン投影というのは、プロジェクターから特定のパターンをバラ積みの部品に投影し、それをカメラで撮影することです。RVシリーズでは、「空間コード化法」という手法を使っています。

空間コード化法では、図1で示す白と黒のしまパターン画像をプロジェクターから対象物に投影し、カメラで撮影します(図2)。図1のしまパターン画像は、センサー関連でしばしば使われるグレイコードと呼ばれる2進符号を用いており、プロジェクターから8本のしまを投影する場合、しまの幅が異なる3種類のパターン画像を用意します。パターン画像を切り換えながらカメラで撮影すると、図3の撮影画像が得られ、対象物の高さによって投影されたしまにずれが発生します。撮影画像の黒い部分に0を、白い部分に1を全画素に対して割り当てると、図3の下に表記したように各画素に3桁の2進数が割り振られます。その2進数はしまごとに異なるものになりますので、何本目のしまなのかが特定でき、そうするとプロジェクターから出射した方向がわかります。三角測量はプロジェクターのしまとしまの境界位置で行い、図2のカメラから伸びた赤線は、4本目と5本目の境界で三角測量を行う例を示しています。しまの本数が8本の例で説明しましたが、RVシリーズでは1,000本以上のしまを投影しているため、バラ積みされた部品全体の3D形状を表わす計測点群をきめ細かく取得することができます。

計測点群を取得したら、「部品認識」を行います。「部品認識」としては、あらかじめ登録しておいた部品の認識辞書を利用して大まかに位置姿勢を見つけておいて、最後に3D CADデータを計測値に当てはめることで、高精度に位置姿勢を測っています。そうして、部品をロボットアームがピッキングできるかどうかを判定し、その結果をロボットコントローラーに伝えて実際にアームを動かすという流れになっています。

図1.パターン画像
図2.投影と撮影の模式図
図3.カメラによる撮影画像
空間コード化法

今回のソフトウエアでは、どういう点を工夫されたのですか?

吉川
計算量を減らして、測距や部品検出の速度を上げるようにアルゴリズムを工夫しました。

例えば、パターンを投影する際、従来はしまの白黒を反転させたパターンも用意し、各段階で2つのパターンをセットにして用いることで、測距の精度を上げていました。しかし、それでは処理しなければいけないパターンの数が倍になってしまいます。そこで、反転パターンは最後だけで用いるようにして、必要なパターンの数を半減させました。

もう1つの工夫は、部品検出のアルゴリズムです。RVシリーズでは、最初に部品を認識辞書に登録する際、バラ積みのパターンを変えて5回撮影します。さまざまな角度から見た場合の表面状態の濃淡画像も取得しておくことで、部品と部品の境目を判定しやすくなり、部品検出の精度が高まるのです。先に、計測点群と部品の3D CADデータを照合すると言いましたが、これに加えて濃淡の変化を表す2D画像も組み合わせることで、部品検出を失敗しにくくしています。このような方法をとることで、計算処理が軽くなり、部品検出の時間を減らすことに成功しました。

姿勢の変化によるあらゆる部品の見え方をCGを用いて学習する部品検出方式

百海 浩二(どうかい こうじ)

担当:アプリケーションエンジニアリング

2003年に入社し、半導体露光装置の電気設計に従事した後、R&D部門を経て、現在、MV事業推進を担当。
技術と営業の両面を理解した、お客さまにソリューションを提供できる人物になることが目標。

お客さまからの反応はいかがですか?

百海浩二
従来の3DMVでは、とにかくセットアップが大変でした。RVシリーズでは、バラ積みの部品を5回撮影して、辞書作成ボタンを押すだけでセットアップが完了しますから、その点を高く評価いただいています。ソフトウエアのユーザーインターフェースについても使い勝手がよいと好評です。

ただし、お客さまの現場で使われている部品は、薄いもの、小さいもの、透明なものなど、私たちが想定しているよりも多様です。今後さらに対応できる部品の範囲を増やしていく必要がありますね。

また、認識速度をさらに上げてほしいというお客さまがいる一方、確実さを重視するお客さまもいます。ライン全体のコストを下げることが最優先のお客さまにとって、生産ラインが止まることは多大な損失になりますから。

吉川
こうしたニーズについては、製品企画と擦り合わせて、ソフトウエアのバージョンアップで対応することになります。

POINT 4

「ロボットの眼」が
見据える新たな市場

続きを読む

RVシリーズは、ハード、ソフトの技術者が一丸となって、製品化に突き進んだ。新たな市場へ進出するためには、広い分野の技術者が連携し、お客さまのニーズに応えていかなければならない。

3DMVは、今後どのように展開をしていくのでしょうか?

百海
RVシリーズはバラ積み部品のピッキングをターゲットにしていますが、今後は製品の検査分野などに使える製品や、ロボットアームに搭載するタイプも開発していく予定です。

浦川
ロボットアーム搭載型であれば、部品をピックアップするだけでなく、そのまま組み立てを行うことが可能です。ただ、RVシリーズのようにロボットアームが部品をピッキングして移動させている間に別の部品の検出処理をする時間がなくなりますから、今よりもっと測距や部品検出の速度を上げないといけません。これを実現するためには、また新しいアルゴリズムの開発が必要です。

百海
製造業以外でも、物流や倉庫で使いたいという要望をいただいています。こうした新しい用途での性能などを改めて検討する必要があります。

RVシリーズの開発を通じて、これからの製品開発には何が求められると思いますか?

百海
1つの技術分野だけで実現できる製品はもうありません。さまざまな分野の技術を組み合わせて、システムとして作り上げていくことが今の製品開発には求められています。昔から言われていることですが、エンジニアも広い視野を持つことが欠かせません。

浦川
RVシリーズはまさにその通りで、ハードウエアとソフトウエアが不可分な製品です。各分野の担当者が集まる定例会を開き、情報共有を密にしていました。

結城
RVシリーズのプロジェクトで特徴的だったのは、製品を一刻も早く形にしようとメンバー全員が一丸となって取り組んだことでしょう。ハードウエア、ソフトウエアの境なく少人数で集まり、何としても形にしようとするのが成功の鍵かもしれません。

吉川
ソフトウエアに関しては、昨今のAI(人工知能)などの技術革新を積極的に取り入れ、常に改良を進めていきたいと思っています。ただ、アルゴリズムが高度だからといって手放しで良い物ができるとは限りません。かえって単純なアルゴリズムの方が高速で使い勝手が良いこともあります。現場では、「本当に使い物になるかどうか」、その視点を持った開発が求められます。

百海
今の時代、「良い製品」さえ作れば売れるなどということはありません。お客さまを知り、強い信頼関係を結ぶことができる。そういう開発者が求められていると思います。

今、産業分野では大きな変革が起きている。機械同士が相互に通信して自動的に処理を行うIoT、大量のデータから知見を生み出すビッグデータ解析などによって、製造業のあり方も従来とまったく異なってきているのだ。ロボットと3DMVも、この流れを加速させる重要な要素である。今後は部品のピッキングだけでなく、組み立てや検査など、現在は人手で行っている作業が自動化されていくことになるのは確実だ。

人と機械の共生がさらに進んだ世界へ。3DMVを始めとする技術が、これからどんなインパクトをもたらすことになるのか、注目していきたい。

インタビュアー・構成
山路 達也(やまじ たつや)
1970年生まれ。雑誌編集者を経て、フリーのライター/エディターとして独立。IT、科学、環境分野で精力的に取材・執筆活動を行っている。
著書に『アップル、グーグルが神になる日』(共著)、『新しい超伝導入門』、『Googleの72時間』(共著)、『弾言』(共著)など。

バックナンバー

関連コンテンツ