RGBDカメラとは何ですか? 一部の組み込み ビジョンアプリケーションでRGBDカメラが好まれるのはなぜですか? 近年、3Dビジョン技術は大幅に進化し、精度、範囲、低照度性能などが向上しています。また、多くの組み込み ビジョンアプリケーションで深度センシングの需要が急増しています。深度カメラが使用される最も一般的なアプリケーションには、自律移動ロボット、無人搬送車、遠隔患者モニタリング、人数カウント システムなどがあります。深度カメラが何であるかは誰もが理解していますが、RGB 深度カメラ (または RGBD カメラ) の概念は多くの人にとって謎に包まれています。このブログ投稿では、RGBDカメラとは何か、また、最も人気のあるいくつかの組み込みビジョンアプリケーションにおいて、RGBDカメラが画期的な存在である理由を学びましょう。
RGBカメラとは？
RGBDカメラについて学ぶ前に、まずRGBカメラとは何かを理解する必要があります。RGBという用語は、赤、緑、青の光の原色を足し合わせて、私たちが知覚するさまざまな色を作り出すカラーモデルを指します。RGB カメラは、赤、緑、青の波長 (RGB) の光を捉えて、人や物のカラー画像を色鮮やかに映し出すために使用されます。このカメラは、波長400～700nmの可視光を利用しています。
RGBD カメラとは何ですか?
RGBDカメラは、深度 (D) と色 (RGB) の両方のデータをリアルタイムで出力する深度カメラの一種です。 深度情報は、ステレオセンサーやTime of Flightセンサーなどの 3D 深度センサーによって作成される深度マップ/画像を通じて取得できます。RGBDカメラは、RGBデータと深度情報を画素ごとに組み合わせて、両方を 1 つのフレームで配信することができます。例えば、当社のTime of Flightベースの RGBDカメラである DepthVista は、1 つのフレームで深度データとRGBデータの両方を提供する機能を備えています。 
図 1 – DepthVista: 当社の 3D Time of Flight RGBD カメラ
これがどのようにうまく機能するかを理解するために、DepthVista から画像と深度データをストリーミングするために使用されるサンプルアプリケーションを示す下の図を見てください。ここでは、カメラは3Dビューアと共に、深度フレーム (640 x 480)、IR フレーム (640 x 480)、および RGB フレーム (640 x 480) を 30 fps で表示します。 
図 2 – 当社の DepthVista から RGB および深度データをストリーミングするサンプル アプリケーション
RGBD カメラが特定の組み込み ビジョン アプリケーションで最も好まれるカメラの 1 つであるのはなぜですか?
RGB データを3D深度センシングカメラのポイントクラウドや深度マップに追加すると、パターン認識または検出のためにオブジェクトをより効果的に特定できます。これは、シーン内のオブジェクトの種類と性質を識別し、それらの深度を測定する必要があるアプリケーションで特に役立ちます。また、これら 2 種類のデータを 1 つのフレームで配信できるため、カメラは、顔認識ベースのなりすまし防止システムや人数カウントデバイスなどのアプリケーションにさらに適したものになります。RGB深度カメラが、このような組み込みビジョンアプリケーションのパフォーマンスと有効性をどのように向上させるかについて詳しくは、以下の2つの記事をご覧になることをお勧めします。
Time of Flight センサーと RGB センサーを組み合わせた RGBD カメラ
Time of FlightベースのRGBDカメラは、深度測定にToF3Dセンサーを使用し、色情報を取得するためにRGBセンサーを使用する、最も一般的なタイプのRGBDカメラの1つです。ToF センサーは、光の総飛行時間 (光の速度を考慮) に基づいて距離を計算します。これは、完全な暗闇でも実行できます。
ToF の概念と ToF カメラ システムの仕組みの詳細については、「Time-of-Flight センサーとは?」「Time-of-Flight カメラの主要コンポーネントは何ですか?」の記事をお読みください。 飛行時間と他の深度センシング技術との比較にご興味がある場合は、「Time-of-Flight (ToF) と他の 3D 深度マッピング技術の比較」の記事をお読みください。
次のブロック図は、ToF + RGBカメラのアーキテクチャを示しています。
図3 – ToFベースのRGBDカメラのアーキテクチャ
当社のTime of Flightベースの RGB 深度カメラ
当社の DepthVista は、3D 深度測定に CCD センサーを使用し、RGB データのキャプチャに Onsemi の AR0234 カラー グローバル シャッター センサーを使用する RGB 深度カメラです。この RGBD カメラは、高速データ通信に 850nm の VCSEL を使用し、30 fps で VGA (640X480) をストリーミングすることができます。2D RGB ビデオは 3D 深度ビデオと統合されて、色付きのポイント クラウド (3 次元空間内のポイントのコレクション) を作成します。その後、平坦化、時間フィルター、エッジ検出、空間フィルターなどの後処理フィルターを使用して、3D 深度データの後処理を実行できます。 すべての後処理フィルターを適用した深度フレームを次の図に示します。
図 4 – 通常の深度フレームとすべての後処理フィルターが適用された深度フレームの比較
カメラの機能、利点、対象アプリケーションの詳細については、DepthVista の製品ページをご覧ください。 このブログで、RGBD カメラとは何か、またその仕組みについて理解を深めていただければ幸いです。適切なカメラの選択とカメラ対応デバイスへの統合について何かお困りのことがあればcamerasolutions@e-consystems.com までご連絡ください。また、当社のカメラの全ポートフォリオをご覧になりたい場合は、カメラ セレクターをご覧ください。
Prabu Kumarは、e-con Systemsの最高技術責任者兼カメラ製品責任者であり、組み込みビジョン分野で15年以上の豊富な経験があります。彼は、USBカメラ、組み込みビジョンカメラ、ビジョンアルゴリズム、FPGAに関する深い知識をも有しています。医療、工業、農業、小売、生体認証などのさまざまなドメインにまたがる50以上のカメラソリューションを構築してきました。また、デバイスドライバー開発とBSP開発の専門家でもあります。現在は、新時代のAIベースのアプリケーションを強化するスマートカメラソリューションの構築に全力を注いでいます。