組み込みビジョンアプリケーションにおける高速画像伝送を実現する上で、レイテンシは重要な課題です。このブログでは、以下の点についてもご紹介いたします。
- e-con Systemsのe-CAM85_CUHSBカメラを、Lattice Holoscan Sensor Bridge（HSB）およびNVIDIA Jetson AGX Orinプラットフォームと統合し、組込みビジョンアプリケーションにおいて超低遅延を実現する方法。
- Jetsonプラットフォーム上でHoloscan SDKを使用し、ユーザー独自のISPを用いて、Lattice Holoscan Sensor Bridge（HSB）ボードがどのようにデータを処理する仕組み。
- e-con SystemsのTintE™ ISPがLattice HSBと統合する方法。
- また、NVIDIA Jetson AGX Orinプラットフォーム上における各種インターフェース間の遅延比較結果もご覧いただけます。
レイテンシとは、カメラがシーンを撮影してから、その映像が視聴者のデバイスに表示されるまでの時間的遅延を指します。組込みビジョンシステムにおいて、レイテンシは高解像度の画像と同等に重要な要素であり、いずれも意思決定の精度やシステムの応答性に直接影響を与えます。特に、AIを活用したセキュリティシステム、自律走行車、あるいは自動品質検査システムなど、厳しいリアルタイム性能が求められるアプリケーションにおいては、極めて重要な指標となります。
このブログ記事では、e-con Systems製の組込みカメラと、Lattice社のHoloscanセンサーブリッジを組み合わせることにより、NVIDIA Jetson Orinプラットフォーム上でいかにして低遅延伝送を実現できるかについて、ご紹介いたします。
e-con Systemsのe-CAM85_CUHSBについて
e-CAM85_CUHSB カメラは、NVIDIA® Holoscan Sensor Bridge（HSB）と統合されています。HSBは、Lattice社のFPGAテクノロジーと、NVIDIA Jetson Orinプラットフォーム上で動作するe-con Systemsの TintE ISP およびHoloscan Sensor IPを活用しています。この統合ソリューションにより、NVIDIA Jetson AGX Orinプラットフォーム上でAIアクセラレーションを可能にする、幅広いインターフェースのサポートと高スループットのパケット転送が実現されます。
また本カメラは、ヒューマノイドロボットなどのエッジAIアプリケーション向けに最大2070 FP4 TFLOPSの性能を発揮する、今後発売予定の NVIDIA Jetson Thorシリーズとの互換性も考慮して設計されています。
それではまず、Lattice HSBボードの概要を確認し、続いて、NVIDIAのユーザーISPおよびe-con SystemsのTintE ISPを用いたデータ処理パイプラインについて詳しく見ていきましょう。
Holoscan Sensor Bridgeとは？その仕組み
Holoscan Sensor Bridgeは、GPU RDMA（リモート・ダイレクト・メモリー・アクセス）および高速イーサネット通信を活用することで、低レイテンシなセンサーデータ処理を可能にするFPGAベースのインターフェースを提供します。Lattice Holoscan Sensor Bridge boardには、専用の役割を担う2つの高性能Lattice FPGAが搭載されています。CrossLink-NX FPGAは、高帯域幅のMIPIカメラデータの受信処理を担当し、CertusPro-NX FPGAは、この受信データを10G SFP+イーサネットポート経由でマルチギガビット速度で送信します。
このようなLattice HSBの構成は、開発・テストフェーズでの柔軟性を確保するために2つのFPGAを採用していますが、量産段階では単一のFPGAアーキテクチャへ統合することにより、設計の簡素化と効率化を図ることも可能です。このボードは、すぐに使用可能で構成可能なHoloscanセンサーブリッジIP（知的財産コア）として提供されており、Holoscanソフトウェアとの連携により、センサーに依存しない、Ethernetベースのホストプラットフォームを構築できます。このIPは、FPGA設計の開発スピード向上と構成の簡素化を実現すると同時に、多様なセンサーおよびホスト間アプリケーションに対応可能な拡張性と柔軟性を提供します。
このボードは、ソケットベースのイーサネット接続を介してJetson AGX Orinと、ROCE（統合イーサネット上のRDMA）を介してJetson IGX Orinプラットフォームとの互換性を有しています。さらに、デュアル10G SFP+イーサネットポートによる高速データ転送をサポートし、シームレスなカメラ統合を実現します。
それでは、Lattice HSBがHoloscan SDKおよびユーザーISPを使用して、Jetson AGX Orinプラットフォーム上でどのようにデータ処理を行うかを見ていきましょう。
ユーザーのISPを使用したHoloscanデータ処理パイプライン
以下のフローチャートは、Holoscan SDKとユーザーのISPを使用してJetsonでRAW画像データを処理する様子を示しています。
図1: NVIDIAユーザーのISPを使用したHoloscanデータ処理パイプラインのフローチャート
図に示されているように、本プロセスは、e-CAM85_CUHSBカメラが4K@60FPSまたは1080p@60FPS（10/12ビット）で高解像度のRAWベイヤーフレームを取り込み、4レーンのMIPI-CSIインターフェースを介してデータを送信、I2Cインターフェースにより制御信号を送ることから始まります。続いて、CrossLink-NX FPGAがMIPI-CSI経由でこのRAWビデオデータを受信し、次の処理段階に備えてLVDSフォーマットに変換します。その後、変換されたLVDSデータはCertusPro-NX FPGAに送信され、AXI4-Stream形式にデコードされます。デコード後、UDPプロトコルを用いてフレームデータをパケット化し、デュアル10G SFP+イーサネットポートを介してストリーミング出力されます。
受信側では、Holoscan SDKを搭載したNVIDIA Jetsonが、AGX向けの「LinuxReceiverOperator」またはIGX向けの「RoceReceiverOperator」を使用して、これらのパケットを取り込みます。その後、NVIDIA Jetson AGX OrinまたはIGXプラットフォーム上で、以下の手法により複数の画像処理操作が実行されます。
- ImageProcessorOperator
- BayerDemosaicOperator
- 推論および後処理オペレーター（オプション）
- HolovizVisualizer
最後に、処理されたフレームは、HolovizVisualizerオペレーターを介してGUIに直接表示されるか、AI推論パイプライン（推論および後処理オペレーター）を介してオブジェクト検出とライブプレビュー設定での高度な分析に渡されます。
では、e-con SystemsのFPGAベースのISPであるTintE ISPがLattice HSBでどのように使用されるかを見てみましょう。
Lattice HSB上のe-con SystemsのTintE ISPを使用したHoloscanデータ処理パイプライン
e-con Systems社の高解像度カメラ「e-CAM85_CUHSB」は、NVIDIA Holoscan Sensor Bridgeと統合され、Lattice社のFPGAとFPGAベースの画像信号プロセッサー「TintE ISP」を活用することで高性能を実現します。
以下のフローチャートは、e-con SystemsのTintE ISPとHoloscan SDKを使用したJetson AGX Orinプラットフォーム上でのデータ処理を示しています。
図2: TintE ISPを使用したHoloscanデータ処理パイプラインのフローチャート
HSBに接続されたe-CAM85_CUHSBカメラは、まずLattice CrossLink-NX FPGAを介して初期の画像ストリーム処理を行います。その後、データはe-con Systems製のTintE ISPを内蔵したLattice CertusPro-NX FPGAへと転送されます。
TintE ISPは、デモザイク処理、ホワイトバランス、色補正、YUV（UYVY 16ビット）変換といった、主要なISP機能を実行します。これにより、NVIDIA Jetson AGX OrinやJetson IGXといったエッジAIプラットフォームとのシームレスな統合が可能となります。
次のセクションでは、TintE ISPを用いたLattice HSBによる画像処理パイプラインについて、簡単にご紹介します。
カメラ入力
高解像度のe-CAM85_CUHSBカメラは、4レーンのMIPI CSIインターフェースを介してRAW10/12ビットベイヤーデータをストリーミングします。露出、ゲイン、解像度、フレームレートなどのセンサーパラメータはI2Cインターフェースを介して設定され、イメージセンサーを正確に制御することで、下流処理におけるパフォーマンスを最適化します。
CrossLink-NX FPGA
入力されたMIPIストリームはCrossLink-NX FPGAによって受信され、MIPI D-PHYからLVDSへの変換が行われます。この変換により、センサーのネイティブインターフェースが調整され、プロセッサーコアへの信頼性の高い高速伝送が実現します。
CertusPro-NX FPGAとe-con SystemsのTintE ISP
CertusPro-NX FPGAはHoloscanセンサーブリッジの中核として機能し、3つの重要なコンポーネントを統合しています。入力ビデオストリームを後続処理用に準備するAXI4-Streamフォーマッターを備えたLVDSレシーバ、デモザイク、ホワイトバランス、色補正、YUV変換などのタスクを含むISPパイプライン全体を実行するe-con SystemsのTintE ISP、そして画像フレームを高速UDPパケットに変換するUDPパケタイザーです。
下のブロック図は、CertusPro-NX FPGAとTintE ISPを示しています。
図3: TintE ISPを搭載したCertusPro-NX FPGAのブロック図
ISPワークロードをNVIDIA Jetsonプラットフォームからオフロードすることで、システムはリアルタイムAI推論におけるGPUの可用性を最大限に高めます。
さらに、e-con SystemsはHoloscan SDKをカスタマイズし、ISPパラメータの動的なランタイム制御を可能にし、ライブビデオストリーミングと並行して高解像度の静止画キャプチャをサポートしました。
デュアル10Gイーサネット
画像フレームは処理およびパケット化されると、デュアル10G SFP+イーサネットインターフェースを介してストリーミングされ、マルチセンサーまたはマルチカメラの展開において高帯域幅と低遅延を実現します。
ホスト側（NVIDIA Jetson AGX Orin または IGX Orin）
ホスト側（Jetson AGX Orin または IGX）では、Holoscan SDK が GPU アクセラレーションを使用して以下の処理を引き継ぎます。
- Linux レシーバーオペレーター: フレーム末尾の UDP パケットをメモリに取り込みます。
- CSI から Bayer へのオペレーター： CSI-2 埋め込み RAW データをビデオフレームに変換します。
- フォーマットコンバータオペレーター : ピクセルフォーマットのサイズを変更し、正規化します。
- Holoviz オペレーター： RGB888 データを GUI に表示したり、AI 推論に入力したりします。
Lattice HSB統合向けe-con SystemsのTintE ISPのカスタマイズ
このカスタマイズにより、以下の機能が可能になります。
- TintE ISPによるUYVY変換
TintE ISPは、FPGA上でRAWベイヤーデータをUYVY（16ビット）形式に直接変換します。これにより、ホストプラットフォーム上で追加のISP処理が不要になります。
- リアルタイム画像補正
オートホワイトバランス（AWB）、ガンマ補正、ノイズ除去、レンズシェーディング補正（LSC）、色補正（CC）といった重要なリアルタイム補正機能をサポートします。これらの処理により、Jetsonプラットフォームに送信される前に画質を最適化できます。
- NVIDIA AGX Orin/IGX Orinの負荷軽減
TintE ISPは、ISPパイプライン全体をFPGA上で処理することで、NVIDIA Jetson AGXまたはIGXプラットフォームの処理負荷を大幅に軽減します。これにより、貴重なGPUリソースをAIおよびコンピュータービジョンタスクに割り当て可能になります。
- Holoscan SDK による ISP パラメータの動的制御
TintE ISP は、Holoscan SDK を使用して、コントラスト、明るさ、彩度、シャープネス、自動露出 (AE)、自動ホワイトバランス (AWB) などの ISP パラメータをリアルタイムで微調整します。
それでは、他の一般的なカメラインターフェースとパフォーマンスを比較してみましょう。
インターフェース比較：レイテンシーテスト結果
この比較から、Holoscan Sensor Bridge は MIPI および GMSL インターフェースよりも一貫して遅延が少ないことが示されており、最小レイテンシーは 28ms であることが分かります。
| インターフェース | センサー | 解像度 | フレームレート | ISP | ピクセルあたりのビット数（NVIDIA ホスト入力） | 遅延（ミリ秒） |
| MIPI (Ipex) | IMX715 | 1920 x 1080 | 60 | LibArgus ISP | RAW 10ビット |
55ミリ秒 |
| GMSL | IMX715 | 1920 x 1080 | 60 | LibArgus ISP | RAW 12ビット |
50ミリ秒 |
| Holoscan Sensor Bridge | IMX715 | 1920 x 1080 | 60 | user’s ISP | RAW 12ビット |
34ミリ秒 |
| Holoscan Sensor Bridge | IMX715 | 1920 x 1080 | 60 | user’s ISP | RAW 10ビット |
28ミリ秒 |
| Holoscan Sensor Bridge | IMX715 | 1920 x 1080 | 60 | e-con Systems’ TintE ISP | UYVY 16ビット |
34ミリ秒 |
注：TintE ISP は Holoscan SDK バージョン 2.0 GA を用いて動作検証が行われています。
| テスト設定：遅延測定方法
プラットフォーム: NVIDIA Jetson AGX Orin ディスプレイ出力: DisplayPort から HDMI モニターへ接続（1080p 60） カメラ: e-con Systems の Holoscan カメラ （NVIDIA プラットフォーム対応、IMX715 センサー搭載）（すべてのインターフェースのテストに使用） テスト対象インターフェース：
フレームフォーマット: インターフェースおよび ISP に応じて、RAW10、RAW12、UYVY を使用 ソフトウェアスタック: 入力方式に応じて Holoscan SDK または LibArgus パイプラインを使用 |
撮影からディスプレイ表示までの遅延は、Science Mosaic 製の「遅延メーターキット」を用いて測定されます。
e-con Systems が提供する低遅延カメラ
2003年の創業以来、e-con Systems はカメラソリューションの大手プロバイダーとして、組み込みビジョンの限界を常に押し広げてきました。NVIDIA のエリートパートナーとして、Jetson AGX Orin、Jetson Orin NX/Nano、Jetson Xavier NX/Nano/TX2 NX、Jetson AGX Xavier を含む NVIDIA Jetson プラットフォーム全体に対応した、高性能かつカスタマイズ可能なカメラを提供する深い専門知識を有しています。
当社のカメララインナップは、最大8台のカメラによるマルチカメラ同期、最大20メガピクセルの高解像度、LFM（LEDフリッカー低減）対応のHDR、優れた低照度性能など、多彩な機能をサポートしており、さまざまな組み込みビジョンアプリケーションに対応可能です。
お客様のニーズに合ったカスタムカメラの選定には、当社の サイトをご活用ください。
カメラの統合や技術サポートに関しては、camerasolutions@e-consystems.comまでお気軽にお問い合わせください。
Prabu Kumarは、e-con Systemsの最高技術責任者兼カメラ製品責任者であり、組み込みビジョン分野で15年以上の豊富な経験があります。彼は、USBカメラ、組み込みビジョンカメラ、ビジョンアルゴリズム、FPGAに関する深い知識をも有しています。医療、工業、農業、小売、生体認証などのさまざまなドメインにまたがる50以上のカメラソリューションを構築してきました。また、デバイスドライバー開発とBSP開発の専門家でもあります。現在は、新時代のAIベースのアプリケーションを強化するスマートカメラソリューションの構築に全力を注いでいます。