Grundlegendes zur Leistung der Holoscan Sensor Bridge und TintE ISP in eingebetteten Kameras

Latenz bezeichnet die Verzögerung zwischen der Aufnahme einer Szene durch die Kamera und der Anzeige dieser Szene auf dem Gerät des Betrachters. In eingebetteten Vision-Systemen ist die Latenz ein kritischer Faktor – ebenso wichtig wie hochauflösende Bilderfassung. Beide Faktoren wirken sich direkt auf die Genauigkeit und Reaktionsfähigkeit der Entscheidungsfindung aus, was bei zeitkritischen Anwendungen wie KI-gesteuerten Sicherheitssystemen, autonomen Fahrzeugen oder automatisierten Qualitätsprüfsystemen entscheidend ist.

In diesem Blog erfahren Sie, wie die eingebettete Kamera von e-con Systems in Kombination mit der Holoscan Sensor Bridge von Lattice und dem TintE ISP von e-con Systems eine Übertragung mit extrem geringer Latenz auf NVIDIA Jetson Orin-Plattformen ermöglicht.

Über die e-CAM85_CUHSB -Kamera von e-con Systems

Die e-CAM85_CUHSB -Kamera ist in die NVIDIA® Holoscan Sensor Bridge (HSB) integriert**,** die die FPGA-Technologie von Lattice sowie den TintE ISP und die Holoscan Sensor IP von e-con Systems auf den NVIDIA Jetson Orin-Plattformen nutzt. Diese kollaborative Lösung bietet umfassende Schnittstellen Unterstützung und Hochdurchsatz Paketierung für die KI-Beschleunigung auf der NVIDIA Jetson AGX Orin-Plattform.

Diese Kamera ist außerdem für die kommende NVIDIA Jetson Thor-Serie kompatibel**,** die bis zu 2070 FP4 TFLOPS für Edge-KI-Anwendungen wie humanoide Roboter liefert.

Lassen Sie uns zunächst verstehen, was die Lattice HSB-Platine ist, und dann werden wir uns mit ihrer Datenverarbeitungspipeline befassen – sowohl mit dem Benutzer-ISP von NVIDIA als auch mit dem TintE ISP.

Was ist eine Holoscan -Sensorbrücke – und wie funktioniert sie?

Die Holoscan Sensor Bridge bietet eine FPGA-basierte Schnittstelle, die GPU RDMA (Remote Direct Memory Access) und High-Speed-Ethernet nutzt, um die Verarbeitung von Sensordaten mit geringer Latenz zu ermöglichen. Die Lattice Holoscan Sensor Bridge-Platine enthält zwei leistungsstarke Lattice-FPGAs, die jeweils eine spezielle Rolle spielen: Das CrossLink-NX-FPGA übernimmt den Empfang von MIPI-Kameradaten mit hoher Bandbreite, während das CertusPro-NX-FPGA für die Übertragung dieser Daten mit Multi-Gigabit-Geschwindigkeit über 10G SFP+-Ethernet-Ports zuständig ist.

Es kann auch in der Produktion an eine einzelne FPGA-Architektur angepasst werden, um das Design zu vereinfachen und die Effizienz zu verbessern, obwohl das Lattice HSB-Setup zwei FPGAs für flexible Entwicklung und Tests nutzt. Es handelt sich um eine einsatzbereite, konfigurierbare Holoscan Sensor Bridge IP, gepaart mit der Holoscan-Software, um eine sensorunabhängige Data-to-Ethernet-Hostplattform bereitzustellen. Diese IP vereinfacht und beschleunigt das FPGA-Design und bietet gleichzeitig Skalierbarkeit und Konfigurierbarkeit für die Anpassung an verschiedene Sensor-to-Host-Anwendungen.

Die Karte ist kompatibel mit dem Jetson AGX Orin über Socket-basierte Ethernet-Verbindungen und mit den Jetson IGX Orin-Plattformen über ROCE. Sie unterstützt Hochgeschwindigkeits Datenübertragung über duale 10G SFP+-Ethernet-Ports für eine nahtlose Kamera Integration.

Sehen wir uns nun an, wie Lattice HSB Daten auf der Jetson AGX Orin-Plattform mithilfe des ISP eines Benutzers mit dem Holoscan SDK verarbeitet.

Holoscan -Datenverarbeitungspipeline mit dem ISP des Benutzers

Das folgende Flussdiagramm veranschaulicht die Verarbeitung von RAW-Bilddaten auf Jetson mithilfe des ISP eines Benutzers mit dem Holoscan SDK.

Abbildung 1: Flussdiagramm der Holoscan -Datenverarbeitungspipeline mit dem ISP des NVIDIA-Benutzers

Dieser Prozess beginnt, wie dargestellt, damit, dass die e-CAM85_CUHSB-Kamera hochauflösende RAW-Bayer-Frames mit 4K @ 60FPS oder 1080p @ 60FPS mit 10/12 Bit aufnimmt und die Daten über eine 4-Lane-MIPI-CSI-Schnittstelle überträgt und I2C für die Steuerung verwendet. Das CrossLink-NX-FPGA empfängt dieses RAW-Video über MIPI-CSI und konvertiert es für die nächste Verarbeitungsstufe in das LVDS-Format. Diese LVDS-Daten werden dann an das CertusPro-NX-FPGA gesendet, das sie in das AXI4-Stream-Format dekodiert, die Frame-Daten mit UDP paketiert und über duale 10G-SFP+-Ethernet-Ports streamt.

Auf der Empfängerseite erfasst das NVIDIA-Jetson-Setup, ausgestattet mit dem Holoscan SDK, diese Pakete entweder mit dem LinuxReceiverOperator für AGX oder dem RoceReceiverOperator für IGX. Der NVIDIA Jetson AGX Orin oder IGX führt mehrere Bildverarbeitungsvorgänge aus über:

• Bildprozessor-Operator
• BayerDemosaicOperator
• Inferenz- und Nachbearbeitungsoperator (optional)
• HolovizVisualizer

Abschließend werden die verarbeiteten Frames entweder direkt auf einer GUI über den HolovizVisualizer-Operator angezeigt oder durch eine KI-Inferenzpipeline (Inferencing- und Postprocessing-Operator) zur Objekterkennung und erweiterten Analyse in einem Live-Vorschau-Setup geleitet.

Lassen Sie uns nun herausfinden, wie der TintE ISP von e-con Systems – ein FPGA-basierter ISP – mit Lattice HSB verwendet wird

Holoscan -Datenverarbeitungspipeline mit TintE ISP von e-con Systems auf Lattice HSB

Die e-CAM85_CUHSB, eine hochauflösende Kamera von e-con Systems, lässt sich in die NVIDIA Holoscan Sensor Bridge integrieren und nutzt Lattices FPGA und TintE ISP, einen FPGA-basierten Bildsignalprozessor zur Erzielung hoher Leistung.

Das folgende Flussdiagramm veranschaulicht die Datenverarbeitung auf der Jetson AGX Orin-Plattform mithilfe eines TintE ISP von e-con Systems – mit dem Holoscan SDK.

Abbildung 2: Flussdiagramm der Holoscan -Datenverarbeitungspipeline mit TintE ISP

Die mit HSB verbundene Kamera e-CAM85_CUHSB führt einen ersten Blindstrom mit einem Lattice CrossLink -NX FPGA durch. Die Daten werden dann an das Lattice CertusPro -NX FPGA weitergeleitet, einschließlich des TintE ISP von e-con Systems .

Der TintE ISP führt wichtige ISP-Funktionen wie Demosaicing , Weißabgleich, Farbkorrektur und YUV-Konvertierung (UYVY 16-Bit) aus. Dies ermöglicht eine nahtlose Integration mit Edge-KI-Plattformen wie NVIDIA Jetson AGX Orin und IGX.

Im folgenden Abschnitt finden Sie eine kurze Erklärung der Bildverarbeitung Pipeline mit Lattice HSB unter Verwendung des TintE ISP.

Kameraeingang

Die hochauflösende Kamera e-CAM85_CUHSB überträgt RAW10/12-Bit-Bayer-Daten über eine 4-Lane-MIPI-CSI-Schnittstelle. Sensor Parameter wie Belichtung, Verstärkung, Auflösung und Bildrate werden über die I2C-Schnittstelle konfiguriert. Dies ermöglicht eine präzise Steuerung des Bildsensors für eine optimierte Leistung in der nachgelagerten Verarbeitung.

CrossLink -NX FPGA

Der eingehende MIPI-Stream wird vom CrossLink-NX FPGA empfangen, das die MIPI-D-PHY-zu-LVDS-Konvertierung durchführt. Dieser Schritt passt die native Schnittstelle des Sensors für eine zuverlässige Hochgeschwindigkeits Übertragung an den Verarbeitungs Kern an.

CertusPro -NX FPGA mit TintE ISP von e-con Systems

Das CertusPro-NX FPGA dient als Kern der Holoscan-Sensorbrücke und integriert drei wichtige Komponenten:
einen LVDS-Empfänger mit einem AXI4-Stream-Formatierer, der eingehende Videoströme für die weitere Verarbeitung vorbereitet; den TintE ISP von e-con Systems, der die komplette ISP-Pipeline ausführt, einschließlich Aufgaben wie Demosaicing, Weißabgleich, Farbkorrektur und YUV-Konvertierung; und einen UDP-Paketierer, der Bildrahmen in Hochgeschwindigkeits-UDP-Pakete umwandelt.

Das folgende Blockdiagramm zeigt das CertusPro -NX-FPGA mit dem TintE- ISP.

Abbildung 3: Block diagramm von Certus Pro -NX FPGA mit TintE ISP

Durch die Entlastung der NVIDIA-Jetson-Plattform von der ISP-Arbeitslast maximiert das System die GPU-Verfügbarkeit für Echtzeit-KI-Inferenz.

Darüber hinaus hat e-con Systems das Holoscan SDK angepasst, um eine dynamische Steuerung der ISP-Parameter zur Laufzeit zu ermöglichen und die Aufnahme hochauflösender Standbilder parallel zum Live-Video-Streaming zu unterstützen.

Duales 10G-Ethernet

Sobald die Bildrahmen verarbeitet und paketiert sind, werden sie über duale 10G-SFP+ Ethernet-Schnittstellen gestreamt, wodurch eine hohe Bandbreite und geringe Latenz für den Einsatz mit mehreren Sensoren oder Kameras gewährleistet wird.

Host (NVIDIA Jetson AGX Orin oder IGX Orin)

Auf der Hostseite (Jetson AGX Orin oder IGX) übernimmt das Holoscan SDK mithilfe der GPU-Beschleunigung:

• Linux Receiver Operator : Erfasst UDP-Pakete am Ende des Frames im Speicher.
• CSI-zu-Bayer-Operator : Konvertiert eingebettete CSI-2-RAW-Daten in Videobilder.
• Formatkonverter-Operator : Ändert die Größe und normalisiert Pixelformate.
• Holoviz- Operator : Zeigt RGB888-Daten auf der GUI an oder speist sie in die KI-Inferenz ein.

TintE ISP von e-con Systems für die Lattice HSB-Integration

Die Anpassung ermöglicht die folgenden Funktionen, beispielsweise:

1. UYVY-Konvertierung mit TintE ISP
   Der TintE ISP konvertiert RAW-Bayer-Daten direkt auf dem FPGA in das 16-Bit-UYVY-Format. Dadurch entfällt die Notwendigkeit einer zusätzlichen ISP-Verarbeitung auf der Host-Plattform.

2. Bildverbesserungen in Echtzeit:
   Unterstützt wesentliche Echtzeit Verbesserungen wie automatischen Weißabgleich (AWB), Gammakorrektur, Rauschunterdrückung, Linsen Schattierung Korrektur (LSC) und Farbkorrektur (CC). Diese Funktionen optimieren die Bildqualität, bevor sie die Jetson-Plattform erreicht.

3. Reduzierte Belastung von NVIDIA AGX Orin/IGX Orin
   Durch die vollständige Auslagerung der ISP-Pipeline auf das FPGA verringert der TintE ISP die Verarbeitung Last erheblich und gibt wertvolle GPU-Ressourcen für KI- und Computer-Vision-Aufgaben frei.

4. Dynamische ISP-Parametersteuerung über Holoscan SDK.
   Der TintE ISP passt Parameter wie Kontrast, Helligkeit, Sättigung, Schärfe, automatische Belichtung (AE) und automatischen Weißabgleich (AWB) in Echtzeit an.

Vergleichen wir nun die Leistung mit anderen gängigen Kamera Schnittstellen.

Schnittstellen Vergleich: Ergebnisse des Latenz Tests

Dieser Vergleich zeigt, dass die Holoscan Sensor Bridge durchweg eine geringere Latenz als MIPI- und GMSL-Schnittstellen bietet, wobei die niedrigste erreichte Latenz 28 ms beträgt.

Schnittstelle	Sensor	Auflösung	Bildrate	Internetanbieter	Bits pro Pixel (NVIDIA-Host-Eingang)	Latenz (ms)
MIPI (Ipex)	IMX715	1920 x 1080	60	LibArgus ISP	RAW 10bits	55ms
GMSL	IMX715	1920 x 1080	60	LibArgus ISP	RAW 12bits	50ms
Holoscan -Sensorbrücke	IMX715	1920 x 1080	60	ISP des Benutzers	RAW 12bits	34ms
Holoscan -Sensorbrücke	IMX715	1920 x 1080	60	ISP des Benutzers	RAW 10bits	28ms
Holoscan -Sensorbrücke	IMX715	1920 x 1080	60	TintE ISP von e-con Systems	UYVY 16bit	34ms

Hinweis: TintE ISP wurde mit Holoscan SDK Version 2.0 GA getestet.

Testaufbau: So wurde die Latenz gemessen Plattform: NVIDIA Jetson AGX Orin-Plattform Anzeigeausgang : DisplayPort zu HDMI-Monitor bei 1080p60 Kamera : Holoscan- Kamera von e-con Systems für NVIDIA-Plattformen mit IMX715-Sensor (für alle Schnittstellentests verwendet) Getestete Schnittstellen : Natives MIPI-CSI ( Ipex- Anschluss) GMSL über Serialisierer- Deserialisierer -Paar Holoscan Sensor Bridge (HSB) über 10G Ethernet (GPU ISP und TintE ISP) Frame-Format : RAW10, RAW12 und UYVY, abhängig von der Schnittstelle und dem ISP Software-Stack : Holoscan SDK oder LibArgus -Pipeline, abhängig von der Eingabe

Die Latenz wird mit einem Latenz messgerät Kit von Science Mosaic gemessen, das die Latenz von der Aufnahme bis zur Anzeige Erfasst.

e-con Systems bietet Kameras mit geringer Latenz

e-con Systems, seit 2003 ein führender Anbieter von Kameralösungen, hat die Grenzen der eingebetteten Bildverarbeitung kontinuierlich erweitert. Als NVIDIA Elite Partner verfügt e-con Systems über umfassendes Know-how in der Bereitstellung von Hochleistungskameras, die auf die gesamte NVIDIA Jetson-Plattform zugeschnitten sind, einschließlich Jetson AGX Orin, Jetson Orin NX/Nano, Jetson Xavier NX/Nano/TX2 NX und Jetson AGX Xavier.

Unser Kamera Portfolio unterstützt Funktionen wie die Synchronisierung mehrerer Kameras für bis zu 8 Kameras, Auflösungen von bis zu 20 MP, HDR mit LFM und hervorragende Leistung bei schwachem Licht – und deckt damit eine breite Palette von Embedded Vision-Anwendungen ab.

Um Ihre individuelle Kamera auszuwählen, erkunden Sie die Website unter Camera Selector.

Wenn Sie fachkundige Beratung zur Unterstützung bei der Kamera Integration benötigen, schreiben Sie bitte an camerasolutions@e-consystems.com.