Eingebettete Bildverarbeitung gewinnt in der Künstlichen Intelligenz (KI), dem Internet der Dinge (auch Internet of Things, Kurzform: IoT) und anderen aufstrebenden technologiebasierten Anwendungen immer mehr an Bedeutung. Aus diesem Grund sind immer mehr Unternehmen bestrebt, Bildgebungsfunktionen kosteneffizient in ihre Produkte zu integrieren. Für viele dieser Produkte und Anwendungen ist die MIPI (Mobile Industry Processor Interface)-Schnittstelle eine der beliebtesten und bequemsten Möglichkeiten, um Kameras mit dem Host-Prozessor zu verbinden.
In diesem Blog versuchen wir, mehr über die MIPI-Schnittstelle und die Funktionsweise von MIPI-Kameras zu erfahren.
Bevor wir uns mit den Vorteilen der MIPI-Schnittstelle und der Funktionsweise von MIPI-Kameras befassen, wollen wir ein wenig über die Entwicklung der Schnittstelle im Laufe der Zeit berichten.
Entwicklung der MIPI-Schnittstelle
CSI-1
CSI-1 war die ursprüngliche Standard-MIPI-Schnittstellenarchitektur, die die Schnittstelle zwischen einer Kamera und einem Host-Prozessor definierte.
CSI-2
Die erste Version von MIPI CSI-2, die 2005 veröffentlicht wurde, enthielt ein Protokoll, das in verschiedene Schichten unterteilt war, z. B.:
- Physikalische Schicht
- Lane-Merger-Schicht
- Low-Level-Protokollschicht
- Pixel-zu-Byte-Konvertierungsschicht
- Anwendungsschicht
Später im Jahr 2017 wurde die zweite Version von MIPI CSI-2 mit Unterstützung für die Farbtiefen RAW-16 und RAW-20 veröffentlicht. Darüber hinaus konnte sie die virtuellen Kanäle von 4 auf 32 erhöhen und die Latenzreduzierung und Transporteffizienz (LRTE) verringern.
Die dritte Version von MIPI CSI-2 wurde 2019 veröffentlicht und bot Unterstützung für die Farbtiefe RAW-24.
CSI-3
MIPI CSI-3 wurde erstmals im Jahr 2012 veröffentlicht, gefolgt von der nächsten Version im Jahr 2014. Es bietet ein bidirektionales Hochgeschwindigkeitsprotokoll für die Bild- und Videoübertragung zwischen Kameras und Hosts. Unter den drei Typen ist MIPI CSI-2 die am häufigsten verwendete Schnittstelle in mobilen und dezentralen Anwendungen wie autonomes Fahren, Drohnen, Smart City, medizinische Bildgebung, Computer Vision usw.
Mehr über MIPI CSI-2
Im vorherigen Abschnitt haben wir uns angesehen, wie sich die MIPI-Schnittstelle im Laufe der Jahre entwickelt hat. Nun wollen wir versuchen, die MIPI CSI-2 Schnittstelle ein wenig genauer zu verstehen.
MIPI CSI-2 wird häufig in eingebetteten Bildverarbeitungssystemen verwendet und ist eine Schnittstelle für Kameras, die einen Bildsensor mit einer eingebetteten Karte verbindet, um die Bilddaten zu steuern und zu verarbeiten. Auf diese Weise können der Sensor und die eingebettete Platine zusammen als ein Kamerasystem agieren, um Bilder zu erfassen. Das folgende Bild zeigt eine eingebettete Kameraplatine, die über eine MIPI CSI-2 Schnittstelle mit einem Bildsensor verbunden ist.
MIPI-Kameras bieten eine höhere Leistung, da sie eine bessere Auflösung und Bildrate gewährleisten als die älteren Kameramodule mit paralleler Schnittstelle, auch bekannt als Digital Video Port (DVP) Schnittstelle.
Heute ziehen viele Ingenieure MIPI CSI-2-Kameras gegenüber USB-Kameras vor. Obwohl beide Kameras ihre eigenen Vor- und Nachteile haben, wollen wir uns einige der wichtigsten Vorteile von MIPI-Kameras gegenüber USB-Kameras ansehen.
Warum MIPI CSI-2 statt USB?
Theoretisch beträgt die maximale Bandbreite der USB-Schnittstelle 5 Gigabit pro Sekunde. In der Praxis kann man eine Bandbreite von etwa 3,6 Gigabit pro Sekunde erreichen. Dies schränkt die Fähigkeit der in vielen Anwendungen eingesetzten Bildverarbeitungssysteme ein, Bilddaten schnell für verschiedene Verarbeitungs- und Analysezwecke zu übertragen. An dieser Stelle kann CSI-2 hilfreicher sein. Es bietet eine maximale Bandbreite von 6 Gigabit pro Sekunde, bei einer erreichbaren Bandbreite von etwa 5 Gigabit pro Sekunde). CSI-2 macht den Prozess auch effizienter und schneller als die universelle Schnittstelle in USB. Die folgende Abbildung zeigt die maximale Bandbreite, die von der MIPI CSI-2 Schnittstelle unterstützt wird.
MIPI CSI-2 unterstützt Hochleistungsanwendungen und hochauflösende Bildgebung. Sie kann Bilder und Videos in den Formaten 1080p, 4K und 8K nahtlos übertragen. Sie eignet sich sowohl für Einzel- als auch für Multi-Kamera-Implementierungen. MIPI CSI-2 ermöglicht auch größere Möglichkeiten für den Maschinenverständnis über mehrere Anwendungen hinweg.
Wenn Sie mehr darüber erfahren möchten, wie eine MIPI-Kamera im Vergleich zu einer USB-Kamera abschneidet, werfen Sie einen Blick auf MIPI-Kamera vs. USB-Kamera – ein detaillierter Vergleich. GMSL ist auch eine Alternative zu MIPI, die typischerweise in Anwendungen eingesetzt wird, bei denen Bild- und Videodaten über eine Entfernung von mehr als 3 Metern übertragen werden müssen. Wie sich eine GMSL-Kamera von einer MIPI-Kamera unterscheidet, erfahren Sie unter GMSL-Kamera gegenüber MIPI-Kamera.
Leistungsmerkmale von MIPI CSI-2
Im Folgenden finden Sie eine Liste der wichtigsten Leistungsmerkmale der MIPI CSI-2 Schnittstelle.
- Ihre RAW-16- oder 24-Farbtiefe verbessert den hohen Dynamikbereich (HDR) und das Signal-Rausch-Verhältnis (Signal-to-noise ratio, SNR), wodurch autonome Fahrzeuge mit fortschrittlichen Sichtfunktionen ausgestattet werden.
- Sie bietet die Möglichkeit, bis zu 32 virtuelle Kanäle zu verwenden, die Bildsensoren mit mehreren Datentypen aufnehmen können. Dies unterstützt die Fusion von Sensoren mit mehreren Belichtungen und mehreren Entfernungen für fortschrittliche Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS).
- Latenzreduzierung und Transporteffizienz (Latency Reduction and Transport Efficiency, LRTE) erleichtern die Echtzeit-Wahrnehmung und optimieren den Transport, um die Anzahl der Leitungen und den Stromverbrauch zu reduzieren.
- Die DPCM (Differential Pulse Code Modulation)-Komprimierung reduziert die Bandbreite und liefert gleichzeitig SNR-Bilder ohne Kompressionsartefakte für Vision-Anwendungen.
Im Allgemeinen sind MIPI-Kameras ideal für eingebettete Bildverarbeitungssysteme von High-Tech-OEMs. Sehen wir uns nun an, wie eine MIPI CSI-2-Kamera in einem Bildverarbeitungssystem funktioniert.
MIPI-Kamera: Wie sie funktioniert
In der Regel unterstützt die ultrakompakte Platine in einem Bildverarbeitungssystem MIPI CSI-2 und arbeitet mit einer Vielzahl von intelligenten Sensorlösungen. Außerdem ist sie mit vielen verschiedenen CPU-Karten kompatibel.
MIPI CSI-2 unterstützt die physikalische Schicht MIPI D-PHY zur Kommunikation mit dem Anwendungsprozessor oder System-on-a-Chip (SoC). Es kann auf jeder der beiden physikalischen Schichten implementiert werden: MIPI C-PHY℠ v2.0 oder MIPI D-PHY℠ v2.5. Daher ist die Leistung der Lane skalierbar.
Sehen Sie sich die folgende Abbildung an, um die Funktionsweise einer MIPI CSI-2-Kamera besser zu verstehen:
Bei einer MIPI-Kamera nimmt der Kamerasensor ein Bild auf und überträgt es an den CSI-2-Host. Bei der Übertragung wird das Bild in Form von Einzelbildern im Speicher abgelegt. Jedes Bild wird über virtuelle Kanäle übertragen. Jeder Kanal wird dann in Zeilen aufgeteilt, die jeweils einzeln übertragen werden. Damit ist eine vollständige Bildübertragung vom selben Bildsensor möglich – allerdings mit mehreren Pixelströmen.
MIPI CSI-2 verwendet Pakete zur Kommunikation, die Datenformat und Fehlerkorrekturcode (ECC) enthalten. Ein einzelnes Paket durchläuft die D-PHY-Schicht und teilt sich dann in die erforderliche Anzahl von Datenspuren auf. D-PHY arbeitet im Hochgeschwindigkeitsmodus und überträgt das Paket über den Kanal an den Empfänger.
Anschließend wird der CSI-2-Empfänger mit der physikalischen D-PHY-Schicht ausgestattet, um das Paket zu extrahieren und zu dekodieren. Der Prozess wird Frame für Frame vom CSI-2-Gerät zum Host durch eine effiziente und kostengünstige Implementierung wiederholt.
Die MIPI CSI-2 Schnittstelle macht die Integration einfacher und zukunftssicherer. MIPI-Kameramodule können mit Prozessoren wie NXP i.MX8, i.MX7, i.MX6, NVIDIAs Jetson Nano™, Jetson Xavier™ NX, Jetson AGX Xavier™, Jetson™ TX2 und Jetson™ TX2 NX sowie anderen Linux/Windows/Android-basierten Systemen verbunden werden.
Wenn Sie erfahren möchten, wie Sie eine Schnittstelle für Ihr eingebettetes Bildverarbeitungssystem auswählen, lesen Sie den Artikel Wie Sie die richtige Schnittstelle für ein eingebettetes Bildverarbeitungssystem auswählen.
e-con Systems verfügt über mehr als 18 Jahre Erfahrung und Know-how im Bereich der eingebetteten Bildverarbeitung und hat mehr als 50 MIPI-Kameramodule entwickelt, die mit allen gängigen Verarbeitungsplattformen kompatibel sind. Werfen Sie einen Blick auf unser Portfolio an Eingebetteten Bildverarbeitungs-Kameras, um mehr zu erfahren.
Benötigen Sie Hilfe bei der Integration der richtigen Kamera in Ihr Produkt? Wenn ja, schreiben Sie bitte eine Nachricht an camerasolutions@e-consystems.com. Unsere Kameraexperten helfen Ihnen gerne weiter.
Prabu ist Chief Technology Officer und Head of Camera Products bei e-con Systems und verfügt über eine reiche Erfahrung von mehr als 15 Jahren im Bereich der eingebetteten Bildverarbeitung. Er bringt umfassende Kenntnisse in den Bereichen USB-Kameras, eingebettete Bildverarbeitungskameras, Bildverarbeitungsalgorithmen und FPGAs mit. Er hat über 50 Kameralösungen für verschiedene Bereiche wie Medizin, Industrie, Landwirtschaft, Einzelhandel, Biometrie und mehr entwickelt. Er verfügt außerdem über Fachwissen in der Gerätetreiberentwicklung und BSP-Entwicklung. Derzeit liegt der Schwerpunkt von Prabu auf der Entwicklung intelligenter Kameralösungen, die KI-basierte Anwendungen des neuen Zeitalters ermöglichen.