임베디드 카메라에서 홀로스캔 센서 브리지 및 TintE ISP 성능 이해하기

지연 시간은 카메라가 장면을 캡처하는 순간과 해당 장면이 시청자의 장치에 표시되는 순간 사이의 지연을 의미합니다. 임베디드 비전 시스템에서 지연 시간은 고해상도 이미징만큼이나 중요한 요소입니다. 이 두 가지 모두 의사 결정의 정확성과 응답성에 직접적인 영향을 미치며, 이는 AI 기반 보안 시스템, 자율 주행 차량 또는 자동화된 품질 검사 시스템과 같은 시간 민감한 애플리케이션에서 중요합니다.

이 블로그에서는 e-con Systems의 임베디드 카메라와 Lattice의 홀로스캔 센서 브리지 및 e-con Systems의 TintE ISP를 결합하여 NVIDIA 젯슨 오린 플랫폼에서 저지연 전송을 달성하는 방법을 배울 수 있습니다.

e-con Systems의 e-CAM85_CUHSB 소개

e-CAM85_CUHSB 카메라는 NVIDIA® 홀로스캔 센서 브리지(HSB)와 통합되어 있으며, 이는 NVIDIA Jetson Orin 플랫폼에서 Lattice의 FPGA 기술과 e-con Systems의 TintE ISP 및 홀로스캔 센서 IP를 활용합니다. 이 협업 솔루션은 NVIDIA Jetson AGX Orin 플랫폼에서 AI 가속을 위한 광범위한 인터페이스 지원과 고속 패킷화를 제공합니다.

이 카메라는 휴머노이드 로봇과 같은 엣지 AI 애플리케이션을 위해 최대 2070 FP4 TFLOPS를 제공하는 곧 출시될 NVIDIA Jetson Thor 시리즈와도 호환되도록 설계되었습니다.

이제 먼저 Lattice HSB 보드가 무엇인지 이해한 다음 NVIDIA의 사용자 ISP와 TintE ISP 모두에서 데이터 처리 파이프라인에 대해 살펴보겠습니다.

홀로스캔 센서 브리지란 무엇이며 어떻게 작동하나요?

홀로스캔 센서 브리지는 GPU RDMA(원격 직접 메모리 액세스)와 고속 이더넷을 사용하여 저지연 센서 데이터 처리를 가능하게 하는 FPGA 기반 인터페이스를 제공합니다. 래티스 홀로스캔 센서 브리지 보드는 각각 특수한 역할을 하는 두 개의 강력한 래티스 FPGA를 통합하고 있습니다: CrossLink-NX FPGA는 고대역폭 MIPI 카메라 데이터의 수신을 처리하고, 다른 CertusPro-NX FPGA는 10G SFP+ 이더넷 포트에서 다중 기가비트 속도로 이 데이터를 전송합니다.

단일 FPGA 아키텍처에 적용하여 설계를 단순화하고 효율성을 향상시킬 수도 있지만, Lattice HSB 설정은 유연한 개발 및 테스트를 위해 두 개의 FPGA를 사용합니다. 이 IP는 즉시 사용 가능하고 구성 가능한 홀로스칸 센서 브리지 IP로, 홀로스칸 소프트웨어와 결합되어 센서에 구애받지 않는 데이터-이더넷 호스트 플랫폼을 제공합니다. 이 IP는 FPGA 설계를 단순화하고 가속화하면서 다양한 센서-호스트 애플리케이션에 적응할 수 있는 확장성과 구성성을 제공합니다.

이 보드는 소켓 기반 이더넷 연결을 통해 Jetson AGX Orin과 호환되며 ROCE를 통해 Jetson IGX Orin 플랫폼과 호환됩니다. 듀얼 10G SFP+ 이더넷 포트를 통한 고속 데이터 전송을 지원하여 카메라 통합을 원활하게 합니다.

이제 Lattice HSB가 Holoscan SDK를 사용하는 사용자의 ISP를 사용하여 Jetson AGX Orin 플랫폼에서 데이터를 처리하는 방법을 살펴보겠습니다.

사용자 ISP가 있는 홀로스캔 데이터 처리 파이프라인

아래 흐름도는 Holoscan SDK를 사용하는 사용자의 ISP를 사용하여 Jetson에서 RAW 이미지 데이터를 처리하는 과정을 보여줍니다.

그림 1: NVIDIA 사용자 ISP가 있는 홀로스캔 데이터 처리 파이프라인의 흐름도

이 과정은 그림과 같이 e-CAM85_CUHSB 카메라가 고해상도 RAW Bayer 프레임을 4K @ 60FPS 또는 1080p @ 60FPS에서 10/12비트로 캡처하고 4레인 MIPI-CSI 인터페이스를 통해 데이터를 전송하는 것으로 시작되며, 제어를 위해 I2C를 사용합니다. CrossLink-NX FPGA는 MIPI-CSI를 통해 이 RAW 비디오를 수신하고 다음 처리 단계를 위해 LVDS 형식으로 변환합니다. 그런 다음 이 LVDS 데이터를 CertusPro-NX FPGA로 전송하여 AXI4-Stream 형식으로 디코딩하고, UDP를 사용하여 프레임 데이터를 패킷화한 후 듀얼 10G SFP+ 이더넷 포트를 통해 스트리밍합니다.

수신 측에서는 홀로스칸 SDK가 장착된 NVIDIA Jetson 설정이 AGX용 LinuxReceiverOperator 또는 IGX용 RoceReceiverOperator를 사용하여 이러한 패킷을 캡처합니다. NVIDIA Jetson AGX Orin 또는 IGX는 다음을 통해 여러 이미지 처리 작업을 실행합니다:

• 이미지프로세서 연산자
• 바이엘데모시아 연산자
• 추론 및 후처리 연산자(선택 사항)
• 홀로비즈 비주얼라이저

마지막으로, 처리된 프레임은 HolovizVisualizer(홀로비즈비주얼라이저) 연산자를 통해 GUI에 직접 표시되거나, 객체 감지 및 고급 분석을 위해 AI 추론 파이프라인(추론 및 후처리 연산자)을 통해 실시간 미리보기 설정으로 전달됩니다.

이제 Econ Systems의 TintE ISP—FPGA 기반 ISP가 Lattice HSB와 함께 어떻게 사용되는지 알아보겠습니다

Lattice HSB에서 e-con Systems의 TintE ISP를 사용하는 홀로스캔 데이터 처리 파이프라인

e-con Systems의 고해상도 카메라인 e-CAM85_CUHSB는 NVIDIA 홀로스캔 센서 브리지와 통합되어 Lattice의 FPGA 및 FPGA 기반 이미지 신호 프로세서인 TintE ISP를 활용하여 고성능을 달성합니다.

아래 흐름도는 홀로스캔 SDK를 사용하는 e-con Systems의 TintE ISP를 사용하여 Jetson AGX Orin 플랫폼에서 데이터 처리를 보여줍니다.

그림 2: TintE ISP를 사용한 홀로스캔 데이터 처리 파이프라인의 흐름도

HSB에 연결된 e-CAM85_CUHSB 카메라는 Lattice CrossLink-NX FPGA로 초기 이미지 스트림을 수행합니다. 그런 다음 데이터는 e-con Systems의 TintE ISP를 포함한 Lattice CertusPro-NX FPGA로 전달됩니다.

TintE ISP는 디모사이징, 화이트 밸런스, 색상 보정, YUV(유비 16비트) 변환과 같은 주요 ISP 기능을 수행합니다. 이를 통해 NVIDIA Jetson AGX Orin 및 IGX와 같은 엣지 AI 플랫폼과 원활하게 통합할 수 있습니다.

다음 섹션에서 TintE ISP를 사용한 격자 HSB 이미징 처리 파이프라인에 대한 간략한 설명을 살펴보겠습니다.

카메라 인풋

고해상도 e-CAM85_CUHSB 카메라는 4레인 MIPI CSI 인터페이스를 통해 RAW10/12비트 바이엘 데이터를 스트리밍합니다. 노출, 게인, 해상도, 프레임 속도와 같은 센서 매개변수는 I2C 인터페이스를 통해 구성되어 이미지 센서를 정밀하게 제어하여 다운스트림 처리 성능을 최적화할 수 있습니다.

크로스링크-NX FPGA

들어오는 MIPI 스트림은 MIPI D-PHY를 LVDS로 변환하는 CrossLink-NX FPGA에 의해 수신됩니다. 이 단계는 처리 코어로 신뢰할 수 있는 고속 전송을 위해 센서의 기본 인터페이스를 조정합니다.

e-con Systems의 TintE ISP를 탑재한 CertusPro-NX FPGA

CertusPro-NX FPGA는 홀로스캔 센서 브리지의 핵심 역할을 하며 세 가지 중요한 구성 요소를 통합합니다: 들어오는 비디오 스트림을 추가 처리할 준비를 하는 AXI4-스트림 포맷터를 갖춘 LVDS 수신기, 디모사이징, 화이트 밸런스, 색상 보정, YUV 변환 등의 작업을 포함한 전체 ISP 파이프라인을 수행하는 e-con Systems의 TintE ISP, 이미지 프레임을 고속 UDP 패킷으로 변환하는 UDP Packetizer가 구성요소 입니다.

아래 블록 다이어그램은 TintE ISP가 탑재된 CertusPro-NX FPGA를 보여줍니다.

그림 3: TintE ISP를 사용하는 CertusPro-NX FPGA의 블록 다이어그램

이 시스템은 NVIDIA Jetson 플랫폼에서 ISP 워크로드를 오프로드함으로써 실시간 AI 추론을 위한 GPU 가용성을 극대화합니다.

또한, e-con Systems는 ISP 매개변수의 동적 런타임 제어를 가능하게 하고 실시간 비디오 스트리밍과 병행하여 고해상도 정지 이미지 캡처를 지원하도록 Holoscan SDK를 맞춤화했습니다.

듀얼 10G 이더넷

이미지 프레임이 처리되고 패킷화되면 듀얼 10G SFP+ 이더넷 인터페이스를 통해 스트리밍되므로 멀티 센서 또는 멀티 카메라 배포 시 높은 대역폭과 낮은 지연 시간을 보장합니다.

호스트(NVIDIA 젯슨 AGX 오린 또는 IGX 오린)

호스트 측(Jetson AGX Orin 또는 IGX)에서는 홀로스칸 SDK가 GPU 가속을 사용하여 자리를 차지합니다:

• 리눅스 수신기 연산자: 메모리에 대한 프레임 종료 UDP 패킷을 캡처합니다.
• CSI에서 Bayer 운영자로: CSI-2 임베디드 RAW 데이터를 비디오 프레임으로 변환합니다.
• 형식 변환 연산자: 픽셀 형식을 크기 조정하고 정규화합니다.
• 홀로비즈 연산자: RGB888 데이터를 GUI에 표시하거나 AI 추론에 입력합니다.

Lattice HSB 통합을 위한 맞춤형 e-con Systems의 TintE ISP

사용자 지정은 다음과 같은 기능들이 가능합니다:

1. 틴트 ISP와의 UYVY 변환
   TintE ISP는 RAW Bayer 데이터를 FPGA에서 UYVY(16비트) 형식으로 직접 변환합니다. 이를 통해 호스트 플랫폼에서 추가적인 ISP 처리가 필요하지 않습니다.

2. 시간 이미지 향상
   오토 화이트 밸런스(AWB), 감마 보정, 노이즈 제거, 렌즈 음영 보정(LSC), 컬러 보정(CC)과 같은 필수 실시간 향상 기능을 지원합니다. 이러한 작업은 젯슨 플랫폼에 도달하기 전에 이미지 품질을 최적화하는 데 도움이 됩니다.

3. NVIDIA AGX Orin/IGX Orin의 부하 감소
   FPGA에서 전체 ISP 파이프라인을 처리함으로써 TintE ISP는 NVIDIA Jetson AGX 또는 IGX 플랫폼의 처리 부하를 크게 줄입니다. 이를 통해 AI 및 컴퓨터 비전 작업을 위한 귀중한 GPU 리소스를 확보할 수 있습니다.

4. 홀로스캔 SDK를 통한 동적 ISP 매개변수 제어
   TintE ISP는 홀로스캔 SDK를 사용하여 대비, 밝기, 채도, 선명도, 자동 노출(AE), 자동 화이트 밸런스(AWB)와 같은 ISP 매개변수를 실시간으로 세밀하게 조정합니다.

이제 일반적으로 사용되는 다른 카메라 인터페이스와 성능을 비교해 보겠습니다.

인터페이스 비교: 지연 시간 테스트 결과

이 비교는 홀로스캔 센서 브리지가 MIPI 및 GMSL 인터페이스보다 일관되게 낮은 지연 시간을 제공하며, 가장 낮은 지연 시간인 28ms를 달성했음을 보여줍니다.

인터페이스	센서	해상도	프레임 속도	ISP	Bits per pixel (NVIDIA Host Input)	Latency (ms)
MIPI (Ipex)	IMX715	1920 x 1080	60	LibArgus ISP	RAW 10bits	55ms
GMSL	IMX715	1920 x 1080	60	LibArgus ISP	RAW 12bits	50ms
Holoscan Sensor Bridge	IMX715	1920 x 1080	60	user’s ISP	RAW 12bits	34ms
Holoscan Sensor Bridge	IMX715	1920 x 1080	60	user’s ISP	RAW 10bits	28ms
Holoscan Sensor Bridge	IMX715	1920 x 1080	60	e-con Systems’ TintE ISP	UYVY 16bit	34ms

참고: TintE ISP는 홀로스캔 SDK 버전 2.0 GA로 테스트되었습니다.

테스트 설정: 지연 시간 측정 방법 플랫폼: NVIDIA Jetson AGX Orin 플랫폼 디스플레이 출력: 1080p60에서 디스플레이포트와 HDMI 모니터 연결 카메라: 모든 인터페이스 테스트에 사용되는 IMX715 센서가 탑재된 NVIDIA 플랫폼용 e-con Systems의 홀로스캔 카메라 테스트된 인터페이스: 네이티브 MIPI-CSI(아이펙스 커넥터) 직렬화기-직렬화기 쌍을 통한 GMSL 10G 이더넷(GPU ISP 및 TintE ISP)을 통한 홀로스캔 센서 브리지(HSB) 프레임 형식: 인터페이스와 ISP에 따라 RAW10, RAW12, 그리고 UYVY 소프트웨어 스택: 입력에 따라 Holoscan SDK 또는 LibArgus 파이프라인

지연 시간은 캡처-디스플레이 지연 시간을 측정하는 Science Mosaic의 지연 시간 측정 키트를 사용하여 측정됩니다.

저지연 카메라를 제공하는 e-con Systems

2003년부터 선도적인 카메라 솔루션 제공업체인 e-con Systems는 임베디드 비전 분야에서 꾸준히 한계를 뛰어넘어 왔습니다. NVIDIA 엘리트 파트너인 e-con Systems는 젯슨 AGX Orin, 젯슨 오린 NX/Nano, 젯슨 자비에 NX/Nano/TX2 NX, 젯슨 AGX 자비에를 포함한 전체 NVIDIA 젯슨 플랫폼에 맞춘 고성능 카메라를 제공하는 데 깊은 전문 지식을 제공합니다.

저희 카메라 포트폴리오는 최대 8대의 카메라를 위한 멀티 카메라 동기화, 최대 20MP 해상도, LFM을 탑재한 HDR, 뛰어난 저조도 성능 등의 기능을 지원하여 다양한 임베디드 비전 애플리케이션에 적합합니다.

사용자 지정 카메라를 선택하려면 카메라 셀렉터에서 웹사이트를 탐색하세요.

카메라 통합 지원에 대한 전문가의 안내를 원하시면, camerasolutions@e-consystems.com 로 연락해 주시기 바랍니다.