이미지 노이즈 제거란 무엇이며 그 방법은 무엇일까요?

노이즈는 원본 오디오, 비디오 또는 이미지 데이터를 방해하고 왜곡하는 원치 않거나 무작위적인 신호입니다. 마찬가지로 이미징에서도 센서 오작동으로 인한 밝기 또는 색상 정보의 변화, 어려운 조명 조건 또는 장거리 데이터 전송 시 신호 저하와 같은 시각적 노이즈가 이미지에 포함된 경우 출력 이미지 품질에 정보 손실이 발생할 수 있습니다. 이러한 데이터 손실은 중요한 세부 사항을 모호하게 하거나 측정에 영향을 미치거나 다운스트림 AI 모델 성능을 저하시킬 수 있습니다.

따라서 이미지의 세부 사항을 보존하고 고품질을 보장하기 위해 이미지에서 노이즈를 제거하는 것이 중요합니다. 따라서 이미지 노이즈 제거는 RAW 이미지 처리에서 도입되는 핵심 단계로 선명도, 색상 충실도 및 전반적인 선명도를 유지하는 데 도움이 됩니다.

이 블로그는 이미지 노이즈 제거가 무엇인지 탐구하고, 다양한 유형을 탐구하며, AI가 내장된 애플리케이션에서 정확한 다운스트림 처리를 위해 명확하고 노이즈가 없는 이미지를 생성하기 위한 고전적 및 현대적 노이즈 제거 방법론에 대한 포괄적인 개요를 제공합니다.

먼저 이미지 노이즈 제거의 개념과 그 기원에 대해 이해해 보겠습니다.

이미지 노이즈 제거란 무엇일까요?

이미지 노이즈 제거는 디지털 이미지에서 노이즈, 즉 무작위 픽셀 강도 변동을 제거하는 계산 프로세스를 말합니다. 노이즈는 다양한 출처에서 발생할 수 있습니다:

• 센서 제한 사항(예: 저조도 조건, 작은 픽셀 피치)
• 아날로그-디지털 변환 과정
• 전송 오류 또는 환경 조명 조건

소음은 다양한 출처에서 발생하기 때문에 이미지에서 소음을 제거하거나 줄이기 위해 공통 소음 유형을 식별하는 것이 중요합니다.

노이즈 제거 방법에 대해 배우기 전에 이미지에서 가장 일반적인 노이즈 유형을 살펴보겠습니다.

이미지 내 노이즈 유형

• 가우시안 노이즈 – 정규 분포를 따릅니다. 픽셀 값은 가우시안 분포에서 추출한 무작위 값에 의해 변경됩니다. 이는 종종 센서 전자 장치에 의해 발생하며 가우시안 노이즈(AWGN)를 가산 백색 가우시안 노이즈(AWGN)로 모델링합니다.
• 솔트 앤 페퍼 노이즈 – 일반적으로 비트 오류, 메모리 위치 결함 또는 전송 결함으로 인해 무작위 흑백 픽셀로 나타납니다.
• 포아송 잡음 – 포아송 잡음, 또는 샷 잡음은 저조도 환경에서 광자 검출의 무작위적인 특성에서 비롯됩니다. 이는 신호에 따라 달라지며 포아송 분포를 따릅니다.
• 스펙클 노이즈 – 의료용 초음파와 같은 코히런트 이미징에서 흔히 발생하며, 곱셈 입자 패턴이 특징입니다.

각 노이즈 유형은 최적의 결과를 얻기 위해 적절한 노이즈 제거 접근 방식이 필요합니다. 이미지 노이즈를 제거하기 위한 카메라의 노이즈 제거 방법이 단순하고 복잡한 형태로 어떻게 발전했는지 살펴봅시다.

노이즈 제거 방법의 진화

지난 수십 년 동안 노이즈 제거 방법이 도입되었지만, 첨단 기술의 발전으로 성능이 향상되었습니다.

아래에서 노이즈 제거 방법의 진화를 살펴보겠습니다.

그림 1: 노이즈 제거 방법의 진화

아래 섹션에서는 이미지 처리에서 기본 기술부터 고급 기술까지 다양한 노이즈 제거 방법이 적용되는 구체적인 시나리오를 이해하기 위해 각 노이즈 제거 방법에 초점을 맞춰 보겠습니다.

1. 간단한 공간 필터​

이 간단한 필터 방법은 인접한 픽셀에 따라 픽셀을 필터링하여 이미지를 직접 조작합니다. 아래에는 다양한 유형의 공간 필터가 나열되어 있습니다.
평균 필터(평균 필터): 각 픽셀을 이웃 픽셀의 평균으로 대체하여 노이즈와 디테일을 모두 매끄럽게 합니다.

• 가우시안 필터: 공간 거리에 기반한 가중 평균을 사용하여 구조를 보존할 때 평균 필터보다 더 나은 성능을 발휘합니다.
• 양방향 필터: 공간 거리와 강도 유사성을 고려하여 가장자리 보존에 능숙합니다.
• 중앙값 필터(솔트 앤 페퍼 노이즈): 중앙값 필터는 각 픽셀의 값을 인접 픽셀의 중앙값으로 대체하여 소금 및 후추 노이즈를 제거합니다.

그림 2: 간단한 공간 필터

중앙값 필터는 광범위한 가우시안 노이즈에서는 잘 작동하지 않을 수 있지만 소금과 후추 노이즈에는 효과적입니다.

그림 2: 솔트 앤 페퍼 노이즈가 있는 이미지(오른쪽)와 중앙값 필터가 있는 노이즈 제거 이미지

공간 필터는 로컬입니다. 가장자리가 흐려질 수 있으며 이미지 전반에 걸쳐 전 세계적으로 분포된 노이즈에 대해 덜 효과적입니다.

2. 비국소적 수단​

로컬 필터와 달리, 비로컬 평균 필터 방법은 노이즈가 제거된 픽셀을 더 잘 추정하기 위해 로컬 영역 대신 전체 이미지/검색 창에서 유사한 패치를 검색합니다.

이는 텍스처와 미세 구조에 잘 작동하며 가우시안 필터링이나 양방향 필터링보다 가장자리를 보존하는 데 더 효과적입니다.

비국소적 평균 알고리즘도 큰 이미지를 처리할 때 한계가 있습니다. 전체 창에서 유사한 패치를 검색하는 데 시간이 많이 소요될 수 있기 때문입니다. 따라서 큰 이미지를 처리하기 위해 특별히 설계된 대체 방법을 탐구하면 더 효율적인 결과를 얻을 수 있습니다.

그림 2: 비국소적 수단을 사용한 노이즈 제거 이미지

3. 변환 기반​

변환 기반 방법은 이미지를 주파수 영역으로 변환하여 픽셀을 직접 필터링하는 대신 노이즈와 중요한 세부 사항을 자연스럽게 분리합니다.

두 가지 주요 변환 방법은 아래에 설명되어 있습니다

• 웨이블릿 변환 노이즈 제거

이 접근 방식은 이미지를 여러 주파수 구성 요소로 나누어 추가 분석 또는 처리를 수행합니다. 고주파 구성 요소는 주로 노이즈를 포함하는 반면 저주파 구성 요소는 가장자리 및 텍스처와 같은 중요한 이미지 구조를 포함합니다. 이미지 노이즈를 제거하기 위해 임계값을 적용하여 고주파 노이즈를 제거하여 이미지의 유용한 콘텐츠를 보존합니다.

• 이산 코사인 변환(DCT)

DCT는 푸리에 변환과 유사하지만 이미지 압축 및 노이즈 제거에 특별히 최적화되어 있습니다. 이미지를 코사인파의 합으로 표현하여 작동합니다. 이미지 데이터에서 노이즈는 고주파 코사인 계수에 집중되는 경향이 있으므로 이러한 약한 계수를 제거하여 노이즈를 줄일 수 있습니다.

웨이블릿 노이즈 제거는 일반적으로 DCT보다 적은 아티팩트를 발생시킵니다. 이는 국소화된 다중 스케일 처리 덕분입니다. DCT는 계산 효율성이 더 높지만, 특히 강한 노이즈 감소 하에서는 아티팩트를 차단하는 경향이 있습니다. 두 방법 모두 노이즈 제거가 너무 공격적일 경우 아티팩트를 생성할 수 있습니다.

4. BM3D​

BM3D 방법은 블록 매칭과 3D 필터링의 짧은 형태입니다. 이 노이즈 제거 방법은 비국소적 평균 알고리즘과 마찬가지로 이미지 전반에 걸쳐 유사한 패치를 찾는 원리로 작동합니다. 이러한 유사한 2D 패치를 3D 블록으로 쌓습니다. 그런 다음 웨이블릿 변환 또는 이산 코사인 변환(DCT)과 같은 변환을 이 전체 3D 구조에 적용합니다. 이 변환 도메인 내에서 협력 필터링이 수행되며, 노이즈를 줄이기 위해 임계값 설정이나 위너 필터링과 같은 노이즈 제거 방법을 사용합니다. 마지막으로 처리된 패치는 이미지의 원래 위치로 다시 집계되며, 겹치는 영역은 일반적으로 평균을 내어 최종 노이즈 제거 출력을 생성합니다.

BM3D – 노이즈 제거 이미지

BM3D 노이즈 제거 방법은 가우시안 노이즈에는 잘 작동하지만 구조화된 노이즈에는 어려움을 겪습니다.

BM3D 기술 사용의 장점

• 개선된 노이즈 제거: 개별 패치뿐만 아니라 유사한 패치의 전체 3D 그룹을 노이즈 제거하여 노이즈를 더 효율적으로 줄입니다.
• 정보 보존: 가중 평균을 사용하는 것보다 변환 공간에서 필터링함으로써 세밀한 디테일을 더 잘 보존합니다.

5. 저랭크 노이즈 제거, 희소 표현 기반 노이즈 제거 및 하이브리드 방법

저차원, 희소 모델, 하이브리드 모델은 이미지 노이즈 제거에 사용되는 고급 기술 중 하나입니다. 각 카테고리에는 다양한 노이즈 제거 방법이 포함되어 있습니다. 다음 섹션에서는 각 유형에서 공통적으로 사용되는 방법을 살펴보겠습니다.

로우랭크 노이즈 제거

이 접근 방식은 깨끗한 이미지가 강한 내부 구조를 나타내며 저차원 행렬로 표현될 수 있는 반면, 노이즈는 희소하고 고차원 이상치로 나타난다고 가정합니다. 저차원 노이즈 제거 방법 중 하나인 강건 주성분 분석(RPCA)과 같은 기술은 구조화된 이미지 콘텐츠와 노이즈를 분리하며 반복적인 텍스처 및 배경 모델링에 잘 작동합니다. 그러나 이러한 기법은 계산 집약적일 수 있습니다.

희소 표현 기반 노이즈 제거

이 방법에서는 이미지 패치가 학습된 사전 위에 희소하게 표현된 것으로 가정합니다. 이 기저와 일치하지 않는 노이즈는 쉽게 분리됩니다. 희소 표현 기반 노이즈 제거 방법 중 하나인 가중 핵 노름 최소화(WNNM)와 같은 방법은 유사한 패치를 그룹화하고 그 안에서 낮은 순위의 제약을 적용하여 강력한 세부 사항 보존을 제공하지만 신중한 패치 매칭이 필요합니다.

하이브리드 접근 방식

최신 노이즈 제거는 저순위 모델링, 희소 코딩, 변환 기반 필터링을 결합합니다. WNNM 및 딥 플러그 앤 플레이 프리어와 같은 기술은 고전적 및 학습된 구성 요소를 통합하여 다양한 노이즈 유형에서 더 강력한 성능을 발휘합니다. 이러한 방법은 높은 복원 품질을 제공하지만 종종 더 많은 계산 자원과 데이터 기반 튜닝이 필요합니다.

e-con 시스템: 임베디드 비전 선구자

2003년부터 e-con Systems는 최첨단 임베디드 비전 카메라를 설계, 개발 및 제조하는 데 앞장서고 있습니다. 우리의 카메라 분야 전문 지식을 바탕으로 이미지 노이즈 제거가 특히 조명, 모션 또는 환경 요인이 심각한 노이즈를 유발하는 애플리케이션에서 높은 충실도의 이미지 출력을 보장하는 데 중요한 역할을 한다는 것을 이해하고 있습니다.

저희 카메라 솔루션은 최적화된 노이즈 제거 알고리즘으로 제작되어 가장 어려운 조건에서도 뛰어난 화질을 제공합니다.

첨단 이미징 기술로 제작된 다양한 카메라를 둘러보려면 카메라 셀렉터 페이지를 방문하세요.

올바른 카메라 솔루션 선택에 대한 전문가의 조언을 원하시면, camerasolutions@e-consystems.com 로 연락해 주세요.