부호화 렌즈 영상화 기술을 이용하여 스틸 이미지들 및비디오를 캡처링 하기 위한 장치 및 방법 document_id A220623053202

일반적으로 사진 필름 또는 CCD 및 CMOS 센서를 포함한 반도체 센서와 같은 광 감응 검출기의 앞에 놓인 하나의 유리 렌즈를 이용하여 장면(scene)으로부터 들어오는 빛을 초점 맞추어 사진 영상화(photographic imaging)가 수행된다. x선 또는 감마선과 같은 고-에너지 방사선을 영상화하기 위해서, 상기 방사선은 유리 렌즈들을 이용해서는 회절시킬 수가 없기 때문에 다른 기술들이 사용되어야만 한다. 다수의 기술들이 단일 핀홀(pinhole) 카메라 및 멀티-홀 시준기(collimator) 시스템을 포함하여 제안되었다. 특히 유용한 기술은 "부호화 애퍼처 영상화"이며, 여기서 적절하게 선택된 투명 엘리먼트와 불투명 엘리먼트들의 패턴을 포함하는, 구조가 있는(structured) 애퍼처는 방사선에 감응하는 검출기 앞에 위치하여 영상화된다. 애퍼처 패턴이 적절히 선택되면, 영상화된 장면은 검출기 신호로부터 디지털로 복원될 수 있다. 부호화 애퍼처 영상화(coded aperture imaging)는 높은 공간 해상도(resolution)와 높은 광 효율을 결함한 장점을 갖는다. 직사각형 또는 6각형 엘리먼트들의 구조가 있는 어레이들을 사용하여 x선 또는 감마선 방사선을 부호화 애퍼처 영상화하는 것은 R. H. DICKE(이후 "딕(Dicke)"이라 한다)에 의해 SCATTER-HOLE CAMERA FOR X-RAYS AND GAMMA RAYS. ASTROHYS. J., 153:L101-L106, 1968에서 공지되었으며, 천문학적인 영상화 및 원자핵 의학에서 광범위하게 적용되고 있다. 특히 유용한 종류의 부호화 영상화 시스템은 E. E. FENIMORE 및 T. M. CANNON(이후 "페니모어(Fenimore)"라 한다)에 의해 CODED APERTURE IMAGING WITH UNIFORMLY REDUNDANT ARRAYS. APPL. OPT., 17:337-347, 1978에서 공지되었다. 이러한 종류의 시스템에서, 기본 애퍼처 패턴은 애퍼처 패턴이 기본 패턴의 2 x 2 모자이크이도록 주기적으로 반복된다. 검출기는 기본 애퍼처 패턴과 적어도 동일한 크기를 갖는다. 이러한 시스템에서, "전체 부호화 FOV(fully coded FOV)" - 여기서 "FOV"는 "시야 범위(field-of-view)"를 언급하는 것으로 사용될 것임 - 는 FOV 내의 영역으로 정의되며, 이 안의 점 소스(point source)는 애퍼처 상으로 주기적으로 이동된 버전을 갖는 기본 애퍼처 패턴의 전체 그림자를 드리울 것이다. 유사하게, "부분 부호화 FOV(partially coded FOV)"는 FOV 내의 영역으로 정의되며, 이 안의 점 소스는 애퍼처 상으로 기본 애퍼처 패턴의 부분 그림자만을 드리울 것이다. 딕에 따라서, FOV를 전체 부호화 FOV로 한정하는 시준기를 검출기 앞에 배치하여, 검출기 신호로부터 장면의 명확한 복원을 가능하게 한다. J. GUNSON 및 B. POLYCHRONOPULOS(이후 "건슨(Gunson)"이라 한다)의 OPTIMUM DESIGN OF A CODED MASK X-RAY TELESCOPE FOR ROCKET APPLICATIONS. MON. NOT. R. ASTRON. Soα, 177:485-497, 1976에서, 애퍼처 그 자체로 시준기로서 동작하고, FOV를 전체 부호화 FOV로 제한하도록, 애퍼처의 불투명 엘리먼트들이 유한한 두께를 갖도록 하는 것도 또한 공지되었다. 상기 "셀프-시준 애퍼처(self-collimating aperture)"는 검출기 앞의 개별 시준기를 생략하도록 한다. FOV를 제한하는 것 외에, 시준기는 감쇠 없이 광축에 정확히 평행한 빛만을 전파한다는 바람직하지 못한 특성을 가진다는 점에 주의해야 한다. 시준기를 통과하는 임의의 축 외의 빛은 감쇠되며, 감쇠는 FOV의 한계를 향할수록 증가한다. FOV의 한계에서, 감쇠는 100%, 즉, 어떠한 빛도 얼마의 각도에서는 시준기를 통과하여 지나갈 수 없다. 이러한 효과을 본 문서에서 "시준기 감쇠"라고 할 것이다. x-방향과 y-방향 모두에서, 시준기 감쇠는 빛과 광축 사이의 각도의 탄젠트에 비례한다. 부호화 애퍼처 영상화 시스템에서 센서 신호로부터 이미지를 복원한 후에, 시준기 감쇠 효과는 광계측상(photometrically) 올바른 이미지를 얻기 위해 반전되어야만 한다. 이는 각각의 개별 픽셀 값에 계수(factor) - 계수만큼 픽셀이 속한 방향으로부터 들어오는 빛이 감쇠되었음 - 의 역을 곱하는 것을 의미한다. FOV의 한계에 가까워지면, 감쇠, 특히 시준기 감쇠는 매우 크며, 즉, 상기 계수는 0에 접근한다는 것에 주의해야만 한다. 이 경우 시준기 감쇠를 반전하는 것은 픽셀 값에, FOV의 한계에서는 무한대로 접근하는, 매우 큰 계수로 증폭하는 것을 의미한다. 복원하는데 임의의 노이즈도 또한 이 계수에 의해서 증폭될 것이기 때문에, FOV의 한계에 가까운 픽셀들은 매운 노이즈가 많거나 또는 심지어 사용 불가능할 수도 있다. 페니모어 또는 건슨에 따른 부호화 애퍼처 시스템에 있어서, 기본 애퍼처 패턴은 0과 1로 구성된 "애퍼처 어레이"를 통해서 특성을 나타낼 수 있으며, 여기서 1은 투명 애퍼처 엘리먼트를 의미하고, 0은 불투명 애퍼처 엘리먼트를 의미한다. 게다가, FOV 내의 장면은 2차원 어레이로서 특성을 나타낼 수 있으며, 여기서 각각의 어레이 엘리먼트는 FOV 내의 하나의 픽셀로부터 방출되는 광도(light intensity)를 포함한다. 장면이 애퍼처로부터 무한히 먼 거리에 있다면, 센서 신호는 FOV 어레이와 애퍼처 어레이 간의 2차원 주기적인 상호 상관(cross-correlation) 함수로서 특성을 나타낼 수 있다. 상기와 같은 센서 신호는 영상화되는 장면과 유사성이 없음에 주의해야만 한다. 그러나 "복원 필터"는 애퍼처 어레이에 속한 2차원 주기적인 반전 필터를 계산함으로써 설계될 수 있다. 2차원 주기적인 반전 필터는 2차원 어레이이며, 이는 애퍼처 어레이와 반전 필터의 2차원 주기적인 상호 상관 함수의 모든 사이드로브(sidelobe)를 0으로 하는 방법으로 구성된다. 센서 신호와 복원 필터의 2차원 주기적인 상호 상관 함수를 계산함으로써, 원 장면의 이미지는 센서 신호로부터 복원될 수 있다. 애퍼처 어레이들로서 소위 "균등 리던던트 어레이(Uniformly Redundant Arrays)" (URAs)를 사용하는 것은 페니모어에 의해 공지되었다. URAs는 2차원 주기적인 상호 상관 함수를 가지며, 이의 사이드로브 값들은 모두 똑같다. URAs는 일정한 오프셋과 일정한 스케일 계수를 제외하고는 URA 자신과 동일한 구조를 갖는 반전 필터를 갖는다. 상기 복원 필터는 센서 신호의 임의의 노이즈는 복원 필터링 중에 가능한 가장 낮은 배율(amplification)이 가해질 것이라는 점에서 최적이다. 그러나 URAs는 수학적으로 매우 작은 크기에 대해서만 구성될 수 있다. S. R. GOTTESMAN 및 E. E. FENIMORE(이후 "고츠먼(Gottesman)"이라 한다)에 의해 NEW FAMILY OF BINARY ARRAYS FOR CODED APERTURE IMAGING. APPL. OPT., 28:4344-4352, 1989에서, 모든 p x p 크기 - 여기서, p는 홀수인 소수 - 에 대해서 존재하는, "수정된 균등 리던던트 어레이" (MURAs)라고 불리는 수정된 종류의 애퍼처 어레이들을 사용하는 것도 또한 공지되어있다. 따라서 MURAs는 URAs 보다 많은 크기에 대해서 존재한다. 이들의 상관 특성과 노이즈 배율 특성은 거의 최적이며, 대체로 URAs의 특성만큼 좋다. MURAs는 하나의 행과 하나의 열을 제외하여, 이들은 두 개의 1차원 시퀀스들의 곱(product)으로써 표현될 수 있으며, 여기서 하나는 어레이에 대한 오직 열 인덱스만의 함수이며, 다른 하나는 어레이에 대한 오직 행 인덱스만의 함수라는 추가적인 이점을 가진다. 유사하게, 하나의 행과 하나의 열을 제외하여, 이들의 반전 필터도 역시 두 개의 1차원 시퀀스들의 곱으로써 표현될 수 있다. 이러한 성질은 2차원 반전 필터링을 두 개의 1차원 필터링 동작의 시퀀스로 대체하는 것을 허용하며, 복원 프로세스를 계산하기에 보다 효율적으로 한다. 또한 모든 3s 2r x 3s 2r의 크기 및 모든 3s 2r-1 x 3s 2r+1의 크기 - 여기서, s = 0, 1 , 2... 이고 r = 1 , 2, 3... - 에 대해서 존재하는 소위 "완전 이진 어레이(Perfect Binary Arrays)" (PBAs)를 사용하는 것이 A. BUSBOOM(이하 "버스붐(Busboom)이라 한다)에 의해 ARRAYS UND REKONSTRUKTIONSALGORITHMEN FUER BILDGEBENDE SYSTEME MIT CODIERTER APERTUR. VDI VERLAG, DUESSELDORF, 1999, ISBN 3-18-357210-9에서 공지되었다. 따라서, PBAs는 많은 크기, 특히 행과 열이 짝수로 된 많은 정사각 크기에 대해서 존재한다. 이들의 상관 특성과 노이즈 배율 특성은 URAs의 특성만큼 좋다. 만약 장면이 애퍼처로부터 유한한 거리에 위치한다면, 센서 이미지의 기하학적인 확대가 발생한다. 장면 내의 점 소스는 센서 위로 애퍼처 패턴의 그림자를 드리울 것이며, 이는 실제 애퍼처 크기와 비교하여 f = (o + a ) / o 인 계수만큼 확대되며, 여기서 o는 장면과 애퍼처 사이의 거리이며, a는 애퍼처와 센서 사이의 거리이다. 그러므로, 장면이 유한한 거리에 있다면, 센서 이미지는 복원 필터의 적당하게 확대된 버전으로 필터링 되는 것이 필요하다. 만약 장면이 애퍼처에 매우 가깝다면, 소위 근접-장 효과(near-field effect)가 발생한다. "근접 장"은 센서 크기, 애퍼처 크기 또는 애퍼처와 센서 사이의 거리의 10 배보다 적은 범위로 정의되며, 이러한 양들 모두는 최대이다. 만약 물체가 근접 장에 있다면, 센서 이미지는 더 이상 장면과 애퍼처 어레이 사이의 2차원 상호 관련으로서 기술될 수 없다. 이는 반전 필터링을 사용하여 장면을 복원하고자 할 때 아티팩트(artifact)를 야기한다. 란자(Lanza) 등의 미국 특허 출원 제6,737,652호에서, 이러한 근접 장 아티팩트를 감소시키기 위한 방법들이 개시된다. 이러한 방법들은 두 개의 개별 부호화 애퍼처를 사용하여 장면을 영상화하는 것을 필요로 하며, 여기서 제 2 애퍼처 어레이는 제 1 애퍼처 어레이의 반전이다(즉, 투명 엘리먼트들은 불투명 엘리먼트로 대체되고, 이의 역도 또한 같다.) 그리고 두 개의 센서 이미지를 조합하는 과정에서 근접 장 아티팩트를 감소시키는 상기와 같은 방법으로, 복원은 두 개의 상이한 애퍼처를 통해 얻어진 두 개의 센서 신호로부터 계산된다. 오늘까지의 부호화 애퍼처 영상화는, 주로 x선 또는 감마선 방사선을 수반한, 산업용, 의학용, 및 과학용 애플리케이션에 한정되었으며, 오늘날까지 개발되었던 시스템들은 각각 특수하고 제한된 환경 내에서 동작하도록 설계된다. 첫째로, 기존의 부호화 애퍼처 영상화 시스템 각각은 특정 시야 깊이(view depth)를 갖도록 설계된다.(예를 들면 효율적으로는 천문학에 대하여는 무한하도록, 또는 원자핵 또는 x선 이미징에 대하여는 특정 거리 범위로) 둘째로, 현재까지, 부호화 애퍼처 영상화는 조절된 방사선 소스(예를 들면, 원자핵, x선, 또는 산업상 이미징) 또는 상대적으로 안정적이며 무한에서 효율적인 천문학적인 방사선 소스 중 하나를 가지고 사용되었다. 결과적으로, 현존하는 부호화 애퍼처 시스템들은 예를 들어 렌즈를 사용하는 전형적인 사진 카메라와는 상당히 다르게, 제한된 환경 내에서의 동작이라는 이익을 가지고 있었다. 하나의 렌즈(즉, 센서 또는 필름 프레임 당 하나의 렌즈; 입체 카메라(stereoscopic camera)는 두 개의 렌즈를 가지지만, 렌즈 당 개별 센서 또는 필름 프레임을 사용함)를 사용하는 전형적인 사진 카메라는, 가까운 거리에서 유효하게 무한한 거리까지의 다양한 거리를 가진 3차원 물체를 포함한 장면들의 영상화를 동시에 처리하도록 설계되고; 알려지지 않은 시점(origin), 각도, 및 매우 변하는 강도를 가진 다수의 주변 방사선 소스들을 반사, 발산, 흡수, 굴절 또는 역-반사(retro-reflecting)하는 물체들을 영상화하도록 설계된다. 무수한 하나의 렌즈를 가진 사진 카메라가 매일 취급하는, 이러한 형태의 제한되지 않는 이미징 환경을 취급할 수 있는 부호화 애퍼처 시스템은 지금껏 설계된 적이 없다. 하나의 렌즈를 사용하는 광 스펙트럼에서의 사진 영상화는 많은 불리함과 한계를 갖는다. 단일 렌즈 사진의 주된 한계는, 특히 큰 애퍼처 세팅에서, 이의 유한한 피사계심도(depth-of-field) (DOF)이다. 제한된 DOF에 있는 장면만이 단일 렌즈 이미지에서 초점이 맞춰질 수 있으며, 이 때 DOF보다 카메라에서 더 가깝거나 멀리 있는 다른 물체들은 이미지에서 흐릿하게 나타날 것이다. 게다가, 단일 렌즈 카메라는 이미지가 찍혀질 수 있기 전에 수동으로 또는 자동으로 초점 맞추어져야만 한다. 이는, 특히 짧은 DOF와 큰 애퍼처를 가진 경우에, 스포츠 사진 또는 아이들 또는 동물들의 사진과 같은, 빠르게 또는 예상할 수 없도록 움직이는 물체들을 영상화하는데 불리하다. 위와 같은 상황에서, 초점을 맞추는데 충분한 시간이 부족하거나 또는 이미지를 찍으려는 순간 예상치 못하게 움직이기 때문에, 이미지는 초점이 맞지 않을 수 있다. 일단 이미지가 얻어지게 되면, 단일 렌즈 사진은 사진기사로 하여금 소급하여 초점을 변경하도록 허락하지 않는다. 더 나아가, 단일 렌즈 카메라를 초점 맞추는 것은 하나 이상의 렌즈들과 센서 사이의 거리를 조정하는 것을 의미한다. 이는 단일 렌즈 카메라가 부품들을 기계적으로 이동하는 것을 포함하는 것이 필수적이게 하며, 이는 기계적인 결함이 생기기 쉽다. 액체 렌즈와 같은 유리 렌즈의 다양한 대체물(예를 들어, B. HENDRIKS 및 STEIN KUIPER의 THROUGH A LENS SHARPLY. IEEE SPECTRUM, DECEMBER, 2004를 보라)은, 유리 렌즈의 기계적 한계를 경감시키려는 노력의 일환으로 제안되었으나, 상기 대체물들의 설계 복잡도와 잠재적 한계(예를 들어, 동작 온도 범위 및 애퍼처 크기)가 추가되었음에도 불구하고, 여전히 제한된 초점 범위의 한계로부터 고통 받고 있다. 또한, 단일 렌즈 카메라들은 제한된 동적 범위(dynamic range)를 갖기 때문에 제한된 동적 범위를 갖는다. 이는 매우 밝은 영역과 매우 어두운 영역을 모두 포함하는 장면을 영상화 할 때, 심각한 제한이 된다. 전형적으로, 어두운 영역이 충분한 콘트라스트(contrast)를 가질 때에는 밝은 영역은 과도 노출로 나타날 것이며, 또는 밝은 영역이 충분한 콘트라스트랄 가질 때에는 어두운 영역은 과소 노출로 나타날 것이다. 이러한 문제를 해결하기 위해, 전문적인 반도체 이미지 센서들(예를 들어, 캘리포니아 Mountain View에 위치하는 Pixim, Inc.의 D1000)이 개발되었으며, 이는 이미지에서 상이한 휘도 영역들을 조정(accommodate)하기 위해서 이미지 센서의 각각의 픽셀들이 각각을 전용 이득(unique gain)으로 샘플링 되도록 한다. 그러나 상기 이미지 센서들은 종래의 CCD 또는 CMOS 이미지 센서에 비해 매우 비싸며, 이것만으로는 대량 판매용의 일반 사진을 포함한 많은 애플리케이션에 대해 가격 경쟁력을 갖지 못한다. 초점을 맞추기 위한 필요조건으로 인해, 단일 렌즈들은 렌즈와 주된 물체 사이의 거리를 대략 측정한 값을 제공할 수 있다. 그러나 대부분의 사진 애플리케이션들은 렌즈가 동일점에서 교차하는 초점의 가능한 넓은 범위를 가지도록 설계될 것을 요구하기 때문에, 거리 어림치(estimate)에 대해 초점을 사용하는 것은 극도로 부정확하다. 단일 렌즈는 한 번에 오직 하나의 거리 범위로 초점될 수 있을 뿐이므로, 기껏해야, 렌즈는 주어진 시간에 하나의 물체 범위에게 거리의 어림치를 제공할 것이다. ("부호화 애퍼처 기술을 사용하여 스틸 이미지들 및 비디오를 캡처링하기 위한 장치 및 방법"이라는 제목으로 2005년 1월 18일에 출원된 제11/039,029호인 동시 출원에서 개시된 것과 같이) 부호화 애퍼처 영상화(CAI) (이후 "CAI 애플리케이션"이라 한다)는, 단일 렌즈 카메라의 한계에 대한 많은 것들에 초점을 맞춘다. 단일 렌즈 카메라에 관해서, CAI는 더 얇은 카메라, 더 가벼운 카메라, 더 큰 동적 범위를 가진 카메라, 및 장면 내의 넓은 범위의 깊이(depth)에 걸쳐 초점이 맞춰진 이미지를 복원할 수 있는 카메라를 만드는 것을 가능하게 한다. CAI 애플리케이션에 개시된 일 실시예에 따른 가시광 부호화 애퍼처 카메라는 도 1에 도시된다. 도시된 실시예는 광 감응 그레이스케일(grayscale) 또는 컬러 반도체 센서(104)의 앞에 배치된 부호화 애퍼처(101)를 포함한다. 부호화 애퍼처(101)는 원형, 정사각형, 직사각형, 또는 다른 타일로 된(tiled) 엘리먼트들의 패턴이며, 이의 일부는 (엘리먼트(102)와 같이)가시광에 대해 투명이며, 이의 일부는 (엘리먼트(103)와 같이) 불투명하다. 명료하게 도시하기 위한 목적으로, 부호화 애퍼처(101)는 매우 적은 투명 엘리먼트를 가지고 있음에 주의하여야 한다. 전형적인 코드화 애퍼처는 상당히 많은 투명 엘리먼트(예를 들어, 50%)를 가질 수 있다. 2차원 또는 3차원 장면(100)(이는 환경조명(ambient lighting) 또는 인공조명에 의해 비춰질 수 있다)으로부터의 가시광은 부호화 애퍼처(101)를 통과하여 이미지 센서(104) 위에 투사된다. 카메라는 FOV를 센서 상에 투사된 전체 부호화 FOV로 제한할 수 있다. 일 실시예에서, 이는 (하기에 설명될 것과 같이, 시준을 위한 배플(baffle)을 사용하여) 셀프-시준 부호화 애퍼처(101)를 사용함으로써 구현된다. 부호화 애퍼처와 센서 사이의 공간은 광-차단 하우징(105)(이의 윤곽만이 도 1에서 도시됨)에 의해 차폐되며, 부호화 애퍼처의 개방 엘리먼트를 통과하지 않는 빛이 센서에 도달하는 것을 방지한다. 카메라는 이미지 센서(104)(이는 종래의 부호화 애퍼처 시스템에서 사용된 것과 유사할 수 있다)와의 인터페이스(109)를 갖는 이미지 센서 리드아웃(readout) 서브시스템(110)을 더 포함한다. 리드아웃 서브시스템은 이미지 센서(104)로부터의 아날로그 이미지 신호를 기록하고, 특정 이미지 센서에 의해 요구되는 것에 따라서 아날로그 버퍼링, 증폭 및/또는 필터링을 가한다. A/D(120)도 또한 포함하는 상기 리드아웃 서브시스템(100)의 예는, 캘리포니아 Sunnyvale에 위치한 NuCore Technology, Inc.의 NDX-1260 CleanCapture Image Processor이다. (예를 들어, 적어도 하나의 연산 증폭기(op amp)를 사용하여)리드아웃 서브시스템(110)에 의해 판독된 아날로그 픽셀 값들에 대해 제로 오프셋(112) 및 이득(111)을 조절하는 능력은, 캡처된 이미지의 동적 범위를 증가시킬 것이지만, 이미지 센서가 제로 오프셋 및 이득 조절 없이도 희망하는 이미지 품질을 위한 충분한 동적 범위를 갖는다면 필수적인 것은 아니다. 일 실시예에서, 리드아웃 서브시스템(110)의 출력은 아날로그 출력을 디지털화하는 적어도 하나의 아날로그-디지털 컨버터(A/D) (120)와의 인터페이스(113)에 의해 연결된다. A/D의 출력은 인터페이스(121)를 통해서 이미지 복원 프로세서(130)와 연결되며, 프로세서(130)는 일 실시예에서 디지털 신호 프로세서(DSP) (132)와 랜덤 액세스 메모리(RAM) (131)를 포함한다. 인터페이스(121)로부터의 디지털화된 이미지는 RAM(131)에 저장되며, DSP(132)는 그레이스케일 또는 컬러 이미지로 원 장면(101)을 복원하기 위해서 이미지를 후-처리(post-process)한다. 다른 실시예에 따라서, 이미지 복원 프로세서(130)는 Intel Corporation Pentium 4®와 같은 범용 CPU 또는 유사한 범용 프로세서를 포함한다. 또 다른 실시예에서, 이미지 복원 프로세서(130)는 전용 디지털 구조에서 복원 프로세싱의 일부 또는 전부를 구현하는 주문형반도체("ASIC")를 포함한다. 복원 프로세서(130)에 의해 복원된 이러한 그레이스케일 또는 컬러 이미지는 인터페이스(133)를 통하여 출력되고, 디스플레이 장치(140) 상에 디스플레이 된다. 그러나 CAI의 하나의 한계는 복원 이미지의 해상도이다. CAI 카메라의 해상도는 (a) 애퍼처 어레이의 배열(order) 및 (b) 회절에 의한 투사된 이미지에서의 왜곡과 같은 두 주요 요인들 중 더 큰 것에 의해 제한된다. 이는 다음 단락에서 더 설명된다. 도 2는 101, 61 및 31 "배열(order)"의 MURA들에 대한 몇 가지 대표적인 부호화 애퍼처 어레이 패턴들을 도시한다(CAI 애플리케이션에서 보다 상세히 기술됨). 또한 도 2는 8 및 24 배열의 PBA들에 대한 부호화 애퍼처 어레이 패턴들을 도시한다(PBA 8 및 24는 이들의 패턴을 더 잘 도시하기 위해서 MURA들에 비해서 확대하여 도시된다). 부호화 애퍼처 어레이 패턴들은 수평으로 두 번, 수직으로 두 번 반복되는 (특정 배열을 가진 수평 및 수직 차원을 갖는) 정사각형 어레이에서 형성된다는 점을 주의하여야 한다. 그래서 예를 들어 MURA 101 패턴은 202x202의 총 크기를 갖는다. 또한 애퍼처 엘리먼트들의 각각은 동일한 크기로 이루어졌음을 주의하여야 한다. 애퍼처의 일부가 다른 부분들 보다 더 크게 도시된다고 할 지라도, 이는 단지 인접한 애퍼처들이 결합하여 더 큰 애퍼처로 보이도록 형성되기 때문이다. CAI 카메라는 이의 부호화 애퍼처 어레이의 배열(order)보다 더 높은 해상도로 이미지를 분해할 수 없다. 예를 들면, MURA 101 CAI 카메라는 이미지를 101x101개의 픽셀들 보다 더 큰 해상도로 분해할 수 없다. 설명을 목적으로, 도 3은 도 1에 도시된 가시광 부호화 애퍼처 카메라의 일 실시예를 도시한다. 도 3에 도시된 실시예는 복원된 이미지의 해상도가 오직 3x3 픽셀이기 때문에 많은 애플리케이션에 대해서 유용하지는 않지만, 도 1에 도시된 것과 같은 카메라가 어떻게 동작하는지에 대한 설명을 위함이다. MURA 배열 3 ("MURA 3") 애퍼처 어레이(301)는 개방 애퍼처(302)와 같은 16개의 개방 애퍼처와 폐쇄 애퍼처(303)와 같은 20개의 폐쇄 애퍼처를 포함한다. 컬러 또는 그레이스케일 센서(304)는 MURA 3 애퍼처 어레이(301)의 한 사분면(quadrant)(즉, 애퍼처의 한 3x3 블록)과 동일한 크기이며, 이 실시예에서 MURA 3 애퍼처 어레이(301)에 대해 중앙에 위치한다. 도 3의 정사도(Orthographic View: 320)는 카메라의 구조에 대해 많은 것을 나타낸다. (CAI 애플리케이션에서 "시준기"라고 언급되는) 배플(317)은 개방 애퍼처(302)와 같은 개방 애퍼처를 통과하는 빛을 시준하도록 기능한다. 이는 각각의 애퍼처의 FOV를 컬러 또는 그레이스케일 센서(304) 위로 제한한다. 폐쇄 애퍼처(303)와 같은 폐쇄 애퍼처는 빛이 지나가지 못하도록 불투명 커버로 덮여있다. 센서(304)는 개방 애퍼처들의 각각으로부터 중첩 투사(overlapping projection)를 위한 공간을 허용하기 위해 MURA 3 애퍼처 어레이(301) 및 배플(317)과 이격되어 있다. 전체 유닛은 차광 카메라부(316) 내에 포함되며, 설명을 목적으로 투명하게 도시된다. 이러한 특정 예에서, 만약 센서(304)가 매우 높은 해상도를 가진 센서라고 할지라도, 오직 3x3 픽셀 이미지만이 복원될 수 있다는 점을 주의하여야만 한다. 도 4는 어떻게 빛이 MURA 3 애퍼처 어레이를 통과하여 투사되는지를 도시한다. 도해(400)는 예시적인 개방 애퍼처(402)와 폐쇄 애퍼처(403)를 포함하며, 검은 실선으로 윤곽이 표시된 MURA 3 애퍼처 어레이를 도시한다. 컬러 또는 그레이스케일 센서(404)의 위치는 점선으로 윤곽이 표시된다. 개방 애퍼처(405)는 파선으로 윤곽이 표시된다. 애퍼처(405)를 통과한 빛은 회색 정사각형(406)으로 도시된 센서 평면 상의 정사각 영역 상에 투사된다. 애퍼처 어레이(401)는 도해(400)에서 투사(projection)가 겹쳐져 도시되기 때문에, 투사(406)의 대부분은 폐쇄 애퍼처에 의해 차단된다는 것을 주의하여야 한다. 그럼에도 불구하고, 투사(406)의 경계선은 회색 실선으로 윤곽이 표시되어 도시될 수 있다. 이 실시예에서, 투사(406)는 애퍼처(405)보다 대략 9배 정도 큰 정사각형이며, 애퍼처(405)의 중앙에 위치한다. 센서(404)가 애퍼처 어레이에 대해 얼마나 가깝거나 먼 가에 따라서, 이 투사는 넓은 또는 좁은 FOV에 대응할 수 있다. 애퍼처(405) 둘레의 배플(이 도해에서는 도시되지 않았지만, 도 3에서는 배플(317)과 같이 볼 수 있다)이 투사(406)의 범위를 애퍼처(405) 크기의 약 9배 크기로 제한하기 위해 이 실시예에서 사용된다. 이 실시예에서 투사(406) 영역의 작은 비율만이 센서(404)와 중첩함을 주의하여야 한다. 이러한 중첩의 일부는 개방 애퍼처(409)를 통해 볼 수 있으며, 이의 일부는 폐쇄 애퍼처(408)에 의해 차단된다. 도해(410)는 애퍼처 어레이(401)의 우상단 사분면으로부터의 4번의 투사들의 덧씌움을 도시한다(명료함을 위해, 도해 (410 및 420)에서 MURA 3 애퍼처 어레이(401)의 윤곽만이 도시된다). 우상단 사분면의 4번의 개방 애퍼처(415)는 파선으로 윤곽이 표시된다. 이 4개의 애퍼처로부터의 4번의 투사(416)는 중첩된 회색 영역으로 도시된다. 도해(400)에서 도시된 투사(406)와 같이, 각각의 투사는 이의 애퍼처의 대략 9배의 크기를 갖는 정사각형이며, 이의 애퍼처 중앙에 위치하며, 회색 실선으로 윤곽이 표시된다. 센서 평면의 각각의 영역에서 수많은 중첩 투사들을 나타내기 위해서, 그레이 스케일의 다양한 레벨들이 각각의 영역을 채우는데 사용된다. 가장 밝은 회색은 1번의 투사를 나타내며, 그 다음 어두운 곳은 2번의 투사가 중첩되었음을 나타내며, 그 다음 어두운 곳은 3번의 투사가 중첩되었음을 나타내며, 마지막으로 가장 어두운 곳은 4번의 투사가 중첩되었음을 나타낸다. 도해(420)는 전체 애퍼처 어레이(401)로부터의 모든 16번의 투사들의 덧씌움을 도시한다. 16개의 개방 애퍼처(425)는 파선으로 윤곽이 표시된다. 도해(400)에서 도시된 투사(406)와 같이, 각각의 투사는 이의 애퍼처의 대략 9배의 크기를 갖는 정사각형이며, 이의 애퍼처 중앙에 위치하며, 회색 실선으로 윤곽이 표시된다. 센서 평면의 각각의 영역에서 수많은 중첩 투사들을 나타내기 위해서, 이전 단락에서 서술된 바와 같이 그레이 스케일의 다양한 레벨들이 사용된다. 이 실시예에서 센서(404)의 각각의 영역은 4번의 중첩된 투사들에 의해 덮여져 도시됨을 주의하여야 한다. 실제적으로, 센서 영역의 상당한 대부분 위로 4번의 중첩된 투사가 존재할 것이지만, 공차 변동(tolerance variation), 회절 효과, 및 관측된 장면 내의 물체와의 변화하는 거리로 인해, 투사의 테두리 근처에는 다소 적거나 많은 중첩 투사가 있을 수 있으며, 이는 도해(420)의 회색 실선으로 도시된다. 또한 MURA 3 애퍼처 어레이(401)에 충돌하는 빛의 대부분은 센서(404)의 에지 너머로 투사되며, 결과적으로 이 빛은 복원에 사용되지 않는다. MURA 3 애퍼처 어레이(401)의 가장 오른쪽 열의 영역이 무시된다면(상기 열 내의 모든 애퍼처가 폐쇄되어 있기 때문에, 카메라에 어떠한 빛도 기여할 수 없으며, 이미지 복원에 영향을 주지 않고 시스템에서 제거될 수 있다), MURA 3 애퍼처 어레이(401)의 나머지 영역에 충돌하는 빛의 약 13%가 실제로 센서(404) 위로 투사된다. 종래의 단일 f/2.8 렌즈는 렌즈에 충돌하는 빛의 약 12.7%를 전달하며, 따라서 MURA 3 부호화 애퍼처 어레이 카메라의 13% 빛 전달 성능은 종래의 f/2.8 렌즈에 필적하는 것으로 보일 수 있다. 일반적으로 말하자면, f/2.8은 사진용 렌즈로서 좋은 빛 전달 성능이며, 따라서 마지막 일부 단락에서의 MURA 3 부호화 애퍼처 카메라에 대한 설명은 잠재적으로 바람직한 빛 전달 특성을 가진 카메라의 특성을 기술한다. 불운하게도, 오직 3x3 픽셀 이미지만이 상술된 시스템에 의해 복원될 수 있다. CAI 카메라 내의 각각의 엘리먼트는 핀홀 카메라의 핀홀과 같이 기하학적으로 기능한다. 각각의 애퍼처를 통과한 빛은 센서 위로의 투사를 생성하며, 이는 핀홀 카메라에서와 같다. 그리고 핀홀 카메라와 같이, CAI 카메라에는 핀홀을 통과한 빛의 회절 효과가 가해진다. 핀홀에서, 이러한 회절 효과는 "에어리 디스크(Airy disk)"로 일반적으로 알려진 점 소스 투사 패턴을 생성한다. 에어리 디스크의 제 1 로브는 주어진 핀홀 카메라 투사로부터 가장 작은 분해 가능한 스폿(spot) 크기를 대략적으로 정의한다. 핀홀로부터 센서까지의 주어진 거리에서, 에어리 디스크의 크기는 핀홀 크기가 줄어듦에 따라 증가한다. 기하학적인 관점에서, 핀홀 카메라가 생성한 이미지들의 해상도(즉 최소 점 소스 투사 스폿 크기)도 핀홀이 작아질수록 증가한다. 그래서, 센서까지의 핀홀의 임의의 주어진 거리에 대해서, 점 소스 투사 스폿 크기가 에어리 디스크의 제 1 로브의 크기와 동일한 최적화된 핀홀 크기가 존재한다. 만약 핀홀이 이 최척화된 크기보다 작게 만들어진다면, 에어리 디스크의 크기가 증가하기 때문에 해상도는 감소한다. 만약 핀홀이 이 최적화 된 크기보다 크게 만들어진다면, 점 소스 투사 스폿 크기가 증가하기 때문에 해상도는 감소한다. 핀홀 카메라의 해상도에 대한 평가가 주관적이기 때문에, 다양한 공식들이 최적화된 핀홀 직경을 계산하는데 제안되었다. 이러한 공식의 하나는 A=SQRT(55F)이며, 여기서 A는 1000분의 1인치로 된 핀홀 직경이며, F는 인치로 된 카메라 초점 거리(focal length)이고, SQRT()는 제곱근 함수이다. 핀홀 카메라에서 달성 가능한 해상도는 카메라의 초점 거리가 증가할수록 증가되는 것을 주의하여야만 한다. 불행히도, 카메라의 물리적 크기는 일반적으로 초점거리에 비례하여 증가하므로, 결과적으로 높은 해상도 핀홀 이미지를 위해서는 매우 큰 카메라가 필요해진다. 예를 들어(공식 A=SQRT(55F)을 사용하면), 1" 초점거리(즉 1" 두께)를 가진 핀홀 카메라에서 최적화된 핀홀 크기는 약 0.007"이다. 약 53˚의 "표준" 시야각(viewing angle)에서, 이는 대각선 방향으로 134.8 픽셀, 또는 약 95x95 픽셀 해상도 이미지를 생성한다. 10" 초점 거리(즉 10" 두께)를 가진 핀홀 카메라에서 최적화된 핀홀 크기는 약 0.023"이다. 53˚의 시야각에서, 이는 대각선 방향으로 약 426.4 또는 약 301x301 해상도 이미지를 생성한다.(다른 사진사는 핀홀 카메라의 분해 가능한 해상도를 평가하는데 있어서 다른 주관적인 기준을 사용할 것임을 주의하여야 한다. 여기서 계산된 해상도는 분해 가능한 해상도에 대한 하나의 해석(interpretation)을 기초로 한다. 다른 해석들은 더 높은 또는 더 낮은 해상도 평가로 이끌 수 있지만, 일반적으로는 여기서 표시된 숫자들 보다 2X 범위 내에서 더 높거나 낮을 것이다.) 핀홀 카메라와 같이, 가시광 CAI 카메라도 역시 해상도/크기의 트레이드-오프를 야기할 수 있는 회적 효과가 가해진다. 회절 패턴은 애퍼처 패턴의 복잡도로 인해 핀홀 회절 패턴보다 더 복잡하며, 결과적으로 이미지 해상도 및/또는 카메라 크기 필요조건(requirement) 상에 끼치는 영향을 결정하는 것은 보다 복잡하다. 그러나 CAI 이미지의 픽셀 해상도가 애퍼처 어레이의 배열보다는 높지 않을 수 있기 때문에, 높은 해상도 이미지를 달성하기 위해서, 높은 배열의 애퍼처 어레이를 사용하는 것이 필수적일 수 있으나, 이는 더 낮은 배열의 애퍼처 어레이보다 더 좋지 않은 회절 효과를 잠재적으로 나타낼 수 있으며, 따라서 선택적으로 이러한 회절 효과를 경감시키기 위해 더 긴 초점 거리를 요구할 수 있다(이는 결과적으로 더 큰 카메라 크기를 야기한다). 디지털 카메라에서의 렌즈 시스템의 성능을 향상시키기 위한 다른 접근방법은 플레노틱(plenoptic) 카메라이다. 플레너틱 카메라의 기본 개념은 미국 특허 제5,076,687호에서 개시된다. "플레노틱"이란 단어가 상기 특허에서 사용되지는 않을지라도, 특허에서 언급된 장치는 이의 발명자로부터 이 카메라를 개시한 웹 페이지 - http://www-bcs.mit.edu/people/jyawang/demos/plenoptic/plenoptic.html - 에서 "플레노틱 카메라"라고 칭해진다. 2005년, 스탠포드 대학의 연구자들은 플레너틱 카메라 구현을 이용한 애플리케이션을 개시하는 논문(Stanford Tech Report CTSR 2005-02)을 출판하였으며, 이는 f/4 렌즈에 의해 얻어질 수 있는 장면으로부터의 동일한 빛을 캡처링 하는데 종래의 f/22 렌즈의 DOF를 달성하였다. 불행하게도, 빛을 수집하는 능력에서의 증가는 이미지 해상도에 대한 이론적으로 선형의 비용을 야기하였다. 팀에 의해 만들어진 프로토타입(prototype)은 이론적인 해상도 손실을 넘어 약 2x만큼을 야기하였으며, 따라서 4000x4000 픽셀 센서를 가지고 이들은 오직 296x296 이미지만을 복원할 수 있었으며, 이는 f/2 광 캡처와 함께 f/22 DOF를 나타내었다(즉, 16메가 픽셀 센서로 90키로 픽셀 이미지를 생성하였다). 상기 시스템이 임의의 특정 애플리케이션에 대해서 유용할 수 있을 지라도, 센서 해상도의 막대한 손실은 범용 사진 애플리케이션에 대해 경쟁력 없는 이러한 시스템을 만들 것이다.