모델-기반 디워핑 방법 및 장치 document_id A220623066550

CD-ROM과 같은 저장 매체가 더 저렴해지기 때문에, 점점 더 많은 문서들이 ASCII 코드 대신에 이미지 또는 픽셀 포맷으로 저장된다. 이 이미징된 문서들은 참조, 검색, 또는 분배를 위해 이용될 수 있다. 문서들의 저장된 이미지는 보통 스캐너 또는 디지털 카메라와 같은 입력 장치에 의해 캡처된다. 그러나, 이미지 내의 문서 콘텐트가 스캐너에 의해 캡처될 때 이미지 왜곡이 문제이며, 디지털 카메라에 의해 캡처될 때 더 악화된다. 도 1A는 스캐너의 전형적인 컴포넌트들을 도시하는 블록도이다. 스캐너는 문서(110)의 이미지를 캡처하기 위해 전형적으로 이용된다. 문서(110)는 스캐너 플래이트(112) 상에 배치된다. 일반적으로 광학 서브시스템(122) 및 전하-결합 소자(charge-coupled device: "CCD")(124)로 구성되는 스캔 헤드(120)는 문서(110)를 가로질러 움직인다. 비록 도 1A가 2차원 도면만을 도시하지만, 스캔 헤드(120)는 화살표(114)로 도시된 방향 및 화살표(114)에 수직한 방향 모두로 문서를 가로질러 움직일 수 있다. 광학 서브시스템(122)은 문서로부터 반사된 광을 CCD(124) 상에 포커싱한다. CCD(124)는 종종 감광성 용량 소자들의 2차원 어레이로서 구현된다. 광이 CCD(124)의 감광 소자들 상에 입사할 때, 전하는 반도체 소자들의 결핍 영역 내에 트랩된다. 감광성 용량 소자와 연관된 전하의 양은 샘플링 기간에 걸쳐 수신된 각각의 소자들 상에 입사한 광의 강도와 관련된다. 따라서, 이미지는 소자들을 샘플링하는 것을 통해 각각의 감광성 용량 소자들에서의 입사광의 강도를 결정함으로써 캡처된다. 감광성 용량 소자들에 의해 생성되는 아날로그 정보는 아날로그-디지털 (A/D) 변환기(130)에 의해 디지털 정보로 변환된다. A/D 변환기(130)는 직렬 또는 병렬 중 어느 한 방식으로 CCD(124)로부터 수신된 아날로그 정보를 변환할 수 있다. 변환된 디지털 정보는 메모리(140) 내에 저장될 수 있다. 그런 다음 디지털 정보는 ROM(180) 내에 저장되어 있는 제어 소프트웨어에 따라 프로세서(150)에 의해 처리된다. 사용자는 사용자 인터페이스(170)를 통해 스캐닝 파라미터들을 제어할 수 있고, 스캐닝된 이미지는 출력 포트(160)를 통해 출력된다. 디지털 카메라의 블록도는 도 1B에 도시된다. 디지털 카메라의 광학 서브시스템(122)은 문서(100)로부터 반사된 광을 포커싱하기 위해, 스캐너만큼 많이, 이용될 수 있다. 다른 디지털 카메라들에서는, CMOS 센서들과 같은 CCD 외의 장치들이 이미지로부터 반사된 광을 캡처하기 위해 이용된다. 디지털 카메라의 맥락에서는, 스캐너와 대조적으로, 광학 서브시스템(122)이 스캐너에서처럼 문서의 표면을 따라 움직이지 않는다. 오히려, 디지털 카메라에서는, 광학 시스템(122)이 이미징될 문서와 같은 물체에 대해 일반적으로 고정형이다. 디지털 카메라들 외에, 필름-기반 카메라들로부터 캡처된 사진들이 또한 디지털화될 수 있다. 카메라들은 문서 이미지들 및 다른 이미지들을 캡처하기 위해 스캐너들에 비해 상당한 이점들을 제공한다. 예를 들어, 카메라들은 일반적으로 스캐너들보다 더 휴대가능하다. 또한, 스캐너들은 캡처되는 이미지가 스캐너 플래이트 상에 배치될 것을 필요로 하기 때문에, 카메라들이 스캐너들보다 이미지들의 광범위한 어레이를 캡처할 수 있다. 그러나, 카매라의 이용은 스캐너를 이용할 때 존재하지 않는 이미지 캡처링에 있어서의 어려운 점들이 있다. 예를 들어, 카메라를 이용할 때는 광 조건들이 변화하는 반면에, 스캐너들에서는 광 조건들이 일반적으로 제어된다. 또한, 카메라의 이용은 이미지 왜곡들을 도입하는데, 이미지 왜곡들은 예를 들면 이미지에 대한 카메라의 각도, 카메라에 의해 이용되는 렌즈 및 이미지에서부터의 그의 거리, 문서를 포함하는 이미지가 편평한 표면에 또는 굴곡진 표면에 놓여 있는지, 그리고 그밖에 다른 요인들과 같은 다양한 변수들에 의존할 수 있다. 스캐너가 이미징될 문서로부터 고정된 거리에서 움직이는 스캐너 헤드를 이용하기 때문에 일반적으로 이 왜곡들은 스캐너들에서 발생하지 않는다. 이미지 왜곡의 문제를 해결하는 것에 대해 많은 연구가 수행되어 왔다. Brown과 Seales는 3D 이미지들에 기초하여 임의적으로 워프된(warped) 문서들에 대한 범용 디-스큐잉(de-skewing) 알고리즘을 제안하였다.("Image Restoration Arbitrarily Warped Documents", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 10,(2004).) Zhang, et al.은 평판형 스캐너에 의해 캡처된 문서 이미지들을 처리하기 위해 음영-으로부터-심도 알고리즘(depth-from-shading algorithm)을 개발하였다.("Restoration of curved Document Images Through 3D Shape Modeling", Proc. of the 6th International Conference on Document Analysis and Recognition, pp. 10-15 (2004).) 그러나, 이 기술은 조명 조건에 대단히 의존하고, 따라서 디지털 카메라로 캡처되는 이미지들에 적합하지 않다. 디지털 카메라들이 스캐너들에 비해 더 편리한 입력 장치들임을 인식하여, 연구자들은 디지털 카메라들에 의해 캡처되는 이미지들에 있어서 이미지 왜곡 문제들을 감소시키기 위한 모델들을 개발하였다. 예를 들어, Cao, et al.은 열린 책의 원통 형태를 평가하기 위해 파라미터적 모델(parametrical model)을 개발하였다.("Rectifying the Bound Document Image Captured by the Camera: A Model Based Approach", Proc. of the International Conference on Document Analysis and Recognition, pp. 71-75 (2003).) 이 기술을 이용하는 것의 주요한 제한은, 카메라 렌즈의 렌즈 평면이 이미징되는 책의 표면에 평행할 때에만 그 모델이 작용한다는 것이다. Liang, et al.은 책의 페이지 표면을 모델링하고 표면 형태를 복원하기 위해 페이지 상의 인쇄된 텍스트 콘텐트의 특성들(평행성 및 동일 라인 간격)을 활용한다.("Flattening Curved Documents in Images", International Conference on Computer Vision and Pattern Recognition, pp. 338-345 (June 2005).) 이 기술을 이용함으로써, 카메라 렌즈의 렌즈 평면은 더 이상 책의 표면에 평행할 것이 요구되지 않는다. 그러나, 이미징되는 문서 상의 왜곡을 교정하기 위해 Cao 및 Liang 둘다에 의해 이용된 모델들은 텍스트 라인 정보에 기초한다. 다시 말해서, 이 모델들은 이미징되는 책 내의 텍스트 라인들의 존재에 대단히 의존한다. 책의 페이지가 텍스트 라인들 대신 많은 그림들 또는 수학식들을 갖는다면, Cao 및 Liang 모델들은 잘 작용하지 않을 것이다. 그러므로, 스캐너들에 비해 카메라들의 장점들을 활용할 수 있으며, 또한 스캐너와 대조적으로 카메라를 통해 문서 이미지를 캡처함에 의해 전형적으로 주어지는 왜곡을 감소시키는 문서들의 이미지들을 캡처하기 위한 향상된 장치 및 방법에 대한 필요성이 계속해서 존재한다. 바람직하게, 장치 및 방법은, 이미징되는 문서 상에 텍스트 라인들이 존재하는지에 무관하게, 캡처되는 이미지 내의 왜곡을 감소시킬 수 있어야 하며, 이에 의해 그림들 및 수학식들을 갖는 문서의 캡처된 이미지의 왜곡의 교정을 허용할 수 있어야 한다. 또한, 바람직하게 장치 및 방법은, 카메라 렌즈의 렌즈 평면이 책의 표면에 평행할 때 생성되는 이미지들로 제한되지 말아야 한다.