이미지 처리방법 document_id A220623045185

본 발명은 이미지 처리방법에 관한 것이다. 보다 상세하게는 이미지의 트리밍(trimming)을 수행하는 이미지 처리방법에 관한 것이다. 디지털 이미지 처리에서의 스마트 트리밍(Smart Trimming) 방법들은 이미지의 상측/하측 또는 좌측/우측에서 스트라이프들을 트리밍하여, 원본 이미지의 종횡비를 변경하기 위한 것이다. 여기서 "스마트(smart)"라는 말은 그러한 트리밍이 이미지의 주요 피사체들을 손상시키지 않는 것을 뜻한다. 이미지 종횡비 변경은 소비자의 디지털 사진에서 필요할 수 있고, 통상적으로 디지털 카메라들은 4:3 종횡비의 사진들을 생성하는 반면, 종래의 인화지는 종횡비가 3:2이다. 사진의 종횡비를 변경하기 위한 방법으로서, 디지털 처리 방법들과 별개의 두 가지 방법들이 있다. "크럽 투 휠(crop to fill)"이라는 방법은 이미지의 상측과 하측에 대하여 트리밍 양을 등량으로 하거나 또는 상측에서 필요한 트리밍 양을 20%로 하고, 이미지의 하측에서 나머지 80%로 하는 것이다. 일반적으로 이 방법은 사진을 찍는 사람들이 사진에서의 주요부분을 중간에 있도록 사진을 구성하기 때문에 만족스런 인쇄물을 생성하지만, 원본 이미지의 상측과 하측 부근에 위치하는 주제의 얼굴이나, 머리 또는 기타 부분들을 절삭하는 등의 치명적인 훼손을 야기할 수 있다. "크럽 투 휫(crop to fit)"이라고 하는 방법은 원하는 종횡비를 얻기 위해 흰색 공간으로 4:3 이미지의 우측과 좌측을 메우는 것이다. 그러나 이 방법은 종이 사이즈 전체를 사용하지 않는다. 자동 트리밍의 중요한 문제점은 이미지의 주요부분과 배경을 결정하는 것이다. 주요부분을 검출하는 방법들은 두개의 주요 카테고리로 나눌 수 있다. "픽셀에 기초한(pixel-based)" 방법들은 이미지 내에, 통상적으로 관심 있는 피사체 또는 주체들의 실체에 해당하지 않는 픽셀들이나 또는 특정 지점(블록)을 위치시키도록 설계된다. "영역에 기초한(region-based)" 방법들은 이미지 내에, 피사체들 또는 주체들의 의미 있는 실체들에 관심 있는 영역들을 위치시키도록 설계된다. 관심 있는 영역 검출에 대한 대부분의 픽셀에 기초한 접근법들은 에지 검출기(edge detector)가 필수적이다. 지금까지 그러한 작업을 수행할 때 겪어야 하는 어려움으로 인하여, 자동 트리밍 및 절삭(trim and crop)에 관한 연구가 거의 없었다. 공지된 종래의 이미지 편집 소프트웨어는 어느 것이나 이미지의 장면 내용을 이용하여 절삭량을 자동으로 결정하지 않았다. 예를 들어, 미국, 펜실바니아 대학의 죤 브래이들리에 의해 개발된 프리웨어 패키지(freeware package)로서, "XV"(http://www.trilon.com/xv) 라고 이름붙여진 프로그램은 이미지들을 편집하기 위한 "자동절삭(autocrop)" 기능을 제공하고 있으며, 다음과 같은 방식으로 동작한다: 1. 그 프로그램은 이미지의 모든 방향 즉, 상, 하, 좌 및 우측의 경계선을 조사한다; 2. 그 프로그램은 라인 내의 변화를 점검한다. 그레이 스케일 이미지에서는 절삭할 라인이 완전히 균일해야한다. 컬러 이미지에서는 작은 비율의 픽셀들을 제외하고 공간적인 상관대비(spatial correlation)와 스팩트럼 대비가 절삭에 적합한 라인에 대하여 낮아야 한다. 다시 말해, 큰 변화량을 포함하고 있을 경우에 라인은 절삭되지 않을 것이다; 3. 1 차원의 라인이 기준을 통과하면, 그 다음의 내측 라인(행 또는 열)이 조사된다; 4. 위의 반복과정이 종료되면, 최종 절삭된 이미지가 결정된다. 이 프로그램은 본질적으로 이미지의 경계 주변의 상대적인 균일 마진을 제거하기 위한 것이다. 그것은 이미지의 전체 내용을 조사하지 않는다. 실제로, XV 프로그램은 주사공정 동안 부정확한 정렬로 인하여 발생되는 어두운 경계를 절단하는 데 효율적이다. 그러나, 이미지 장면의 이해 부족으로 인하여 치명적인 결과가 종종 일어난다. 어떤 심한 경우에는 전체 사진이 절단되기도 한다. 미국특허 제5,978,519호, "자동 이미지 절단"에서 볼만 등은 이미지에서 상이한 강도 레벨들에 기초하여 이미지를 절단하는 방법을 개시하고 있다. 여기서, 통상의 이미지는 강도 레벨과 컬러가 균일한 영역과 강도 레벨과 컬러가 상당히 다양한 나머지 영역들을 포함한다. 예컨대, 이미지의 "배경"은 전경으로부터 배경을 분리하는 뚜렷한 "에지"로 일정할 수 있다. 예를 들어, 인물사진은 통상적으로 일정한 배경 또는 바탕에 대하여 설정되는 주제를 포함하며, 주제와 배경 사이에는 선명한 에지 또는 경계가 존재한다. 이러한 시스템에서, 절단되는 이미지는 축소되어 격자형 또는 비중첩되는 블록들로 분할된다. 각 블록마다 레벨 강도들의 평균 및 분산을 산출한다. 블록들에서의 분산들의 분포에 기초하여 변수에 대한 임계값들이 선택된다. 임계 븐산값보다 더 큰 분산을 가지는 모든 블록들은 관심 있는 영역들로서 선택된다. 그 다음, 관심 있는 영역들을 전경에 물체를 감싸는 최소면적의 사각형으로 절단한다. 그러나, 그러한 시스템은, 절단되지 않은 이미지들이 레벨 강도가 균일한 영역들과 레벨 강도가 상당히 다양한 영역들을 포함하고 있을 때에만 유효하다. 그러한 시스템의 유효성은 XV 프로그램의 유효성에 비교될 수 있는 것으로 예측된다. 그 차이점은 미국특허 제5,978,519호가 균일한 영역을 식별하기 위해 한 블록씩 이미지를 조사하는 반면, XV 프로그램은 균일한 영역을 식별하기 위해 한 라인씩 이미지를 조사하는 것이다. 요약하면, 두 기술은 모두 균일하지 않은 배경을 가지는 이미지들을 처리할 수 없다. 직관적인 절삭 기능을 제공하는 2006년 마이크로소프트 디지털 이미지 슈트 (Digital Image Suite 2006) 패키지의 새로운 버전이 발표되었다. 그것은 사용자가 "절삭 작업" 을 클릭할 때, 인물사진 또는 가족사진에서 얼굴과 같은 사진의 구성들을 분석하여, 사진의 절삭 방법을 제시함으로써, 주제를 적합하게 프레임하여 최상의 가능한 이미지를 생성하도록 하는 것을 가능하게 한다. 제1 위치에서, 프로그램은 자동 분류기의 관점에서 최적의 절삭모드 즉, 커스텀 모드를 제시한다. 나아가, 사용자는 표준 프린팅 규격들의 대형 리스트로부터 이미지의 비율을 선택하는 것이 가능하다. 게다가, 사용자가 픽셀들의 비를 직접 설정할 수 있다. 제3의 규칙에 대한 가이드라인들을 제시할 수 있는 기회가 있다. 1997년 패턴인식에 관한 논문들, 볼륨 18, 1077-1081페이지의 "관심 있는 영역들을 검출하기 위한 로컬 오퍼레이터들"에서 부이. 디. 게수(V. D. Gesu) 등은 개별 순간 변환(Discrete Moment Transform: DMT)과 개별 대칭 변환(Discrete Symmetry Transform: DST)을 사용하여, 각 픽셀과 로컬 방사상 대칭에 대하여 로컬 중심 모멘트를 측정하였다. 평범한 대칭의 경우들을 배제하기 위하여, 불균일 영역의 선택이 필요하였다. 특정의 DMT 오퍼레이터는 두드러진 에지들(교합 경계들)의 검출기와 같이 작용하며, DST 오퍼레이터는 대칭적인 얼룩들의 검출기와 같이 작용한다. 이 두 오퍼레이터들로부터의 결과들은 논리 "AND"연산에 의해 조합된다. DMT 오퍼레이터에 의해 생성되는 에지 형태의 원출력 맵을 넓히기 위해서는 형태학적인 작업들이 필요하다. 1993년 스위스 제네바 대학, 박사 논문, "이미지에서 두드러진 영역들의 검출: 생태에서 실시까지"에서 알. 밀라니즈는 시각적 관심의 연산적 모델을 개발하였는데, 여기서 인간 시각 시스템에 대한 지식을 컴퓨터 시각 기술과 조합하였다. 이 모델은 3개의 주요 스테이지로 구성된다. 첫째, 다중 피쳐 맵들을 입력 이미지(방향, 곡률, 컬러 콘트라스트 등)으로부터 추출한다. 둘째, 상응하는 수의 가시성 있는 맵들을 가우시안(Gaussian) 모델의 유도식을 사용하여 연산하여, 각각의 특징적인 맵에서 관심 있는 영역들을 강화한다. 마지막으로, 비선형 완화 프로세스를 사용하여 맵 간 및 맵 내의 불일치들 간에 절충점을 찾아냄으로써 가시성 있는 맵들을 단일한 표현으로 통합한다. 최적의 색조 제현을 결정하기 위하여, 미국특허 제5,724,456호에서 제이. 알. 보약 등은 이미지를 여러 블록으로 나누어, 특정한 블록들을 섹터들로 조합한 다음, 각 섹터마다 최대 및 최소의 평균 블록값들 간의 차이를 결정하는 시스템을 개발하였다. 만일 그 차이가 예정된 문턱값을 초과할 경우, 섹터를 활동 섹터로서 규정한다. 활동 섹터들의 모든 가중된 값들은 평균 휘도 섹터값들에 대하여 히스토그램으로 구성된다. 이 때, 이를 예정된 기준에 의하여 쉬프트하여, 관심 있는 평균 휘도 섹터값이 대상이 되는 응용 프로그램의 색 재현 능력에 상응하는 대상 윈도우 내에 들어갈 수 있도록 하였다. 1998년 IEEE 패턴 인식 국제 회의, 회보에 발표한 "이미지에서 지각 있는 중요한 영역들의 자동 식별"에서 W. Osberger 등은 각 영역에서의 각 특징들에 대하여 중요한 값을 생성하도록 구획된 이미지의 각 영역마다 인간의 시각적 관심에 영향을 주는 것으로 알려진 여러 가지 특징들을 평가하였다. 평가된 특징들로서 저레벨의 요소들(콘트라스트, 사이즈, 형상, 컬러, 움직임) 및 고레벨의 요소들(위치, 전경/배경, 사람, 환경) 등이 언급되었지만, 오직 콘트라스트, 사이즈, 형상, 위치 및 전경/배경 (각 영역에 포함된 전체 이미지 경계의 비율을 결정함으로써 배경을 결정)만이 충족되었다. 1995년 IEEE 이미지 프로세스 국제 회의 회보에 발표한 "다중 큐의 통합에 의해 컬러 이미지의 전경/배경 구획"에서 Q. Huang 등은 컬러 클러스터링, 최소 묘사 길이(Minimum Description Length:MDL) 원리에 기초한 비감시 구획, 에지에 기초한 전경/배경 분리, 및 양 영역 및 에지에 기초한 구획의 통합 등과 같은 다중레벨 구획 방안을 사용함으로써 컬러 이미지들을 전경/배경으로 자동 구획하는 것을 주장하였다. 특히, MDL에 기초한 구획 알고리즘을 사용하여 초기 컬러 클러스터링으로부터 영역들을 더 그룹화 하였으며, 이미지의 네 개의 코너들을 사용하여 배경 구배 크기를 적응적으로 추정하였다. 1997년 국제 J. 컴퓨트 비젼, 21권 제1호 9-36페이지의 "컬러 영역들을 사용하는 데이터 및 모델 구동 선택"에서 T. F. Syeda-Mahmood 는 컬러 영역 구획 및 영역에 기초한 두드러진 측정을 사용하는 데이터 구동 영역 선택 방법을 제안하였다. 220개의 주요한 컬러 카테고리들의 집합을 컬러 룩업 테이블의 형태로 미리 정의하였다. 픽셀들을 컬러 카테고리들 중 하나로 맵핑하고, 연관된 성분 분석을 통하여 함께 그룹화하고, 호환 가능한 컬러 카테고리들에 따라 합병하였다. 두 가지 타입의 두드러진 특징들, 즉, 자기 두드러짐과 상대 두드러짐을 발견적인 가중 인자들을 사용하여 선형으로 조합하여 전체적인 두드러짐을 결정하였다. 특히, 자기 두드러짐에는 컬러 포화, 휘도 및 사이즈가 있는 반면, 상대 두드러짐에는 관심 있는 영역과 이웃 간에 연속적인 순서에 따른 사이즈, 범위 및 콘트라스트 간의 최고의 순위를 랭크하는 주위 영역 간의 컬러 콘트라스트 및 사이즈 콘트라스트 등이 있다. 요약하면, 거의 모든 보고된 방법들은 목표로 한 이미지의 타입들; 주요한 주제를 가지는 사진이 상대적으로 간단한 정적인 배경(Osberg, Marichal); 상대적으로 깨끗한 배경(Huang)의 큰 영역에 대해 이미지의 중심에 위치한 저명한 주요 주제가 있는 박물관 이미지들; 및 주제가 몇 개의 뚜렷한 컬러의 형태로 된 피사체들(Milanese, Syeda)인 토이 월드(toy-world) 이미지들에 대하여 개발되었다. 이 방법들은 한정되지 않는 사진 이미지들을 위해 설계된 것이 아니며, 또는 심지어 일반적인 원리에 의해 설계된 경우에서조차도, 오히려 간단한 이미지들에서 그들의 유효성이 증명되었다. 미국특허 제6,282,317호는 이미지에서 주요 주제를 검출하기 위한 방법을 개시하고 있다. 이 방법은 디지털 이미지를 수신하고; 수신된 디지털 이미지로부터 실제의 피사체들에 의해 정해지는 임의 형상과 사이즈의 영역들을 추출하고; 추출된 영역들을 물리적으로 연관된 피사체들에 상응하는 더 큰 구획들로 그룹화하고; 각 영역들마다 적어도 하나의 구조적으로 두드러진 특징과 적어도 하나의 의미 있는 두드러진 특징을 추출하고; 추출된 두드러진 특징들을 개연적 이성 엔진(probabilistic reasoning engine)을 사용하여 각 영역이 주요 주제라고 확신하여 통합하는 것을 포함한다. 미국특허 제6,654,506호는 디지털 이미지를 절삭하기 위한 방법 및 컴퓨터 프로그램/시스템을 개시하고 있다. 이 방법은 사진 이미지의 확신 맵을 입력하고, (확신 맵 내의 한 위치에서의 확신값은 사진 이미지에서 동일 위치에서의 사진 주제의 중요성을 나타낸다), 줌 팩터 및 절삭 윈도우를 선택하고, 확신 맵의 영역들을 클러스터링하여 배경부분들, 부차적인 부분들 및 주요 부분들을 선택하고, 절삭 윈도우가 최고의 확신값을 갖는 주요부분 주위에 위치하도록 설정하고, 절삭 윈도우를 이동시켜서 이미지에 완전히 포함되도록 하고, 절삭 윈도우를 이동시켜서 확신값들의 합이 최대가 되게 하고, 절삭 윈도우에 따라 이미지를 절삭하는 것을 포함한다. 미국특허 제6,654,507호는 디지털 이미지의 확신 맵을 연산하는 픽셀들을 포함하는 디지털 이미지의 적어도 일부 영역의 이미지를 생성하는 방법을 개시하고 있다. 이 방법은 디지털 이미지의 픽셀들을 사용하여 일련의 특징들을 결정하고 또한 그러한 특징들을 이용하여 절삭 윈도우의 사이즈를 결정하는 형상과 줌 팩터를 가지는 절삭 윈도우를 결정하는 확신 맵 내에 디지털 이미지의 주요 주제가 위치하는 확률을 할당하고, 확신 맵 및 절삭 윈도우에 응답하여 이미지의 일부 중 주요한 주제 내용을 포함하도록 디지털 이미지를 절삭한다. 미국특허 제6,907,136호는 사람의 이미지로부터 일 영역을 절삭하여 간단한 조작으로 적절한 영역을 얻는 소위 ID 사진 제작을 개시하고 있다. 이 방법은 사람 얼굴을 포함하는 원본 이미지상의 얼굴 영역 주위를 둘러싸는 사각형을 표시하는 단계와, 사각형의 표시 단계에 의해 표시된 사진의 수직 길이 및 수평 길이를 산출하는 단계와, 산출된 수직 길이 및 수평 길이에 기초하여 얼굴 영역을 포함하는 절삭 영역을 결정하는 단계를 포함한다. 미국공개특허출원 제2002/0191861호는 전자 이미지들의 자동화 및 반 자동화 절삭을 개시하고 있으며, 특히, 그러한 전자 이미지들을 포착 및 절삭하기 위해 전자 카메라를 사용하는 방법을 개시하고 있다. 전자 이미지를 절삭하기 위한 전자 이미지 처리 장치는 이미지 처리 수단을 포함하며, 이 이미지 처리 수단은 전자 프로세서 및 펌웨어 및/또는 소프트웨어를 포함한다. 이 장치는 전자 이미지를 처리하여 전자 이미지의 구성에 관한 하나 이상의 특징들을 식별하며, 각각의 그러한 특징은 미리 예정된 복수의 상이한 구성적 특성들로부터 하나 이상의 구성적으로 중요한 특성들을 가지며, 각각의 그러한 특성은 전자 이미지의 서브 영역을 차지한다. 그 다음 전자 이미지 처리 장치는 하나 이상의 식별된 특징들의 구성적으로 중요한 속성에 대한 구성적 규칙의 관련성에 기초하여 미리 정해진 일련의 구성적 규칙들로부터 하나 이상의 구성적 규칙들을 선택한다. 그 다음, 이 장치는 하나 이상의 선택된 구성적 규칙들을 적용함으로써 하나 이상의 적합한 절삭 경계들을 결정한다. 미국공개특허출원 제2005/0025387호는 원본 디지털 이미지로부터 바람직한 종횡비에 따라 새로운 이미지를 생성하는 방법을 개시하고 있다. 이 방법은 바람직한 종횡비 및 미리 예정된 크기의 절삭 윈도우를 결정하고; 위치를 나타내는 확신값들의 어레이 및 원본 디지털 이미지에서 주제의 상대적인 중요성을 포함하는 요부 주제에 대한 확신을 얻고; 요부 주제의 확신 맵을 사용하여 미리 예정된 세트의 기준을 만족하는 원본 디지털 이미지에서 절삭 윈도우의 위치를 결정하고; 원하는 종횡비의 절삭된 이미지를 생성하는 것을 포함한다. 사진을 찍는 사람은 사진을 보는 사람들에게 하나 이상의 주요 주제들에 관한 관심을 전달하고자 한다. 그렇게 하기 위한 메카니즘들로는 프레임 내에 주요 주제의 위치를 조절하고, 그 주요 주제와 그의 주변 간의 색조 대비, 컬러 또는 텍스쳐를 조정하고, 그 주요 주제를 최대 밝기로 강조하는 것을 포함한다. 사진을 찍는 사람이 특정 사진에서 주요 주제를 강조할 수 있도록 하기 위해서는, 사진과 무관한 제3자들이 그 주요 주제에 대하여 서로 간에 의견일치가 있어야 할 것이며, 이 의견일치가 사진을 찍는 사람의 의도를 반영할 것인지에 대하여 논의한 결과 실제로, 자동 시스템은 사진을 찍는 사람이 사람, 설치물, 이벤트 등에 대하여 특정한 지식을 가지고 있지 않는다는 것으로 예측된다. 따라서, 본 발명은 자동 알고리즘들을 개발하여 당사자가 아닌 제3자의 입장에서 사진 속의 주요 주제를 식별하여 그것을 트리밍할 수 있도록 하는 것이다. 또한, 2000 이상의 이미지들의 사진 이미지 데이터베이스에 관한 연구(2005년 S. Li, A. Jain의 "얼굴 인식 핸드북")에 의하면, 사진 이미지들의 70% 이상이 사람을 가지고 있으며, 거의 그와 동일한 수의 이미지들이 그들 내에 얼굴들을 가지고 있다. 정말로, 사람들은 사진들 속에서 가장 중요한 주제의 하나이다. 그러므로, 본 발명은 사람 얼굴의 존재를 효과적으로 검출할 수 있는 알고리즘을 제공할 수 있도록 하는 것이다. 비록 얼굴 인식 연구가 아주 조기에 시작되기는 하였지만, 최근까지 얼굴 검출 문제에 대한 관심이 그렇게 많지 않았다. 최근 십년 여 동안에 얼굴 검출 문제에 대하여 더 많은 관심이 기울여졌으며, 얼굴 검출에 대한 관심 덕분에 다양한 방법들이 개발되었고, 그 수는 크게 증가 하고 있다. 임의의 크기를 가지는 이미지가 주어지면, 이미지 속에 나타나는 사람 얼굴의 존재를 검출하여, 만일 있을 경우, 그들의 위치들로 되돌아 간다. 사진들은 상이한 크기, 방향 및 상이한 머리 자세들을 표현한다는 사실 때문에, 얼굴 검출은 도전할 가치가 있는 작업이 된다. 그 외에도, 밝기, 사진들의 불연속성, 얼굴 표정의 변화, 및 안경, 화장 또는 수염과 같은 얼굴 특징들의 존재와 같은 상태들은 이미지 속의 얼굴 모양의 변화에 크게 기여한다. 지금까지 수많은 얼굴 검출 방법들이 문헌에 보고되었다. 2005년 S. Li, A. Jain의 "얼굴 인식 핸드북"에서는 기존 방법들에 대한 개괄적인 고찰을 제시하였다. 이 책에 의하면, 얼굴 검출 방법들은 주로 두 개의 카테고리 즉, 외형에 기초하는 방법과 특징에 기초하는 방법으로 나눌 수 있다. 후자의 방법은 우선 많은 포인트의 특징들을 추출한 다음, 추출된 특징들을 얼굴 모델과 맞춰보지만, 전자는 곧바로 픽셀 강도들을 맞춰본다. 분명히 특징에 기초한 방법은 머리, 눈과 입의 형상, 위치, 얼굴 색, 텍스쳐, 및 얼굴의 3D 모델과 같은 사전 지식이 필요하다. 이와 대조적으로 외형에 기초한 방법들은 사전 지식이 필요 없다. 왜냐하면, 그들 대부분은 픽셀 강도들의 벡터로서 전체 얼굴을 처리한 다음, 특정한 테크닉들을 사용하여 그들을 맞춰보기 때문이다. 외양에 기초한 방법들은 정면이 아닌 얼굴들에 더 적합하고 또한 복합 장면에서 더 성공적인 것으로 알려져 있지만, 간단한 장면들에서는 특징에 기초한 방법들이 더 성공적인 것으로 알려져 있다.