비디오 프레임간 움직임 추정용 방법 및 장치 document_id 1020047000008

[청구항 1] 비디오 프레임에서 움직임을 판단하기 위한 장치에 있어서, 상기 비디오 프레임중 제1프레임 및 제2프레임 사이의 특징형상을 추적하여 상기 특징형상의 움직임 벡터를 판단하기 위한 움직임 추정기; 및 상기 움직임 추정기와 연관되어 있고, 제1특징형상과 이웃하고 상기 제1특징형상과 함께 이동하는 다른 특징형상에 상기 움직임 벡터를 적용하기 위한 이웃 특징형상 움직임 할당기(neighboring feature motion assignor)를 포함하는 것을 특징으로 하는 장치 [청구항 2] 제 1 항에 있어서,상기 특징형상 추적은 상기 제1및제2프레임의픽셀블록정합포함하는것을특징으로 하는장치. [청구항 3] 제 2 항에 있어서,상기 움직임 추정기가 동작하여 초기에 상기 제1프레임에서 소정의 픽셀 소그룹을 선택하고, 상기 그룹간 움직임을 판단하기 위해 상기 제2프레임에서 상기 픽셀 그룹을 추적하고, 상기 이웃 특징형상 움직임 할당기가 동작하여 각 픽셀 그룹에 대해서 함께 이동하는이웃픽셀그룹식별하는것을특징으로 하는장치. [청구항 4] 제 3 항에 있어서,상기 이웃 특징형상할당기가 동작하여 상기 이웃 픽셀 그룹을 식별하기 위해 셀룰라 오토머터 기반 기법(cellular automata based techniques)을 이용하고,움직임벡터를상기픽셀그룹할당하는것을특징으로 하는장치. [청구항 5] 제 3 항에 있어서,상기 장치가 동작하여 페이빙되는(paved) 바와 같이 움직임을 할당받은 모든 픽셀 그룹을 표기하고, 이웃들을 추적 및 확인하기 위해 픽셀 그룹을 더 선택함으로써 미표기 픽셀 그룹에 대하여 상기 움직임 추정을 반복하고, 상기 반복 동작은소정한계치반복되는것을특징으로 하는장치. [청구항 6] 제 1 항에 있어서,상기 이웃 특징형상 움직임할당기와 연관되어 있고, 상기 특징형상의 유의 레벨(significance level)을 추정하여 단지 상기 유의 레벨이 소정 임계 레벨을 초과하면, 상기 움직임 벡터를 상기 이웃 특징형상에 적용하도록 상기 이웃 특징형상 움직임 할당기를 제어하기 위한특징형상유의성추정기더포함하는것을특징으로 하는장치. [청구항 7] 제 6 항에 있어서,상기 장치가 동작하여 페이빙되는 바와 같이 움직임을 할당받은 프레임에서 모든 픽셀 그룹을 표기하고 - 상기 표기는 정합의 임계 레벨에 따라 소정의 한계치까지 반복됨 -, 미표기된 이웃을 추적 및 확인하기 위해 픽셀 그룹을 더 선택함으로써 페이빙되지 않은(unpaved) 픽셀 그룹에 대한 상기 움직임 추정을 반복하고, 상기 임계 레벨이 유지되거나 매반복시감소되는것을특징으로 하는장치. [청구항 8] 제 6 항에 있어서,상기 특징형상 유의성 추정기는 검색창을 통해 후속 프레임에서의 상기 특징형상의 최상 정합과 상기 특징형상의 평균 정합 레벨 사이의 비율을 판단하여 판단 결과에 따라 배경 또는 이웃과 구분되는 특징형상을 배제시키기 위한정합비율판별기포함하는것을특징으로 하는장치. [청구항 9] 제 6 항에 있어서,상기 특징형상 유의성 추정기는 상기 정합 위치에서 미스핏(misfit) 함수의 hessian 행렬을 근사화하여 최대 변별성의 존재를 판단하기 위한 수치적인근사화기포함하는것을특징으로 하는장치. [청구항 10] 제 6 항에 있어서,상기 특징형상 유의성 추정기는 상기 특징형상 식별기 전단에 연결되어 있고, 에지 검출 변형을 실행하기 위한 에지 검출기를 포함하고, 상기 특징형상 식별기는 비교적 높은 에지 검출 에너지를 갖는 특징형상에 특징형상 식별을 제한하기 위해 상기 특징형상 유의성 추정기에 의해제어가능한것을특징으로 하는장치. [청구항 11] 제 1 항에 있어서,특징형상 식별기 전단에 연결되고, 상기 프레임 내의 픽셀의 합병에 의해 비디오 프레임 해상도를 감소시키기 위한다운샘플러더포함하는것을특징으로 하는장치. [청구항 12] 제 1 항에 있어서,특징형상 식별기 전단에 연결되고, 휘도 신호를 분리시키고 휘도 관련 비디오 프레임만을 산출하기 위한다운샘플러더포함하는것을특징으로 하는장치. [청구항 13] 제 12 항에 있어서,상기다운샘플러가 동작하여 상기 휘도 신호에서의해상도감소시키는것을특징으로 하는장치. [청구항 14] 제 1 항에 있어서,상기 후속 프레임은 연속프레임인것을특징으로 하는장치. [청구항 15] 제 14 항에 있어서,상기 프레임은 일련의 i 프레임, b 프레임 및 p 프레임이고, 상기 i 프레임과 상기 p 프레임 사이에서 움직임 추정이 실행되고, 상기 장치는 상기 b 프레임에 대한 움직임 추정으로서 이용하기 위해 상기 움직임 추정의 인터폴레이션을 제공하기 위한인터폴레이터더포함하는것을특징으로 하는장치. [청구항 16] 제 14 항에 있어서,상기 프레임은 적어도 일련의 i 프레임, 제1p-프레임 및 제2p-프레임을 포함하고, 상기 i 프레임과 상기 제1p-프레임 사이에서 움직임 추정이 실행되고, 상기 장치는 상기 제2p-프레임에 대한 움직임 추정으로서 이용하기 위해 상기 움직임 추정의 엑스트라폴레이션을 제공하기 위한엑스트라폴레이터더포함하는것을특징으로 하는장치. [청구항 17] 제 1 항에 있어서,상기 프레임이 블록으로 분할되고, 상기 특징형상 식별기가 동작하여 특징형상을 식별하기 위해 상기 제1프레임 내에서 블록의 체계적인선택하는것을특징으로 하는장치. [청구항 18] 제 1 항에 있어서,상기 프레임이 블록으로 분할되고, 상기 특징형상 식별기가 동작하여 특징형상을 식별하기 위해 상기 제1프레임 내에서 블록의 무작위적인선택하는것을특징으로 하는장치. [청구항 19] 제 1 항에 있어서,상기 움직임 추정기는 상기 제1프레임에서의 상기 특징형상의 위치 주위의 검색창에서 상기 후속 프레임에서의 상기 특징형상을 검색하기 위한검색기포함하는것을특징으로 하는장치. [청구항 20] 제 19 항에 있어서,상기 검색창의 크기를 사전설정하기 위한검색창프리셋터더포함하는것을특징으로 하는장치. [청구항 21] 제 19 항에 있어서,상기 프레임이 블록으로 분할되고, 상기 검색기가 상기 특징형상을 포함하는 블록과 상기 검색창에서의 블록 사이에서의 비교를 수행하여, 상기 블록 각각의 결합을 위해, 상기 후속 프레임에서의 상기 특징형상을 식별하고 상기 제1프레임과 상기 후속 프레임 사이에서의 상기 특징형상의 움직임 벡터를 판단하기 위한비교기포함하는것을특징으로 하는장치. [청구항 22] 제 21 항에 있어서,상기 비교는 샘블런스거리비교인것을특징으로 하는장치. [청구항 23] 제 22 항에 있어서,상기 비교 이전에 각 블록으로부터 평균 휘도값을 감산하기 위한 dc교정기더포함하는것을특징으로 하는장치. [청구항 24] 제 21 항에 있어서,상기 비교는비선형 최적화포함하는것을특징으로 하는장치. [청구항 25] 제 24 항에 있어서,상기 비선형 최적화는 "nelder-mead simplex"기법포함하는것을특징으로 하는장치. [청구항 26] 제 21 항에 있어서,상기 비교는 l1 및 l2표준중적어도하나의이용포함하는것을특징으로 하는장치. [청구항 27] 제 21 항에 있어서,상기 특징형상이 유의 특징형상인지를 판단하기 위한특징형상유의성추정기더포함하는것을특징으로 하는장치. [청구항 28] 제 27 항에 있어서,상기 특징형상 유의성 추정기는 검색창을 통해 상기 후속 프레임에서의 상기 특징형상의 최대 근접 정합과 상기 특징형상의 평균 정합 레벨 사이의 비율을 판단하여 배경 또는 이웃과 구별되는 특징형상을 배제시키기 위한정합비율판별기포함하는것을특징으로 하는장치. [청구항 29] 제 28 항에 있어서,상기 특징형상 유의성 추정기는 상기 특징형상이 유의 특징형상인지를 판단하기 위해 소정 임계치에 대한 상기 비율을 비교하기 위한쓰레스홀더더포함하는것을특징으로 하는장치. [청구항 30] 제 27 항에 있어서,상기 특징형상 유의성 추정기는 상기 정합 위치에서 미스핏(misfit) 함수의 hessian 행렬을 근사화하여 최대 변별성을 확인하기 위한 수치적인근사화기포함하는것을특징으로 하는장치. [청구항 31] 제 27 항에 있어서,상기 특징형상 유의성 추정기는 상기 특징형상 식별기 전단에 연결되어 있고, 상기 장치는 에지 검출 변형을 실행하기 위한 에지 검출기를 더 포함하고, 상기 특징형상 식별기는 비교적 높은 에지 검출 에너지를 갖는 검출 영역에 특징형상 식별을 제한하기 위해 상기 특징형상 유의성 추정기에 의해제어가능한것을특징으로 하는장치. [청구항 32] 제 27 항에 있어서,상기 이웃 특징형상 움직임할당기가 동작하여 상기 움직임 벡터를 상기 움직임 벡터가 판단된 저해상도에 상응하는 상기 프레임의 각고해상도블록적용하는것을특징으로 하는장치. [청구항 33] 제 27 항에 있어서,상기 이웃 특징형상 움직임할당기가 동작하여 상기 움직임 벡터를 상기 움직임 벡터가 판단된 저해상도에 상응하는 상기 프레임의 각 최대 해상도블록적용하는것을특징으로 하는장치. [청구항 34] 제 32 항에 있어서,상기 장치는 상기 후속 프레임의 고해상도 버전에서 특징형상 정합을 실행하여 상기 고해상도 블록 각각에서 상기 움직임 벡터를 순화시키기 위해 동작하는움직임벡터순화기포함하는것을특징으로 하는장치. [청구항 35] 제 33 항에 있어서,상기 장치는 상기 후속 프레임의 고해상도 버전에서 특징형상 정합을 실행하여 상기 최대 해상도 블록 각각에서 상기 움직임 벡터를 순화시키기 위해 동작하는움직임벡터순화기포함하는것을특징으로 하는장치. [청구항 36] 제 34 항에 있어서,상기 움직임 벡터 순화기는 고해상도 블록과 정합하는 특징형상의 인접 블록에서의 추가적인 특징형상 정합 동작을 실행하여 상기 해당 움직임 벡터를 더 순화시키기 위해동작하는것을특징으로 하는장치. [청구항 37] 제 35 항에 있어서,상기 움직임 벡터 순화기는 최대 해상도 블록과 정합하는 특징형상의 인접 블록에서의 추가적인 특징형상 정합 동작을 실행하여 상기 해당 움직임 벡터를 더 순화시키기 위해동작하는것을특징으로 하는장치. [청구항 38] 제 36 항에 있어서,상기 움직임 벡터 순화기는 상이한 정합 블록에서 시작된 이전 특징형상 정합 동작으로부터 할당된 상이한 움직임 벡터를 갖는 고해상도 블록을 식별하고, 상기 이전에 할당된 움직임 벡터와 현재 할당된 움직임 벡터의 평균을 고해상도 블록에 할당하기 위해동작하는것을특징으로 하는장치. [청구항 39] 제 37 항에 있어서,상기 움직임 벡터 순화기는 상이한 정합 블록에서 시작된 이전 특징형상 정합 동작으로부터 할당된 상이한 움직임 벡터를 갖는 최대 해상도 블록을 식별하고, 상기 이전에 할당된 움직임 벡터와 현재 할당된 움직임 벡터의 평균을 최대 해상도 블록에 할당하기 위해동작하는것을특징으로 하는장치. [청구항 40] 제 36 항에 있어서,상기 움직임 벡터 순화기는 상이한 정합 블록에서 시작된 이전 특징형상 정합 동작으로부터 할당된 상이한 움직임 벡터를 갖는 고해상도 블록을 식별하고, 상기 이전에 할당된 움직임 벡터와 현재 할당된 움직임 벡터의 규칙에 의해 결정된 변형을 고해상도 블록에 할당하기 위해동작하는것을특징으로 하는장치. [청구항 41] 제 37 항에 있어서,상기 움직임 벡터 순화기는 상이한 정합 블록에서 시작된 이전 특징형상 정합 동작으로부터 할당된 상이한 움직임 벡터를 갖는 최대 해상도 블록을 식별하고, 상기 이전에 할당된 움직임 벡터와 현재 할당된 움직임 벡터의 규칙에 의해 결정된 변형을 최대 고해상도 블록에 할당하기 위해동작하는것을특징으로 하는장치. [청구항 42] 제 36 항에 있어서,상기 블록의 각 움직임 벡터에 따라 양자화 레벨을 각 고해상도 블록에 할당하기 위한 블록 양자화 레벨 할당기더포함하는것을특징으로 하는장치. [청구항 43] 제 1 항에 있어서,상기 프레임은 블록으로 정렬가능하고, 상기 장치는 상기 특징형상 검출기 전단에 연결된 감산기를 더 포함하고, 상기 감산기는,각 픽셀에 대한 픽셀차 레벨을 제공하기 위해 상기 후속 프레임에서의 해당 픽셀의 휘도 레벨의 픽셀방식 감산을 위한 픽셀 감산기; 및소정 임계치 아래의 전체 픽셀차 레벨을 갖는 관심 블록을 움직임 추정에서 제거하기 위한블록감산기포함하는것을특징으로 하는장치. [청구항 44] 제 1 항에 있어서,상기 특징형상 식별기는 블록에서의 상기 특징형상을 검사함으로써 특징형상을 검색하기 위해동작하는것을특징으로 하는장치. [청구항 45] 제 44 항에 있어서,상기 블록은 mpeg 및 jvt 표준중 적어도 하나에 따라픽셀크기갖는것을특징으로 하는장치. [청구항 46] 제 45 항에 있어서,상기 블록은 8x8, 16x8, 8x16 및 16x16을 포함하는 그룹 크기중 어느하나갖는것을특징으로 하는장치. [청구항 47] 제 44 항에 있어서,상기 블록은 8x8보다 작은픽셀크기갖는것을특징으로 하는장치. [청구항 48] 제 47 항에 있어서,상기 블록은 7x6보다 크지 않은픽셀크기갖는것을특징으로 하는장치. [청구항 49] 제 47 항에 있어서,상기 블록은 6x6보다 크지 않은픽셀크기갖는것을특징으로 하는장치. [청구항 50] 제 1 항에 있어서,상기 움직임 추정기 및 상기 이웃 특징형상 움직임할당기는 각 프레임의 연속적으로 증가하는 해상도에서 검색 및 할당하기 위해 해상도 레벨 변화기를 이용하여동작하는것을특징으로 하는장치. [청구항 51] 제 50 항에 있어서,상기 연속적으로 증가하는 해상도는 각각 실질적으로 1/64, 1/32. 1/16, 1/8, 1/4, 1/2및최대해상도중적어도일부인것을특징으로 하는장치. [청구항 52] 비디오 움직임 추정용 장치에 있어서, 제1프레임 및 제2프레임의 저해상도 버전 사이의 비전수 검색(non exhaustive search)을 각각 수행하기 위한 비전수 검색기를 포함하고, 상기 비전수 검색은 상기 프레임에서 지속적인 적어도 하나의 특징형상을 확인하고, 상기 프레임 사이에서 상기 특징형상의 상대적인 움직임을 판단하는 것을 특징으로 하는 장치 [청구항 53] 제 52 항에 있어서,상기 비전수 검색기가 동작하여 상기 비디오 프레임의 연속적으로 증가하는 해상도 버전에서상기검색반복하는것을특징으로 하는장치. [청구항 54] 제 52 항에 있어서,상기 지속적인 특징형상과 이동하는 상기 지속적인 특징형상의 이웃 특징형상을 식별하고, 상기 이웃 특징형상에 상기 지속적인 특징형상의 상기 상대적인 움직임을 적용하기 위한이웃특징형상식별기더포함하는것을특징으로 하는장치. [청구항 55] 제 52 항에 있어서,프레임에서의 상기 지속적인 특징형상과, 상기 제1프레임에서의 상기 지속적인 특징형상과 상기 제2프레임에서의 윈도우 포인트 사이의 정합 평균을 비교하여, 상기 특징형상과 상기 움직임 추정에서의 해당 상대적인 움직임을 이용할 것인지 또는 상기 특징형상을 거절할 것인지에 관한 결정을 지원하기 위해 상기 정합의 우수성을 표현하는 양을 제공하기 위한특징형상품질 추정더포함하는것을특징으로 하는장치. [청구항 56] 움직임 추정을 위한 픽셀 블록에 정렬된 비디오 프레임을 전처리하기 위한 비디오 프레임 감산기에 있어서, 각 픽셀에 대한 픽셀차 레벨을 제공하기 위해 비디오 시퀀스의 후속 프레임에서의 해당 픽셀들의 휘도 레벨의 픽셀방식 감산을 위한 픽셀 감산기; 및 소정 임계치 아래의 전체 픽셀차 레벨을 갖는 관심 블록을 움직임 추정으로부터 제거하기 위한 블록 감산기를 포함하는 것을 특징으로 하는 비디오 프레임 감산기 [청구항 57] 제 56 항에 있어서,상기 전체 픽셀차 레벨은 상기 블록에서최대픽셀차값인것을특징으로 하는비디오 프레임 감산기. [청구항 58] 제 56 항에 있어서,상기 전반전인 픽셀차 레벨은 상기 블록에서의 픽셀차 레벨의 합인 것인 것특징으로 하는비디오 프레임 감산기. [청구항 59] 제 57 항에 있어서,상기 소정 임계치는실질적제로인것을특징으로 하는비디오 프레임 감산기. [청구항 60] 제 58 항에 있어서,상기 소정 임계치는실질적제로인것을특징으로 하는비디오 프레임 감산기. [청구항 61] 제 56 항에 있어서,상기 매크로블록의 상기 소정 임계치는 실질적으로 움직임 추정에 대한양자화레벨인것을특징으로 하는비디오 프레임 감산기. [청구항 62] 블록에 정렬된 비디오 프레임에 양자화 레벨을 제공하기 위한 포스트-모션 추정 비디오 양자화기에 있어서, 각 블록은 움직임 데이터와 연관되어 있고, 상기 양자화기는 상기 블록 내의 세부 레벨을 각 블록에 대해 설정하기 위한 양자화 계수를 선택하기 위한 양자화 계수 할당기를 포함하고, 상기 선택은 상기 연관된 움직임 데이터에 종속하는 것을 특징으로 하는 양자화기 [청구항 72] 제 63 항에 있어서,상기 후속 프레임은 연속프레임인것을특징으로 하는장치.