오버랩 평활화 및 인-루프 디블록킹의 구분적 프로세싱 document_id A220623052961

비디오 정보는 방대한 양의 저장 공간을 필요로 하기 때문에, 비디오 정보는 압축되는 것이 일반적이다. 따라서, 예를 들면, CD-ROM 또는 DVD 에 저장되어 있는 압축된 비디오 정보를 디스플레이하기 위해서는, 압축된 비디오 정보가 압축해제되어야만 압축해제된 비디오 정보가 제공될 수 있다. 이후, 압축해제된 비디오 정보는 비트 스트림(bit stream)으로 디스플레이 장치에 제공된다. 비디오 정보의 압축해제된 비트 스트림은, 디스플레이 상의 픽셀 위치들에 상응하는 메모리 위치들에 비트맵(bit map) 으로서 저장되는 것이 일반적이다. 디스플레이 상에서 정보의 한 화면(single screen)을 제공하기 위해 필요한 비디오 정보는 프레임이라 지칭된다. 일련의 프레임들을 디스플레이함으로써 동영상(motion video)을 제공하기 위해서, 압축된 비디오 정보를 빠르고 효율적으로 디코딩(decoding)하는 것이 많은 비디오 시스템의 목표이다. 기록 매체, 디바이스들, 및 가령, 비디오 압축과 같은 데이터 처리에 관한 다양한 관점들을 표준화하는 것은, 이러한 기술 및 이들의 응용예들이 지속적으로 발전하기 위해서 매우 바람직한 일이다. 비디오 정보를 압축 및 압축해제하는 많은 압축(압축해제) 표준들이 개발되었으며 또는 개발중에 있는바, 이러한 것들로는 비디오 인코딩 및 디코딩을 위한 MPEG(Moving Picture Expert Group) 표준들(예를 들면, MPEG-1, MPEG-2, MPEG-3, MPEG-4, MPEG-7, MPEG-21)이 있으며, 또는 윈도우 미디어 비디오 압축 표준(Window Media Video compression standard)(예를 들면, WMV9)를 들 수 있다. MPEG 및 WMV 표준들 각각은, 마치 본 명세서에 개시된 것 처럼 전체로서 본 명세서에서 참조된다. 일반적으로, 비디오 압축 기술들은, 비디오 프레임들에 나타나는 공간적(spatial) 리던던시 및 시간적(temporal) 리던던시 모두를 감소시킴으로써 비디오 정보를 압축하도록 작용하는, 인트라프레임 압축(intraframe compression) 및 인터프레임 압축(interframe compression)을 포함한다. 인트라프레임 압축 기술들은, 프레임을 압축하기 위해서 프레임에 내포된 정보만을 사용하는바, 이는 I-프레임이라고 호칭된다. 인터프레임 압축 기술들은, 선행 및/또는 후속 프레임들과 관련된 프레임들을 압축하는바, 이들은 예측된 프레임들, P-프레임들, 또는 B 프레임들 이라고 호칭된다. 인트라프레임 및 인터프레임 압축 기술들은 통상적으로 공간(spatial) 또는 블록 기반(block-based)의 인코딩을 사용하는바, 이에 의해 하나의 비디오 프레임이 인코딩을 위한 블록들로 분할된다(또한, 블록 변환 프로세스라고도 호칭되기도 한다). 예를 들면, 하나의 I-프레임은 8×8 블록들로 분할된다. 상기 블록들은, 계수(coefficient)를 특정한 코사인 기반 함수의 진폭으로 인코딩하는 이산 코사인 변환(discrete cosine transformation : DCT) 코딩 체계를 이용하여 코딩되거나, 또는 몇몇 다른 변환들[예를 들면, 정수(integer) 변환]을 이용하여 코딩된다. 변환된 계수들은 이후 양자화되며, 0이 아닌(nonzero) 진폭 레벨들을 갖는 계수들과 0 인 진폭 레벨을 갖는 계수들의 부분열(run or subsequence)이 생성된다. 양자화된 계수들은 이후, 0 인 계수들의 기다란 런(run)들을 압축하기 위해서, 런(run) 레벨 인코딩(또는 런 길이 인코딩) 된다. 이후, 이러한 결과물들은, 코드워드들을 인코딩될 값들에 할당하는 통계적인 코딩 기법을 사용하는 가변 길이 코더(variable length coder : VLC)에서 엔트로피(entropy) 코딩되거나 또는, 다른 엔트로피 코딩 기법들[가령, 콘텍스트 기반의 적응형 이진 산술 코딩(Context-based Adaptive Binary Arithmetic Coding : CABCA), 콘텍스트 적응형 가변 길이 코딩(Context Adaptive Variable Length Coding : CAVLC) 및 이와 유사한 것들]을 이용하여 엔트로피 코딩된다. 높은 발생빈도(frequency of occurrence)를 갖는 값들은 짧은 코드워드들에 할당되며, 낮은 발생빈도를 갖는 값들은 긴 코드워드들에 할당된다. 평균적으로는, 더 자주 발생하는 짧은 코드워드들이 우세하게 되며, 그 결과 코드 스트링은 원본 데이터보다 더 짧아진다. 따라서, 공간적 또는 블록 기반의 인코딩 기법들은 하나의 프레임에 관련된 디지털 정보를 압축한다. 일련의 프레임들과 관련된 디지털 정보들을 압축하기 위해서, 비디오 압축 기술들은 P-프레임들 및/또는 B-프레임들을 사용하는바, 이는 연속적인 프레임들 사이에는 시간적인 상관성(correlation)이 있다는 사실을 활용하기 위함이다. 비록, 서로 다른 구현예에서는 서로 다른 블록 구성들을 사용할 수도 있지만, 인터프레임 압축 기술들은 서로 다른 프레임들 간의 차이점들을 식별할 것이며, 이후 DCT, 양자화, 런 길이 및 엔트로피 인코딩 기법을 사용하여 이러한 차이점 정보를 공간적으로 인코딩할 것이다. 예를 들면, P-프레임은 16×16 매크로 블록들로 분할되며[예를 들면, 4개의 8×8 휘도(luminance) 블록들 및 2개의 8×8 색차(chrominance) 블록들] 그리고 상기 매크로 블록들이 압축된다. 인터프레임 또는 인트라프레임 압축 기술들이 사용되는가에 관계없이, 비디오 데이터를 인코딩하는데 공간적인 또는 블록-기반의 인코딩 기법들을 사용한다는 것은, 압축된 비디오 데이터가 가변 길이 인코딩되었다는 것을 의미하며, 전술한 바와같은 블록-기반의 압축 기법들을 사용하여 다르게 압축되었다는 것을 의미한다. 수신기 측 또는 재생(playback) 디바이스 측에서는, 블록 변환들로 처리되었던 비디오 데이터를 디코딩하기 위해 상기의 압축 단계들이 거꾸로 수행된다(reverse). 도1은 비디오 정보를 압축해제하기 위한 통상적인 시스템(30)을 도시한 도면으로, 상기 시스템은 입력 스트림 디코딩부(35), 모션(motion) 디코딩부(38), 합산기(39), 프레임 버퍼(40), 및 디스플레이(41)를 포함하여 구성된다. 입력 스트림 디코딩부(35)를 살펴보면, 압축된 비디오 정보의 스트림을 입력 버퍼(31)에서 수신하며, VLC 디코더(32)에서 가변 길이 디코딩을 수행하며, 역양자화기(33)에서 지그재그 및 양자화를 거꾸로 수행하며, 역 DCT 유닛(34)에서 DCT 변환을 거꾸로 수행하며, 정적으로(staticly) 압축해제된 비디오 정보의 블록들을 합산기(39)에 제공한다. 모션 디코딩부(38)에서는, 예전 화면(previous picture) 데이터의 복사본[예전 화면(picture) 저장 버퍼(36)에 저장되어 있는]과 VLC 디코더(32)로부터의 모션 정보를 모션 보상 유닛(37)이 수신하며, 그리고 모션-보상된 픽셀들을 합산기(39)로 제공한다. 합산기(39)는 정적으로(staticly) 압축해제된 비디오 정보 및 모션 보상된 픽셀들을 수신하며, 압축해제된 픽셀들을 프레임 버퍼(40)에 제공하는바, 이후 프레임 버퍼는 상기 정보를 디스플레이(41)에 제공한다. 통상적인 비디오 인코더 및 디코더 디자인에서는, 블록-기반의 변환, 모션 보상, 양자화 및/또는 또 다른 손실이 많은(lossy) 처리 단계들로부터, 블록킹 아티팩트(blocking artifact)(블록들 간의 현저한 불연속들)가 프레임으로 유입될 수 있다. 블록킹 아티팩트들을 감소시키기 위한 종래의 시도들은, 블록들 사이의 경계들을 평활화함으로서 프레임들을 처리하는, 오버랩 평활화(overlap smoothing) 또는 디블록킹 필터링(deblocking filtering)(인-루프 프로세싱 또는 후 프로세싱 어느 것에서도)을 사용하였다. 예를 들어, WMV9 표준의 경우, 블록킹 아티팩트들을 감소시키기 위해, 오버랩 평활화 및 인 루프(in loop) 디블록킹이 전체 화면(whole picture) 상에서 프로세싱된다는 점이 규정되었다. WMV9 디코딩의 경우, 오버랩 평활화는 8×8 블록 경계들 상에서만 수행되는바, 전체 프레임에 대해 수직 방향으로 평활화가 시작되며, 이후 평활화는 전체 프레임에 대해 수평 방향으로 수행된다. 다음으로, 인루프 디블록킹은, 활성화되었을 때, 다음과 같은 순서로 수행된다. (ⅰ) 최상층 라인으로부터 시작하여 프레임내의 모든 8×8 블록의 수평 경계선들이 필터링되며; (ⅱ) 최상층 라인으로부터 시작하여 프레임내의 모든 8×4 서브 블록의 수평 경계선들이 필터링되며; (ⅲ) 가장 좌측의 라인으로부터 시작하여 모든 8×8 블록의 수직 경계선들이 필터링되며; (ⅳ) 가장 좌측의 라인으로부터 시작하여 모든 4×8 서브 블록의 수직 경계선들이 필터링된다. 종래의 방법들은 전체 프레임에 대해서 2개의 패스(pass)들을 사용하였는바, 제 1 패스는 오버랩 평활화를 수행하는 것이며, 제 2 단계는 인-루프(in-loop) 디블록킹을 위한 것이다. 개별적인 단계를 수행하느냐 마느냐를 결정할 때에 적용되는 또 다른 요구 사항들(예를 들면, 파라미터 PQUANT 및 블록 타입들과 관련된)이 있을 수도 있지만, 이러한 프로세스들의 목적은 16×16 매크로 블록, 8×8 블록들, 또는 4×4 서브 블록들의 가장자리(edge)들을 평활화하는 것이며, 따라서, 2차원 변환 및 양자화에 의한 아티팩트들(blockiness 등)이 제거된다. 비디오 압축해제를 처리하는 프로세서 기반의(processor-based) 접근법들의 경우, 평활화 또는 디블록킹 기능을 부가한다는 것은 계산량이 매우 과도한 필터링 프로세스이다. 이러한 종류의 프로세싱은, 프레임(예를 들면, 640×480 픽셀의 VGA 사이즈는 307 kByte에 상당한다)을 유지할 수 있는 매우 큰 메모리 버퍼가 존재할 때에, 소프트웨어 상에서 수행될 수 있다. 다른 한편으로, 디코딩을 위한 하드웨어 기반의 접근법들의 경우, 평활화 및 디블록킹이 동시에 수행되지 못했으며, 그리고 프레임 전체에 대해서 디블록킹이 수행되었는바, 이는 매우 큰 국부(local) 메모리를 필요로 하고, 상당한 정도의 버스 대역폭 요구들을 강요하며, 그리고 메모리 액세스 시간을 희생한다. 결과적으로, 압축해제 방법들에 관련된 프로세싱 요구들을 감소시켜야할 필요성 및 특히, 오버랩 평활화 및/또는 디블록킹 필터 동작들을 포함하는 압축해제 동작들을 향상시켜야할 필요성이 상당부분 존재한다. 첨부된 도면들 및 후속으로 상술될 상세한 설명을 참조하여 본 출원의 나머지 부분들을 검토한 이후에, 종래 시스템의 또 다른 단점들 및 제한 사항들은 해당 기술분야의 당업자에게 자명해질 것이다.