디블록킹 필터링 방법 및 장치 document_id A220623045162

본 발명은 영상의 디블록킹 필터링 방법 및 장치에 관한 것이고, 보다 상세히는 조명 변화 보상(illumination compensation)을 이용해 부호화된 블록을 포함하고 있는 영상을 디블록킹 필터링하는 방법 및 장치에 관한 것이다. MPEG-1, MPEG-2, MPEG-4 H.264/MPEG-4 AVC(Advanced Video Coding)과 같은 영상 압축 방식에서는 영상을 부호화하기 위해 하나의 픽처를 매크로 블록으로 나눈다. 그런 다음, 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해 각각의 매크로 블록을 부호화한다. 이들 영상 압축 방식은 매크로 블록 단위로 압축 부호화한후 복호화하므로 복원된 영상에는 블록킹 아티팩츠(blocking artifacts)가 발생한다. 일정한 크기의 블록에 대해서 이산 코사인 변환(discrete consine transform)을 수행하고 양자화 과정을 거치므로, 주변 블록들 또는 화소간의 상관 관계가 전혀 고려되지 않은채 독립적으로 변환과 양자화되면서 원본 영상의 손실이 발생하기 때문에 블록킹 아티팩츠가 발생하게 된다. 디블록킹 필터는 이러한 블록 단위의 코딩에서 발생하는 블록의 경계 오차를 부드럽게 해주어 최종적인 복원 영상의 품질을 향상시킨다. 도 1a 및 1b, 도 2를 참조하여 상세히 설명한다. 도 1a 및 1b는 종래 기술에 따른 영상의 부호화, 복호화 장치를 도시한다. H.264 표준안에 따라 인터 예측을 수행하여 영상을 부호화하는 장치 및 인터 예측된 영상을 복호화하는 장치를 도시한다. 도 1a을 참조하면, 움직임추정부(110)는 부호화하려는 현재 블록의 움직임 벡터를 프레임메모리(122)에 저장되어 있는 참조 픽처(들)을 참조하여 생성한다. 움직임보상부(112)는 움직임추정부(110)에서 생성된 움직임벡터에 기초하여 현재 블록의 예측값인 예측 블록을 생성한다. 생성된 예측 블록을 원본 현재 블록에서 감산하여 레지듀(residue)를 생성하고, 생성된 레지듀가 DCT및양자화부(114)에서 이산 코사인 변환되고, 양자화된다. 엔트로피부호부(116)은 양자화된 레지듀를 가변 길이 부호화한다. 부호화된 레지듀는 움직임 벡터와 함께 비트스트림에 삽입되어 전송된다. DCT및양자화부(114)에서 양자화된 레지듀는 다음에 부호화되는 픽처의 예측에 이용되기 위해 역양자화및역DCT부(118)에서 역양자화되고, 역이산 코사인 변환되어 복원된다. 복원된 레지듀는 예측 블록과 가산되어 프레임메모리(122)에 저장되는데, 프레임메모리(122)에 저장하기에 앞서 디블록킹부(120)에서 디블록킹 필터링된다. 복원된 레지듀와 예측 블록이 가산된 블록을 그대로 프레임메모리(122)에 저장하면, 전술한 블록킹 아티팩츠가 발생하므로, 디블록킹부(120)에서 디블록킹 필터링을 수행한후 프레임메모리(122)에 저장한다. 종래 기술에 따라 디블록킹 필터링을 수행하는 자세한 설명은 도 2를 참조하여 후술한다. 도 1b는 도 1a에 의해 인터 예측 부호화된 블록을 복호화하는 장치를 도시한다. 도 1b를 참조하면, 움직임보상부(128)는 비트스트림에 포함되어 있는 움직임 벡터에 대한 데이터에 기초하여 프레임메모리(132)에 저장되어 있는 참조 픽처를 검색하여 현재 블록의 예측 블록을 생성한다. 엔트로피복호화부(124)는 부호화된 레지듀를 수신하여 엔트로피복호화를 수행한다. 엔트로피복호화된 레지듀는 역양자화및역DCT부(126)에 의해 역양자화되고, 역이산 코사인 변환된다. 역이산 코사인 변환되어 복원된 레지듀는 움직임보상부(128)에서 생성된 예측 블록에 가산되어 부호화 이전의 블록으로 복원된다. 부호화의 경우와 마찬가지로 복원된 블록을 그대로 프레임메모리(132)에 저장하면, 전술한 블록킹 아티팩츠가 발생하므로, 디블록킹부(130)에서 디블록킹 필터링을 수행한 후 프레임메모리(122)에 저장한다. 도 2는 종래 기술에 따른 디블록킹 필터링을 수행하는 방법을 설명하기 위한 흐름도이다. 디블록킹부(120 또는 130)가 디플록킹 필터링을 수행하는 방법을 H.264 표준안에 따른 디블록킹 필터링을 예로 들어 설명한다. 도 2를 참조하면, 단계 201에서 디블록킹부(120 또는 130)는 디블록킹 필터링을 수행할 인접한 두 블록 p, q 중 적어도 하나가 인트라 부호화되었는지 판단한다. 단계 201에서 블록 p, q 중 적어도 하나가 인트라 부호화된 것으로 판단되면, 단계 202에서 디블록킹 필터링을 수행할 블록 p, q 가 매크로 블록 경계에 위치한 블록인지 판단한다. 블록 p, q 가 매크로 블록 경계에 위치한 블록이면, 단계 206에서 디블록킹 필터의 필터링 강도를 가장 센 Bs(Boundary strength)=4 로 설정하고 디블록킹 필터링을 수행한다. 디블록킹 필터링을 수행할 블록 p, q 가 매크로 블록 경계에 위치하지 않은 블록이면, 단계 207에서 필터링 강도를 Bs=3 로 설정하여 디블록킹 필터링을 수행한다. 단계 201에서 블록 p, q 가 모두 인트라 부호화되지 않은 블록인 것으로 판단되면, 단계 203에서 블록 p, q 중 적어도 하나가 직교 변환 계수 즉, 이산 코사인 변환 계수를 가지는지 판단한다. 블록 p, q 중 적어도 하나가 직교 변환 계수를 가지면 단계 208에서 필터링 강도를 Bs=2 로 설정하여 디블록킹 필터링을 수행하고, 블록 p, q 모두 직교 변환 계수를 가지지 않으면 단계 204로 넘어간다. 단계 203에서 블록 p, q 가 모두 직교 변환 계수를 가지지 않으면, 단계 204에서 블록 p, q 의 참조 프레임이 다르거나, 참조 프레임의 개수가 다른지 판단한다. 참조 프레임 또는 참조 프레임의 개수가 다르면, 단계 209에서 필터링 강도를 Bs=1 로 설정하여 디블록킹 필터링을 수행한다. 단계 204에서 블록 p, q 의 참조 프레임 및 참조 프레임의 개수가 모두 같은 것으로 판단되면, 단계 205에서 블록 p, q의 움직임 벡터에 차이가 있는지 판단한다. 움직임 벡터에 차이가 있는 것으로 판단되면 단계 209에서 필터링 강도를 Bs=1로 설정하여 디블록킹 필터링을 수행하고, 움직임 벡터에 차이가 없는 것으로 판단되면 단계 210에서 필터링 강도를 Bs=0으로 설정함으로써 디블록킹 필터링을 수행하지 아니한다. 단계 201 내지 210과 관련하여 설명한 바와 같이 종래 기술에 따른 디블록킹 필터링 방법은 인접한 두 블록 p, q가 조명 변화 보상을 이용해 부호화된 경우에 대해서는 고려하지 아니한다. 현재 블록의 평균값(DC value)이 조명 변화 보상을 이용해 부호화된 경우와 조명 변화 보상을 이용하지 않고 부호화된 경우에 차이가 발생하게 되며, 이로 인해 블록킹 아티팩츠가 발생함에도 불구하고 이러한 점을 고려하지 않는 것이다. 따라서, 조명 변화 보상을 이용해 부호화된 경우를 고려하여 디블록킹 필터링을 수행할 수 있는 방법 및 장치가 필요하다.