패킷 손실 복구를 개선하기 위한 프레임 캐싱의 이용 document_id A220517010402

저작권 승인 본 발명 문서의 개시의 일부는 저작권 보호를 받는 내용을 포함한다. 저작권 소유자는 특허 및 상표청 특허 파일 또는 기록에서 나타나는 바와 같이, 특허의 개시중 어느 하나에 의한 팩시밀리 재생에 대하여는 반대가 없지만, 그 이외에는 모든 저작권은 보유한다. 본 발명은 일반적으로 비디오, 이미지 및 다른 디지털 미디어 컨텐츠에 대한 디지털 인코딩, 디코딩 및 프로세싱을 위한 기술에 관한 것이다. 본 발명은 특히 프레임 캐싱(frame caching)에 의하여 패킷 손실 복구를 개선하는 것에 관한 것이다. 디지털 비디오는 많은 양의 저장 및 송신 용량을 소모한다. 전형적인 미가공(raw) 디지털 비디오 시퀀스는 초당 15 또는 30 프레임을 포함한다. 각각의 프레임은 수만 또는 수십만의 픽셀(펠(pels)로도 호칭함)을 포함할 수 있다. 각각의 픽셀은 픽쳐의 작은 요소를 나타낸다. 미가공 형태에서, 컴퓨터는 통상적으로 전체 24비트인 세 개의 샘플들의 한 세트로서 하나의 픽셀을 나타낸다. 예를 들면, 하나의 픽셀은 픽셀의 그레이 스케일 성분을 정의하는 하나의 8 비트 루미넌스(luminance) 샘플(루마(luma) 샘플로도 호칭함) 및 픽셀의 컬러 성분을 정의하는 두개의 8 비트 크로미넌스(chrominance) 샘플 값들(크로마(chroma) 샘플로도 호칭함)을 포함할 수 있다. 따라서, 전형적인 미가공 디지털 비디오 시퀀스의 초당 비트수, 또는 비트레이트(bitrate)는 초당 5백만 비트 또는 그 이상일 수 있다. 많은 컴퓨터들 및 컴퓨터 네트워크들은 미가공 디지털 비디오를 프로세스하기 위한 리소스들이 부족하다. 이러한 이유로, 엔지니어들은 디지털 비디오의 비트레이트를 감소하기 위하여 압축(코딩 또는 인코딩으로도 호칭함)을 이용한다. 압축은 비디오를 더 낮은 비트레이트 형태로 변환함으로써 비디오를 저장하고 송신하는 비용을 감소시킨다. 압축해제(decompression)(디코딩으로도 호칭함)는 압축된 형태로부터 오리지날 비디오의 버전을 재구성한다. "코덱"은 인코더/디코더 시스템이다. 압축은 무손실일 수 있으며, 이 경우 비디오의 품질은 손상되지 않지만, 비트레이트의 감소는 비디오 데이터의 변화도(variability)의 고유의 양(엔트로피로도 호칭함)에 의하여 제한된다. 또는, 압축은 손실이 있을 수 있으며, 이 경우 비디오의 품질은 손상되지만, 비트레이트의 달성 가능한 감소는 더욱 극적이다. 손실이 있는(lossy) 압축은 종종 무손실 압축과 함께 이용된다 - 손실 있는 압축이 정보의 근사화를 구축하고 무손실 압축 기술들은 상기 근사화를 나타내기 위하여 적용되는 시스템 설계에서. 일반적으로, 비디오 압축 기술은 "인트라픽쳐(intrapicture)" 압축 및 "인터픽쳐(interpicture)" 압축을 포함하며, 이 경우 하나의 픽쳐는 예를 들면, 순차 스캐닝된 비디오 프레임, 인터레이스된 비디오 프레임(비디오 필드들에 대하여 교호하는(alternating) 라인을 가짐), 또는 인터레이스된 비디오 필드이다. 일반적으로, 비디오 시퀀스들은 주어진 하나의 프레임 내에, 그리고 시퀀셜 프레임들 사이에 상당한 양의 리던던시를 포함한다. 예를 들면, 인간의 눈은 일반적으로는 연속적인 비디오 프레임들에서 다른 유사한 배경들에서의 근소한 차이들을 알지 못한다. 압축은 송신되는 비트스트림 내의 리던던트 자료(redundant material)의 특정한 부분을 제거하고, 그 후 그들을 픽쳐가 압축해제되는 경우에 다시 수신단에서 부가함으로써 이 리던던시들을 이용한다. 비디오 프레임들로부터 추출되는 두개의 공통 리던던시들은 공간적 및 시간적이다. 공간적 리던던시들은 단일의 프레임 내에서 인접하는 픽셀들 사이에서 발생한다. 인트라프레임, 또는 I-프레임으로 알려진, 공간적 리던던시들을 이용하여 압축되는 프레임들은 프레임 자체 내에서 이미지를 재구성하는데 필요한 정보를 모두 포함한다 - 그들은 자기포함된다(self-contained). P-프레임 및 B-프레임과 같은, 시간적(temporal) 리던던시들을 이용하는 프레임들은 다른 프레임들로부터의 정보가 디코드되는 것을 요구한다. P-프레임들(예측 인코드된 프레임들)은 인코드되며, 이전의 I- 및/또는 P-프레임들로부터의 정보를 이용하여 디코드되어야 한다. B-프레임들(양방향으로 예측 인코드된 프레임들)은 이전의 및 후속하는 I- 및 P- 프레임들 모두로부터의 정보를 이용하여 인코드된다. 모션 추정(motion estimation)은 기준 프레임으로서 알려진 이전에 인코드된 이미지로부터 생성된 모션 예측 이미지와 함께 고유의 성분(matter)을 인코딩함으로써 계속되는 비디오 프레임들(인터프레임들)에서 시간적 리던던시를 제거한다. 기준 프레임이 손실되면, 그 다음의 예측 프레임들이 해독될 수 없다 - 송신 에러는 계속되는 프레임들로 전파함. 연속하는(progressive) 프레임들의 경우, 인트라픽쳐 압축 기술들은 개별 프레임들(통상적으로 I-프레임 또는 키 프레임으로 호칭함)을 압축하고, 인터픽쳐 압축 기술들은 이전의 및/또는 다음의 프레임들(통상적으로 기준 또는 앵커 프레임들로 호칭함)에 대하여 프레임들(통상적으로 예측 프레임, P-프레임, 또는 B-프레임으로 호칭함)을 압축한다. I-프레임(자기 포함됨) 및 P-프레임(일반적으로 이전 프레임을 의미함)은 스스로 기준 프레임이 될 수 있는 한편, 이전 및 다음의 프레임들 모두를 의미하는 B-프레임들은 통상적으로는 스스로 기준으로서 이용될 수 없다. 결과적인 비디오가 디스플레이되기 전에 데이터가 압축해제되는 경우, 디코더는 통상적으로 압축 동작의 역(inverse)을 수행한다. 예를 들면, 디코더는 데이터를 압축해제하는 동안 엔트로피 디코딩(entropy decoding), 역양자화(inverse quantization), 및 역변환을 수행할 수 있다. 모션 보상이 이용되는 경우, 디코더(및 인코더)는 하나 이상의 이전에 재구성된 프레임들(이제는 기준 프레임들로서 이용됨)로부터 하나의 프레임을 재구성하고, 상기 새로 재구성된 프레임은 그 후 후속하는 프레임들에 대한 모션 보상을 위한 기준 프레임으로서 이용될 수 있다. 네트워크를 통하여 송신된 패킷들은 손실이 있는 경향이 있다 - 패킷들이 드롭됨. 이러한 손실은 랜덤 및 예측불가로 발생한다. 더욱이, 비디오 압축 스트림 데이터는 지연에 매우 민감하며, 패킷들은 그들이 송신된 것과 동일한 순서로 리어셈블될 필요가 있으므로, 너무 많이 지연된 패킷들은 급변하는(jumpy), 인터럽트된 신호를 야기시킨다. 송신 지연 문제는 또한 새로운 I-프레임을 재송신하는 경우에 발생할 수 있으며, 새로운 프레임은 손실된 기준 프레임을 손상시킨 동일한 문제들 모두에 대하여 민감하다. 더욱이, 손실이 많은 코딩 스킴에서, 압축은 저장 및 송신을 위한 타겟 비트레이트(bit-rate)를 만족하도록 설계된다. 높은 압축은 재구성된 이미지의 품질을 저하시킴으로써 성취된다. 따라서, 드롭된 또는 지연된 패킷들에 의하여 야기된 임의의 여분의 손실은 허용 가능한 레이트보다 낮게 이미지를 저하시킬 수 있다. 패킷 손실에 대처하는 능력은 실시간 비디오 코덱(RTC)이 잡음성 네트워크-손실에 민감함-에서 잘 동작하는데 중요하다. 기존의 비디오 코덱의 대부분은 기준 프레임이 손실되는 경우 새로운 I-프레임을 요청함으로써 패킷 손실에 대처한다. 다른 것들은 슬라이스 기반(slice-based) 코딩을 이용하며, 이것은 시그널링 오버헤드(signaling overhead)를 더한다. 도 1은 새로운 I-프레임 요청에 의한 전통적인 패킷 손실 복구를 도시한다. 이 종래의 방법에서, I-프레임(104)은 디코더(102)에서 수신된다. 그 후 그것은 후속하는 종속 P-프레임(106)을 해석/재구성하는데 이용된다. 충분한 패킷들이 부적절하게 수신되거나 손실되므로, 다음의 종속 프레임, P-프레임(108)은 손상된다. 후속하는 P-프레임(110) 및 임의의 후속하는 프레임은 더 이상 재구성될 수 없다. 목적지(destination) 노드에서(여기에서는 디코더(102)에 의하여 표시됨) I-프레임 요청이 생성되며 소스 노드(여기에서는 인코더(114)에 의하여 표시됨)에 송신된다. 각각의 후속하는 P-프레임 또는 B-프레임은 새로운 I-프레임(112)이 수신될 때까지 재구성될 수 없다. 소스 노드(114)가 요청을 수신하면, 새로운 I-프레임(112)을 어셈블하며 그것을 통신 채널을 이용하여 목적지 노드(102)에 송신한다. 새로운 I-프레임(112)을 수신한 후 목적 채널은 후속하는 P-프레임들을 성공적으로 디코드할 수 있다. 그러나, 이것은 초기 요청을 송신하는데 필요한 시간, 더하기 I-프레임을 인코드하는 시간, 더하기 I-프레임을 목적지 노드(102)에 송신하는 시간에 해당하는 지연(116)을 야기시킨다. 더욱이, 송신기와 수신기는 물리적으로 매우 먼 거리만큼 이격될 수 있으며, 롱 트립은 비디오의 품질의 대응하는 저하를 갖는 상당한 래그 시간(lag-time)을 생성한다. 다른 종래의 방법에서는, I-프레임(104, 112)은 규칙적인 간격으로 송신된다. 손상(corruption) 또는 지연으로 인하여 I-프레임(112)이 손실되는 경우, 디코더는 다음의 I-프레임이 수신될 때까지 대기하며, 후속하는 P-프레임(110, 108, 106)을 부정확하게 디코딩한다. 따라서, 손실이 있는 패킷 기반의 네트워크를 통하여 압축된 비디오를 송신하기 위한 향상된 방법 및 시스템에 대한 필요가 존재한다.