비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 ＳＥＩ 메시지 삽입 document_id A220623052087

필름 그레인 관리방식 FGM: Film Grain Management, 또한 필름 그레인 기술, 즉 FGT(Film Grain Technology)으로 명칭됨은 비디오 디코더에 의한 사용을 위해 병렬 정보로서 전송될 파라메터화된 모델에 의해 영화 필름으로 그레인을 인코딩하는 것을 허용하는 새로운 툴로서 제시되었다. FGM을 지원하기 위해, ITU-T Rec. H.264 ｜ ISO/IEC 14496-10 ｜ MPEG-4 AVC ｜ JVT(Joint Video Team) 표준(이후 "H.264 표준"임)에 대한 FRExt(Fidelity Range Extension) 개정안은 필름 그레인 SEI(Supplemental Enhancement Information) 메시지를 정의하고 있다. 이 SEI 메시지는 크기 및 세기와 같은 속성에 관한 필름 그레인 특성을 기술하고, 비디오 디코더가 필름 그레인 룩(film grain look)을 디코딩된 화상으로 시뮬레이션하는 것을 허용한다. H.264 표준은 어떤 파라메터가 필름 그레인 SEI 메시지에 존재하는 지를 지정하고, 파라메터를 어떻게 해석하는지 및 2진수 포맷으로 SEI 메시지를 인코딩하기 위한 문법을 지정한다. 그러나, H.264 표준은 비디오 디코더에 의해 필름 그레인 SEI 메시지를 수신하는 경우, 필름 그레인을 시뮬레이션하기 위해 정확한 절차를 지정하지는 않는다. FGM은 임의의 다른 비디오 코딩 방법과 결합하여 사용될 수 있으며, 이는 FGM이 디코딩 과정에 영향을 미치지 않는 인코더로부터 전송된, 병렬 정보를 이용하기 때문임을 이해해야할 것이다. FGM에 있어서, 인코더는 비디오 시퀀스의 필름 그레인을 모델링하고, 디코더는 수신된 정보에 따라 필름 그레인을 시뮬레이션한다. 필름 그레인을 유지하기에 어려움이 있는 경우, 인코더는 압축된 비디오의 품질을 향상시키기 위해 FGM을 사용할 수 있다. 추가적으로, 인코더는 인코딩에 앞서 필름 그레인을 제거 또는 감소시키는 것에 대한 옵션을 가지게 되므로 비트율을 감소시킬 수 있다. 필름 그레인 시뮬레이션은 원래 필름 컨텐츠의 룩(look)을 시뮬레이션하는 필름 그레인 샘플의 합성에 목적이 있다. 전체적으로 인코더에서 실행되는 필름 그레인 모델링과 달리, 필름 그레인 시뮬레이션은 디코더에서 실행된다. 필름 그레인 시뮬레이션은 디스플레이에 앞서 비디오 스트림을 디코딩한 후 이루어진다. 추가된 필름 그레인을 가지는 이미지는 디코딩 과정 내에서 사용되지 않는다. 사후-처리방식이 되므로, 디스플레이 과정을 위한 디코딩된 이미지에 관한 시뮬레이션된 필름 그레인의 합성은 H.264 표준에서 지정되지 않는다. 필름 그레인 시뮬레이션 처리과정은 위에서 언급된 H.264 표준의 FRExt(Fidelity Range Extension) 개정안에 의해 지정된 필름 그레인 SEI 메시지로 전송된 필름 그레인 보조 정보의 디코딩 과정을 포함한다. 필름 그레인 시뮬레이션에 대한 이전에 공개된 종래 기술의 접근법에 있어서, 사양서의 세트가 보통 플레이백 동안 비트까지 정확한 필름 그레인 시뮬레이션을 허용하도록 공개된다. 트릭 모드 플레이(예를 들면, 고속전진, 역 플레이백, 챕터로의 점프, 기타 등등)를 가지는 비트-정확도(bit-accuracy)를 지원하기 위해, 이러한 첫 번째 종래 기술의 접근 방식에 대한 추가사항(이후, 이 추가사항은 두 번째 종래 기술의 접근 방식으로 명칭됨)이 개발되었다. 필름 그레인 시뮬레이션에 대한 두 번째 종래 기술에 있어서, 비트-정확도는 I 프레임에만 선행하는 필름 그레인 SEI 메시지를 전송하고, 전송된 필름 그레인 SEI 메시지를 디코딩 순서로 강제 적용시킴으로써, 달성된다. 두 번째 종래 기술의 접근 방식은 필름 그레인 SEI 메시지의 전송으로 인해 비디오 비트-스트림에서 최소 오버헤드로, 트릭 모드 플레이뿐만 아니라 보통 플레이백에서의 모든 프레임에 대한 일관성있는 필름 그레인 시뮬레이션을 보장한다. 그러나, H.264 표준은 SEI 메시지가 디스플레이 순서로 인가되는 것을 지정하므로(두 번째의 종래 기술 접근방식에서 지정된 디코딩 순서와 비교됨), 두 번째의 종래 기술 접근방식에서 제안된 해결책은 H.264 표준과 순응하지 않는다. 이러한 사실이 인식된 시각적 품질에 영향을 미치지 않으면서, 이는 H.264 표준에 대한 순응성이 요구되는 이들 포럼의 두 번째 종래 기술 방식에서 공개된 사양서의 사용을 예방할 수 있을 것이다. 도 1을 참조하면, 보통 플레이백(playback)에서의 필름 그레인 시뮬레이션은 참조번호 100에 의해 일반적으로 표시된다. 특히, 도 1은 두 번째 종래 기술 접근방식에 따른 디코딩 순서(110)에서의 필름 그레인 시뮬레이션과 H.264 표준에 따른 디스플레이 순서(120)의 필름 그레인 시뮬레이션 사이의 차이점을 보여준다. 이러한 예에서, 필름 그레인 SEI 메시지는 각 I 화상을 선행하여 전송된다. 굵은 글씨체는 필름 그레인 SEI가 삽입된 화상을 나타낸다. 도 1의 디코딩 순서에서, 화상(I2)으로 전송된 필름 그레인 SEI 메시지는 화상(B10)이 도달(포함)될 때까지, 모든 다음 화상에서 사용된다. 화상 위(디코딩 순서) 또는 아래(디스플레이 순서) 수평선은 화상으로 사용된 필름 그레인 파라메터(FGn)를 나타낸다; 즉, 예를 들면, 도 1에서, 디스플레이 순서, 필름 그레인 파라메터(FG1)는 두 번째 B1 화상(포함)때까지 첫 번째 I2 화상으로부터 사용된다. 만일 SEI 메시지가 디코딩 순서에서 I 화상 이후의 모든 프레임에 적용되는 것으로 가정된다면, 두 번째 종래 기술의 접근방식으로 지정된 바와 같이, I2로 전송된 필름 그레인 SEI 메시지는 프레임(B0)과 프레임(B1)에 적용될 것이다. 그러나, 만일 SEI 메시지가 디스플레이 순서에서 I 화상 이후의 모든 프레임에 적용되는 것으로 가정된다면, H.264 표준으로 지정된 바와 같이, 프레임(B0)과 프레임(B1)은 이전 I 화상의 필름 그레인 SEI 메시지에 의해 영향을 받을 것이다. 따라서, 비트까지 정확한 방식과 H.264 표준에 순응하여, 비디오 시스템에서 필름 그레인 SEI 메시지를 삽입하는 방법을 가지는 것이 바람직하고, 매우 유리할 수 있을 것이다.