통신 시스템에서 은닉 프레임들을 발생시키는 방법 document_id A220623053372

현대 전기통신들은 신호의 디지털 전송에 근거한다. 예를 들어, 도1에서, 전송기(200)는 소스(100)로부터 소리(sound) 신호를 수집한다. 상기 소스는 한 명 이상의 사람들의 말소리의 결과 및 마이크에 의해 수집된 다른 음향파 소스(acoustic wave source)일 수 있거나, 또는 상기 소스는 문자음성변환기(text-to-speech synthesis) 또는 다이얼로그 시스템과 같은 소리 신호 발생 시스템 또는 소리 신호 저장부일 수 있다. 만약 상기 소스 신호가 아날로그라면, 상기 소스 신호는 아날로그-디지털 변환기에 의해 디지털 표현으로 변환된다. 상기 디지털 표현은 후속하여 인코딩(encoded)되고 디지털 채널(300)에 대해 적당한 포맷을 따라 패킷들 내에 배치된다. 상기 패킷들은 상기 디지털 채널을 통해 전송된다. 상기 디지털 채널은 전형적으로 다수의 추상화 계층들(multiple layers of abstraction)을 포함한다. 도1의 추상화 계층에서, 상기 디지털 채널은 일련의 패킷들을 입력으로서 취하고 일련의 패킷들을 출력으로서 전달한다. 채널에서의 과부하, 결점 및 노이즈에 의해 전형적으로 야기되는 채널의 저하로 인해, 상기 출력 패킷 시퀀스는 전형적으로 상기 패킷들 중 일부의 손실과 다른 패킷들에 대한 도착 시간 지연 및 지연 지터에 의해 오염된다. 더욱이, 전송기와 수신기의 클럭 차이는 클럭 스큐를 야기할 수 있다. 수신된 데이터 패킷들을 디코딩(decode)하고 그리고 상기 패킷 스트림으로부터 상기 디코딩된 디지털 표현들을 변환하여 이를 디지털 신호 표현들로 디코딩하고 또다시 이들 표현들을 상기 신호 싱크(500)에 대한 출력에 적당한 포맷의 디코딩된 소리신호로 변환하는 것이 수신기(400)의 업무이다. 이 신호 싱크는 예컨대 하나 이상의 확성기에 의해 디코딩된 소리 신호를 제시하는 하나 이상의 사람들일 수 있다. 대안적으로, 상기 신호 싱크는 음성 또는 오디오 저장 시스템 또는 음성 또는 오디오 다이얼로그 시스템 또는 익힐 수 있다. 상기 싱크에 제공될 수 있는 신호를 정확하게 재생하는 것이 수신기의 업무이다. 상기 싱크가 직간접적으로 인간 청취자들(human listener)을 포함한다면, 상기 수신기의 목적은 상기 인간 청취자들에게 제공될 때 상기 소스 또는 소스들로부터의 음향 신호의 정보 및 인간적으로 지각된 인상을 정확하게 재생하는 소리 신호의 표현을 획득하는 것이다. 손실, 지연, 지연 지터 및 클럭 스큐를 갖는 일련의 수신된 패킷들과 같은 채널 저하가 또한 존재하는 일반적인 경우에 이 업무를 안전하게 하기 위해, 효율적인 은닉이 상기 수신기 서브시스템의 일부로서 필수적이다. 예로서, 이 업무를 달성하기 위한 수신기 서브시스템의 가능한 일 실시예가 도2에 도시되어 있다. 상기 도면에 표시된 바와 같이, 들어오는 패킷들은 지터 버퍼(410) 내에 저장되며, 디코딩 및 은닉 유닛(420)은 상기 지터 버퍼(410)로부터 수신된 인코딩된 신호 표현들을 획득하여, 이들 인코딩된 신호 표현들을 디코딩하고 은닉하여 플레이아웃 버퍼(playout buffer)(430) 및 후속 플레이아웃에서 저장하기에 적합한 신호 표현들을 획득한다. 은닉을 언제 초기화하는지 및 은닉 신호의 길이와 같은 상기 은닉 파라미터들의 특정 제어가 예를 들어 제어 유닛(440)에 의해 수행될 수 있으며, 상기 제어 유닛(440)은 상기 지터 버퍼 및 플레이아웃 버퍼의 콘텐츠(contents)를 모니터하고 상기 디코딩 및 은닉 유닛(420)의 행동을 제어한다. 은닉은 또한 채널 서브시스템의 일부로서 달성될 수 있다. 도3은 채널 서브시스템의 일예를 도시하며, 상기 채널 서브시스템에서는 패킷들이 서브시스템(320)을 통해서 채널(310)로부터 채널(330)로 포워딩되며, 상기 서브시스템(320)은 추후에 중계기(relay)로 지칭된다. 실질적인 시스템에서, 상기 중계기 기능은 환경에 따라 다양한 명칭을 가질 수 있는 유닛들에 의해 달성될 수 있는바, 예컨대 다양한 종류의 라우터(router), 프록시 서버, 에지 서버(edge server), 네트워크 액세스 제어기, 무선 LAN 제어기(wireless local area network controller), VoIP(voice over IP) 게이트웨이, 미디어 게이트웨이, 무면허 네트워크 제어기, 및 다른 명칭을 가질 수 있다. 본 명세서에서 상기 모든 명칭들은 중계기 시스템들의 예시이다. 오디오 은닉을 할 수 있는 중계기 시스템의 일예가 도4에 도시되어 있다. 상기 도면에 도시된 바와 같이, 패킷들은 패킷 교환 서브시스템들(320 및 350)을 통해 입력 버퍼(310)로부터 출력 버퍼(360)로 포워딩된다. 제어 유닛(370)은 상기 입력 버퍼와 출력 버퍼를 모니터하며, 상기 모니터링의 결과로서 트랜스코딩(transcoding) 및 은닉이 필요한지에 관한 결정을 한다. 만약 필요하다면, 상기 스위치들은 패킷들이 상기 트랜스코딩 및 은닉 유닛(330)을 통하도록 한다. 만약 필요하지 않다면, 상기 스위치들은 상기 패킷들이 최소 프로토콜 실행 서브시스템(minimal protocol action subsystem)(340)을 통하도록 하며, 이는 패킷 헤더들에 대한 최소의 동작들이 적용된 프로토콜들에 순응하여 남아있도록 한다. 이는 상기 패킷들의 순서 번호 및 시간 스탬프(time-stamp)를 변경하는 단계들을 포함한다. 상기 설명들로 제한되는 것은 아니지만, 상기 설명들에 의해 예시된 시스템들을 사용하는 오디오 신호들의 전송에서, 소리 신호를 표시하는, 또는 부분적으로 표시하는 신호들에서 손실, 지연, 지연 지터, 및/또는 클록 스큐의 은닉이 필요하다. 이러한 은닉 업무를 해결하는 종래 기술들은 피치 반복 방법들 및 시간 스케일 수정 방법들로 분류된다. 종종 발진기 모델에서 구현되는 피치 반복 방법(pitch repetition method)은 보이스 음성(voiced speech)에서의 피치 주기(period)의 개산(estimate), 또는 대안적으로 상기 보이스 음성 신호의 상응하는 기본 주파수의 개산에 근거한다. 상기 피치 주기가 주어지면, 최종 피치 주기의 반복적인 판독(readout)에 의해 은닉 프레임이 획득된다. 상기 피치 주기의 각 반복 사이 그리고 상기 은닉 프레임의 시작 및 끝에서의 불연속성은 윈도우 오버랩 애드(windowed overlap-add) 절차에 의해 스무싱(smoothing)될 수 있다. 피치 반복 방법의 예를 위해서 특허 번호 WO 0148736호 및 국제전기통신연합(International Telecommunications Union) 제안 ITU-T G.711 부록 1을 보자. 종래 기술 시스템들은 선형 예측적 코딩 원리에 기반하여 피치 반복 기반 은닉을 디코더들과 통합한다. 이러한 시스템들에서, 상기 피치 반복은 장기간 예측자(long term predictor) 또는 적응 코드북 루프(adaptive codebook loop)로부터 판독에 의해 선형 예측적 여기 도메인에서 전형적으로 달성된다. 선형 예측적 여기 도메인에서의 피치 반복 기반 은닉의 예는 특허 번호 US 5699481, 국제전기통신 연합 제안 ITU-T G.729, 및 인터넷 엔지니어링 태스크 포스 리퀘스트포코멘츠(Internet Engineering Task Force Request For Comments) 3951에서 찾아볼 수 있다. 상기 방법들은 손실 또는 증가하는 지연, 즉 양의 지연 지터, 그리고 예컨대 클럭 스큐로 인한 입력 또는 지터 버퍼 언더플로(underflow) 또는 근사(near) 언더플로의 상황들을 은닉하는데 적용된다. 감소하는 지연, 음의 지연 지터, 또는 입력 또는 지터 버퍼 오버플로(overflow) 또는 근사 오버플로를 은닉하기 위해서, 단축된 은닉 신호의 생성이 필요하다. 피치 기반 방법들은 피치 주기와 이전의 피치 주기 사이에 오버랩 애드 절차에 의해 이를 달성한다. 이 방법의 예는 특허 번호 WO0148736에서 찾아볼 수 있다. 다시 이는 선형 예측적 디코더들에 존재하는 편의점들을 이용하면서 달성될 수 있다. 예로서, 특허번호 US 5699481은 재생 신호에서의 피치 주기성을 보장하도록 적응 코드북의 상태에 의존하여, 상기 재생 신호로부터 고정 코드북 기여 벡터들이 단순히 폐기되는 방법을 개시한다. 피치 반복 방법들과 관련하여 하나의 목적은 상기 은닉 프레임으로부터 후속 프레임으로의 끊김 없는(seamless) 신호 연속성이다. 특허 번호 WO 0148736은 이 목적을 달성하는 방법을 개시한다. 상기 WO 0148736에 개시된 발명에 의해, 상기 목적은 시변(time varying) 및 가능하게 신호 의존 길이의 은닉 프레임들에 의해 달성된다. 이는 효과적으로 지연 지터 및 클럭 스큐의 은닉과 관련하여 끊김없는 신호 연속성을 보장할 수 있는 반면, 상기 솔루션은 도4에 도시된 유형의 시스템과 관련하여 결함을 발생시킨다: 이러한 유형의 은닉을 따르면, 상기 최소 프로토콜 실행(340)을 통해 바람직하게 중계되는 이전에 이미 인코딩된 프레임들에 끊김없이 연결되는, 은닉의 고정된 기설정 길이의 프레임들로의 인코딩은 보장될 수 없다. 손실 및 갑자기 증가하는 지연의 은닉을 위한 피치 반복 기반 방법들에서의 정기적으로 발생하는 문제는 피치 사이클들의 반복이 상기 재생 신호 소리를 부자연스럽게 만든다는 것이다. 더욱 구체적으로, 이 오디오 신호는 너무 주기적으로 된다. 최악의 경우에, 재생 소리 신호에서 소위 실소리(string sound)가 인식된다. 이러한 문제를 경감하기 위해, 종래 기술에는 다양한 방법들이 존재한다. 이들 방법들은 개산된 피치 주기의 두배 또는 세배인 반복 주기를 사용하는 것을 포함한다. 일예로서, 인터넷 엔지니어링 테스크 포스 리퀘스트포코멘츠 3951은 만약 개산된 피치 주기가 10ms 이하라면 상기 개산된 피치 주기의 2배를 사용하는 방법을 개시한다. 다른 예로서, 국제 전기통신 연합 제안 ITU-T G.711 부록 1은 단일 피치 주기를 반복하기보다는 2 및 이후에 3 피치 사이클들을 반복하기 위해 상기 반복 주기의 2배증(doubling) 및 이후에 3배증(tripling)을 도입하는 방법을 개시한다. 이 방법에 대한 구체적인 설명을 위해 국제 전기통신 연합 제안 ITU-T G.711 부록 1을 참조하라. 더욱이, 은닉 신호를 음성의 보이스 레벨에 의존하는 레벨을 갖는 램던 또는 랜덤 유사 신호(random or random like signal) 성분과 혼합하는 것, 그리고 상기 은닉 신호의 점진적인 감쇄(gradual attenuation)가 실소리를 경감하기 위해 전형적으로 도입된다. 때때로, 상기 랜덤 유사 신호는 버퍼링된 신호에 대한 작용들에 의해 또는 이미 디코더에서 이용가능한 랜덤 코드북들과 같은 기능들의 사용에 의해 야기된다. 이러한 특성들을 사용하는 예에 대해서는 특허 번호 US 5699481호, 국제 전기통신 연합 제안 ITU-T G.729, 및 인터넷 엔지니어링 태스크 포스 리퀘스트포코멘츠 3951를 참조하자. 또한, 유도된 아티팩트(artefacts)를 억압하기 위해 점진적인 감쇄가 사용된다. 이에 반하여, 소정의 근본적인 은닉 방법에서, 이는 근단 청취자(near end listener)에 의해 해석될 때 최선의 선택일 수 있다. 에코 귀환 및이 에코를 소거하기 위한 적응 필터를 가진 시나리오에서, 원단 청취자(far end listner)는 이 감쇄 효과를 지배적으로 부정적으로 해석할 것이다. 이는 상기 감쇄는 상기 적응 에코 소거기의 여기의 존속을 감소시키기 때문이다. 이에 의해, 실제 에코 경로로의 이의 트랙킹(tracking)은 저하되고, 그리고 상기 원단 청취자는 더 큰 에코 귀환을 경험할 수 있다. 2003년 12월, IEEE 멀티미디어상의 트랜잭션, 5권, 532-543 페이지, 리나그(Linag), 파베(Farber) 및 지로드(Girod)의 "Adaptive Playout Scheduling and Loss Concealment for Voice Communication over IP Networks"에 개시된 유형의 타임스케일 수정 방법들은 매칭된(matched) 스무스 오버랩애드 절차를 통해 기능한다. 이러한 절차에서, 신호 세그먼트는 버퍼링되지만 아직 플레이 안된 신호는 스무스하게 윈도우되고 템플릿(template) 세그먼트로 식별되고, 후속적으로 다른 스무스하게 윈도우된 세크먼트들이 유사한 세크먼트를 식별하기 위해 검색되며, 여기서 유사성은 예컨대 코릴레이션(correlation) 측정에 있을 수 있다. 상기 스무스하게 윈도우된 템플릿 세그먼트와 상기 스무스하게 윈도우된 유사한 세그먼트는 후속적으로 오버랩되고 애드되어 타임스케일 수정된 신호를 생산한다. 상기 플레이아웃 타임 스케일이 확장되면, 상기 유사한 세크먼트에 대한 검색 영역은 샘플 시간에서 상기 템플릿 세그먼트 전에 위치한다. 반대로, 상기 플레이아웃 타임 스케일이 압축되면, 상기 유사한 세그먼트에 대한 검색 영역은 샘플 시간에서 상기 템플릿 세그먼트의 앞쪽에 위치된다. 공지된 타임스케일 수정 방법들에서, 상기 템플릿 및 유사한 세그먼트의 길이 및 이들에 적용되는 윈도우들은 타임스케일 수정의 실행 전에 미리 정의되며, 이들 양들은 타임 스케일 수정이 적용되는 특정 신호의 특성들에 응답하여 적응되지 않는다. 2003년 12얼, IEEE 멀티미디어상의 트랜잭션, 5권, 532-543 페이지, 리나그(Linag), 파베(Farber) 및 지로드(Girod)의 "Adaptive Playout Scheduling and Loss Concealment for Voice Communication over IP Networks"에서 제시되는 바와 같이: 종래 타임 스케일 수정에서, 패킷 네트워크들을 통한 실시간 양방향 보이스 통신에서 필요한 바와 같은 낮은 지연 플레이아웃 스케쥴링에서 스파이크 지연(spike delay)이 시작 포인트로부터 효과적으로 경감될 수 없다. 타임 스케일 수정 및 피치 반복 방법들에 유사한 점들을 갖는 다른 방법들이 공지되어 있다. 이러한 관계에 있어서 언급되어야만 하는 하나의 유형은 사인형태 기반 은닉 방법들이다. 예컨대, 2002년 음성 코딩(speech coding)에 관한 워크숍, IEEE 회보 71-73페이지, 로드브로(Rodbro) 및 젠센(Jensen)의 "Time-scaling of Sinusoids for Intelligent Jitter Buffer in Packet Based Telephony"를 참조하자. 보간(interpolation)의 양에 따라, 각각의 피치 반복은 이들 방법에 의해 사인형 모델 도메인을 통해 달성되며, 이들 방법들은 전술한 피치 반복 및 타임스케일 수정 방법들에 대해 식별된 동일한 제약사항의 영향을 받는다.