마이크로폰 신호를 기반으로 공간 큐의 세트를 제공하는 장치, 방법 및 컴퓨터 프로그램과, 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치 document_id 1020137006597

[청구항 1] 2채널 마이크로폰 신호를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐의 세트를 제공하는 장치에 있어서, 상기 2채널 마이크로폰 신호를 기반으로 성분 에너지 정보 및 방향 정보를 추출하여, 상기 성분 에너지 정보의 제1 파라미터는 상기 2채널 마이크로폰 신호의 직접 사운드 성분의 에너지의 추정을 나타내고 상기 성분 에너지 정보의 제2 파라미터는 상기 2채널 마이크로폰 신호의 확산 사운드 성분의 에너지의 추정을 나타내고, 상기 방향 정보의 파라미터는 상기 2채널 마이크로폰 신호의 직접 사운드 성분이 발신하는 방향의 추정을 나타내도록 구성되는 신호 분석기; 및 상기 2채널 마이크로폰 신호의 상기 성분 에너지 정보의 상기 파라미터 및 상기 2채널 마이크로폰 신호의 상기 방향 정보의 파라미터를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 공간 큐 정보에 맵하도록 구성되는 공간 보조 정보 생성기를 포함하며, 상기 공간 보조 정보 생성기는 상기 직접 사운드 성분 및 상기 확산 사운드 성분의 에너지의 추정과 상기 방향 정보를 공간 큐 정보에 맵하도록 구성되는 것을 특징으로 하는 공간 큐의 세트를 제공하는 장치 [청구항 2] 청구항 1에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 방향 정보 (a,α)를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 상기 공간 큐 정보에 직접 맵하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 3] 청구항 1에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 상기 방향 정보 (a,α)를, 중간 수량으로서 실제 상기 업믹스 오디오 채널을 이용하지 않고, 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 상기 공간 큐 정보 (icldll, icclls, icldrrs, icld1, icld2)에 맵하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 4] 청구항 1에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 방향 정보 (a,α)를 방향 의존 직접 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 이득 계수(g1, g2, g3, g4, g5)의 세트로 맵하도록 구성되고; 및상기 공간 보조 정보 생성기는 또한 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 이득 계수 (g1, g2, g3, g4, g5)를 기반으로 2 이상의 서라운드 채널 (l,r,c,ls,rs)의 추정된 강도를 나타내는 채널 강도 추정 (pl, pr, pc, pls, prs)을 획득하도록 구성되며; 및상기 공간 보조 정보 생성기는 상기 채널 강도 추정 (pl, pr, pc, pls, prs)을 기반으로 상기 업믹스 오디오 신호와 관련된 상기 공간 큐 (icldlls, icclls, icldrrs, icld1, icld2)를 결정하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 5] 청구항 4에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 또한 상기 성분 에너지 정보 (e{ss*}, e{nn*}) 및 상기 이득 계수 (g1, g2, g4, g5)를 기반으로 상기 업믹스 신호의 서로 다른 채널 (l,ls,r,rs) 간의 상관을 나타내는 채널 상관 정보 (plls, prrs)를 획득하도록 구성되며; 및상기 공간 보조 정보 생성기는 또한 상기 채널 강도 추정 (pl, pls, pr, prs) 및 상기 채널 상관 정보 (plls, prrs) 중 하나 이상을 기반으로 상기 업믹스 신호와 관련된 공간 큐 (icclls, iccrrs)를 결정하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 6] 청구항 4에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는 상기 채널 강도 추정 (pl, pr, pc, pls, prs)을 획득하기 위해 상기 2 채널 마이크로폰 신호 (x1(t), x2(t))의 직접 사운드 성분 (s)의 강도의 추정 (e{ss*}) 및 상기 2 채널 마이크로폰 신호의 확산 사운드 성분 (n)의 강도의 추정(e{nn*})을 선형적으로 조합하도록 구성되며, 및상기 공간 보조 정보 생성기는 상기 이득 계수 (g1,..., g5) 및 상기 방향 정보 (a,α)에 따라 상기 직접 사운드 성분의 강도의 추정 (e{ss*})을 웨이트하도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 7] 청구항 4에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는, 에 따라 상기 업믹스 오디오 신호의 좌측 프론트 서라운드 채널의 추정된 전력 스펙트럼 값 (pl)을 획득하고,에 따라 상기 업믹스 오디오 신호의 우측 프론트 서라운드 채널의 추정된 전력 스펙트럼 값 (pr)을 획득하며,에 따라 상기 업믹스 오디오 신호의 중심 서라운드 채널의 추정된 전력 스펙트럼 값 (pc)을 획득하며,에 따라 상기 업믹스 오디오 신호의 좌측 리어 서라운드 채널의 추정된 전력 스펙트럼 값 (pls)을 획득하며,에 따라 상기 업믹스 오디오 신호의 우측 리어 서라운드 채널의 추정된 전력 스펙트럼 값 (prs)을 획득하도록 구성되고, 및상기 공간 보조 정보 생성기는 또한 상기 추정된 전력 스펙트럼 값을 이용하여 다수의 서로 다른 채널간 레벨차 (icldlls, icldrrs, icld1, icld2)를 계산하도록 구성되며, g1, g2, g3, g4, g5은 방향 의존 직접 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 이득 계수이며,f(a)는 방향 의존 진폭 보정 계수이며,e{ss*}는 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 직접 사운드 성분 (s)의 에너지의 추정을 나타내는 성분 에너지 정보이며;e{nn*}는 상기 2채널 마이크로폰 신호 (x1(t), x2(t))의 확산 사운드 성분 (n)의 에너지의 추정을 나타내는 성분 에너지 정보이며; 및h1, h2, h3, h4, h5는 확산 사운드 대 서라운드 오디오 채널 맵핑을 나타내는 확산 사운드 분포 계수인 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 8] 청구항 4에 있어서,상기 공간 보조 정보 생성기(140; 1216; 1312; 1410; 1510)는, 에 따라 상기 업믹스 오디오 신호의 좌측 프론트 서라운드 채널 및 우측 리어 서라운드 채널 간의 추정된 상호 상관 스펙트럼 값 (plls)을 획득하고,에 따라 우측 프론트 서라운드 채널 및 우측 리어 서라운드 채널 간의 추정된 상호 상관 스펙트럼 값 (prrs)을 획득하며,채널간 코히어런스 큐 (icclls, iccrrs)를 획득하도록 상기 업믹스 오디오 신호의 서라운드 채널의 추정된 전력 스펙트럼 값 (pl, pls, pr, prs)과 상기 추정된 상호 상관 스펙트럼 값을 조합하도록 구성되며, g1, g2, g4, g5은 방향 의존 직접 사운드 전력 서라운드 오디오 채널 맵핑을 나타내는 이득 계수이며,f(a)는 방향 의존 진폭 보정 계수이며,e{ss*}는 상기 2채널 마이크로폰 신호 (x1, x2)의 직접 사운드 성분 (s)의 에너지의 추정을 나타내는 성분 에너지 정보이며;e{nn*}는 상기 2채널 마이크로폰 신호 (x1, x2)의 확산 사운드 성분 (n)의 에너지의 추정을 나타내는 성분 에너지 정보인 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 9] 청구항 1에 있어서,상기 신호 분석기(130; 1212; 1312; 1410; 1510)는,상기 확산 사운드 성분 (n)의 에너지 (e{nn*})가 상기 제 1 채널 마이크로폰 신호 (x1) 및 상기 제 2 채널 마이크로폰 신호 (x2)에서 동일하고,상기 제 1 마이크로폰 신호 (x1) 및 상기 제 2 마이크로폰 신호 (x2)에서의 상기 직접 사운드 성분 (s)의 에너지(e{ss*}, a2 e{ss*})의 비가 방향 의존적이며, 및상기 제 1 마이크로폰 신호 (x1) 및 상기 제 2 마이크로폰 신호 (x2)에서의 상기 확산 사운드 성분 (n1,n2) 간의 정규 상호 상관 계수 (φ)가 1보다 작은 상수 값을 취하고, 상수 값은 상기 제 1 마이크로폰 신호 (x1) 및 상기 제 2 마이크로폰 신호 (x2)를 제공하는 마이크로폰의 지향성 특성에 의존한다는 가정을 고려하여,(1) 상기 2채널 마이크로폰 신호의 제 1 채널 마이크로폰 신호 (x1)의 추정된 에너지 (e{x1x1*}), 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)의 추정된 에너지 (e{ss*}), 및 상기 2채널 마이크로폰 신호의 상기 확산 사운드 성분 (n)의 추정된 에너지 (e{nn*}) 간의 관계,(2) 상기 2채널 마이크로폰 신호의 제 2 채널 마이크로폰 신호 (x2)의 추정된 에너지 (e{x2x2*}), 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)의 상기 추정된 에너지 (e{ss*}), 및 상기 2채널 마이크로폰 신호의 상기 확산 사운드 성분 (n)의 상기 추정된 에너지 (e{nn*}) 간의 관계, 및(3) 상기 제 1 채널 마이크로폰 신호 (x1) 및 상기 제 2 채널 마이크로폰 신호 (x2)의 추정된 상호 상관 값 (e{x1x2*}), 상기 2채널 마이크로폰 신호의 상기 직접 사운드 성분 (s)의 상기 추정된 에너지 (e{ss*}), 및 상기 2채널 마이크로폰 신호의 상기 확산 사운드 성분 (n)의 상기 추정된 에너지 (e{nn*}) 간의 관계를 나타내는 연립 방정식을 풀도록 구성되는 것을 특징으로 하는 공간 큐의 세트제공하는장치. [청구항 10] 2채널 오디오 신호 및, 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(200)에 있어서, 제 1 지향성 마이크로폰(216) 및 제 2 지향성 마이크로폰(218)을 포함하는 마이크로폰 장치(210)로서, 상기 제 1 지향성 마이크로폰 및 상기 제 2 지향성 마이크로폰은 30 센티미터만큼 이격되고, 상기 제 1 지향성 마이크로폰 및 상기 제 2 지향성 마이크로폰은 상기 제 2 지향성 마이크로폰의 지향성 특성이 상기 제 1 지향성 마이크로폰의 지향성 특성의 회전된 버전이도록 맞추어지는 마이크로폰 장치(210) 청구항 1 내지 9 중 어느 한 항에 따라, 2 채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(100)로서, 상기 2 채널 마이크로폰 신호로서 상기 제 1 및 2 지향성 마이크로폰의 상기 마이크로폰 신호 (x 1 , x 2 )를 수신하여, 이를 기반으로 상기 공간 큐의 세트를 제공하도록 구성되는 장치(100); 및 상기 제 1 및 2 지향성 마이크로폰의 상기 마이크로폰 신호 (x 1 , x 2 ), 또는 이의 처리된 버전을 상기 2채널 오디오 신호로서 제공하도록 구성되는 2 채널 오디오 신호 제공자(230; 340 1214; 1314)를 포함하는 것을 특징으로 하는 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치 [청구항 11] 처리된 2채널 오디오 신호 및, 2채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 2 이상의 채널을 가진 업믹스 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(300)에 있어서, 청구항 1 내지 9 중 어느 한 항에 따라, 상기 2채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐 (icld lls , icc lls , icld rrs , icc rrs , icld 1 , icld 2 )의 세트를 제공하는 장치(100); 및 상기 2채널 마이크로폰 신호 (x 1 , x 2 )를 기반으로 처리된 2채널 오디오 신호를 제공하도록 구성되는 2채널 오디오 신호 제공자(230; 340 1214; 1314)를 포함하는데, 상기 2채널 오디오 신호 제공자는 하나 이상의 제 1 마이크로폰 신호 스케일 계수 (h 1 )를 이용하여 상기 2채널 마이크로폰 신호의 제 1 오디오 신호 (x 1 )를 스케일하여, 상기 처리된 2채널 오디오 신호 중 제 1 처리된 오디오 신호 를 획득하도록 구성되고, 상기 2채널 오디오 신호 제공자는 또한 하나 이상의 제 2 마이크로폰 신호 스케일 계수 (h 2 )를 이용하여 상기 2채널 마이크로폰 신호의 제 2 오디오 신호 (x 2 )를 스케일하여, 상기 처리된 2채널 오디오 신호 중 제 2 처리된 오디오 신호 를 획득하도록 구성되며, 상기 2채널 오디오 신호 제공자는 공간 큐의 세트를 제공하는 장치의 상기 신호 분석기에 의해 제공되는 상기 성분 에너지 정보 (e{ss*}, e{nn*})를 기반으로 상기 하나 이상의 제 1 마이크로폰 신호 스케일 계수 (h 1 ) 및 상기 하나 이상의 제 2 마이크로폰 신호 스케일 계수 (h 2 ) 를 계산하여, 상기 공간 큐 및 상기 마이크로폰 신호 스케일 계수 (h 1 , (h 2 ) 의 양방이 상기 성분 에너지 정보에 의해 결정되도록 구성되는 것을 특징으로 하는 처리된 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치 [청구항 14] 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐의 세트 및 2채널 오디오 신호를 제공하는 장치에 있어서, 제 1 지향성 마이크로폰 및 제 2 지향성 마이크로폰을 포함하는 마이크로폰 장치로서, 상기 제 1 지향성 마이크로폰 및 상기 제 2 지향성 마이크로폰은 30 센티미터 이하 만큼 이격되고, 상기 제 1 지향성 마이크로폰 및 상기 제 2 지향성 마이크로폰은 상기 제 2 지향성 마이크로폰의 지향성 특성이 상기 제 1 지향성 마이크로폰의 지향성 특성의 회전된 버전이도록 맞추어지는 마이크로폰 장치; 및 2 채널 마이크로폰 신호를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐의 세트를 제공하는 장치; 및 상기 제 1 및 2 지향성 마이크로폰의 상기 마이크로폰 신호, 또는 이의 처리된 버전을 상기 2채널 오디오 신호로서 제공하도록 구성되는 2 채널 오디오 신호 제공자를 포함하며, 상기 2 채널 마이크로폰 신호를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐의 세트를 제공하는 장치는, 상기 2채널 마이크로폰 신호를 기반으로 성분 에너지 정보 및 방향 정보를 획득하여, 상기 성분 에너지 정보의 제1 파라미터는 상기 2채널 마이크로폰 신호의 직접 사운드 성분의 에너지의 추정을 나타내고 상기 성분 에너지 정보의 제2 파라미터는 상기 2채널 마이크로폰 신호의 확산 사운드 성분의 에너지의 추정을 나타내고, 상기 방향 정보의 파라미터는 상기 2채널 마이크로폰 신호의 직접 사운드 성분이 발신하는 방향의 추정을 나타내도록 구성되는 신호 분석기; 및 상기 2채널 마이크로폰 신호의 상기 성분 에너지 정보의 상기 파라미터 및 상기 2채널 마이크로폰 신호의 상기 방향 정보의 파라미터를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 공간 큐 정보에 맵하도록 구성되는 공간 보조 정보 생성기를 포함하며, 상기 공간 보조 정보 생성기는 상기 직접 사운드 성분 및 상기 확산 사운드 성분의 에너지의 추정과 상기 방향 정보를 공간 큐 정보에 맵하도록 구성되고, 상기 업믹스 오디오 신호와 관련된 공간 큐의 세트를 제공하는 장치는 상기 2 채널 마이크로폰 신호로서 상기 제 1 및 2 지향성 마이크로폰의 상기 마이크로폰 신호를 수신하여, 이를 기반으로 상기 공간 큐의 세트를 제공하도록 구성되는 것을 특징으로 하는 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치 [청구항 15] 처리된 2채널 오디오 신호 및 2채널 마이크로폰 신호를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐의 세트를 제공하는 장치에 있어서, 2채널 마이크로폰 신호를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐의 세트를 제공하는 장치; 및 상기 2채널 마이크로폰 신호를 기반으로 처리된 2채널 오디오 신호로서 제공하도록 구성되는 2 채널 오디오 신호 제공자를 포함하며, 상기 2채널 오디오 신호 제공자는 하나 이상의 제 1 마이크로폰 신호 스케일 계수를 이용하여 상기 2채널 마이크로폰 신호의 제 1 오디오 신호를 스케일하여, 상기 처리된 2채널 오디오 신호 중 제 1 처리된 오디오 신호를 획득하도록 구성되고, 상기 2채널 오디오 신호 제공자는 또한 하나 이상의 제 2 마이크로폰 신호 스케일 계수를 이용하여 상기 2채널 마이크로폰 신호의 제 2 오디오 신호를 스케일하여, 상기 처리된 2채널 오디오 신호 중 제 2 처리된 오디오 신호를 획득하도록 구성되고, 상기 2채널 오디오 신호 제공자는 공간 큐의 세트를 제공하는 장치의 신호 분석기에 의해 제공되는 성분 에너지 정보를 기반으로 상기 하나 이상의 제 1 마이크로폰 신호 스케일 계수 및 상기 하나 이상의 제 2 마이크로폰 신호 스케일 계수를 계산하여, 상기 공간 큐 및 상기 마이크로폰 신호 스케일 계수의 양방이 상기 성분 에너지 정보에 의해 결정되도록 구성되며, 상기 2채널 마이크로폰 신호를 기반으로 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 공간 큐의 세트를 제공하는 장치는, 상기 2채널 마이크로폰 신호를 기반으로 성분 에너지 정보 및 방향 정보를 추출하여, 상기 성분 에너지 정보의 제1 파라미터는 상기 2채널 마이크로폰 신호의 직접 사운드 성분의 에너지의 추정을 나타내고 상기 성분 에너지 정보의 제2 파라미터는 상기 2채널 마이크로폰 신호의 확산 사운드 성분의 에너지의 추정을 나타내고, 상기 방향 정보의 파라미터는 상기 2채널 마이크로폰 신호의 직접 사운드 성분이 발신하는 방향의 추정을 나타내도록 구성되는 신호 분석기; 및 상기 2채널 마이크로폰 신호의 상기 성분 에너지 정보의 상기 파라미터 및 상기 2채널 마이크로폰 신호의 상기 방향 정보의 파라미터를 2 이상의 채널을 가진 업믹스 오디오 신호와 관련된 상기 공간 큐의 세트를 나타내는 공간 큐 정보에 맵하도록 구성되는 공간 보조 정보 생성기를 포함하며, 상기 공간 보조 정보 생성기는 상기 직접 사운드 성분 및 상기 확산 사운드 성분의 에너지의 추정과 상기 방향 정보를 공간 큐 정보에 맵하도록 구성되는 것을 특징으로 하는 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치