360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법 document_id A220623053918

통상적으로 60도보다 큰 시야를 갖는 광각(wide angle) 카메라가 종종 대규모 장면을 캡쳐하기 위해 사용된다. 광각 카메라에 의해 촬영된 광각 이미지는 적어도 2개 타입의 투사법(projection)을 사용하여 관측될 수 있다. 직선 원근 투사법(linear perspective rojection) 및 원주 투사법(cylindrical projection)이 광각 이미지를 관측하는 데 사용되는 가장 통상적인 투사법이다. 직선 원근 투사는 필름의 평평한 부분 상에 투사되는, 광각 렌즈에 의해 캡쳐된 이미지이다. 직선 원근 투사는 형태를 유지하는 대신에 직선을 일직선으로 유지시킨다. 이것이 원근 변형을 야기한다. 이미지의 관측자가 그 눈을 투사 중앙에 둔다면, 이러한 이미지는 정확하고 변형되지 않게 보일 것이다. 그러나, 보다 작은 시야로 광각 이미지를 관측하는 경우에, 물체가 회전함에 따라 관측자는 이미지 평면 상에서의 광각 이미지가 약간 변형될 뿐만 아니라 이미지 사이즈가 약간 증가하였다고 생각하게 된다. 이것은 물체가 가장자리에서 신장되어 보이기 때문이다. 이미지 평면 상에서 사이즈 및 변형의 예기된 변화보다 더 큰 변화는, 특히 파노라마 이미지를 관측하는 경우에 사용자로 하여금 마치 장면이 관측자 주위로 유영(swimming)하는 것처럼, 장면이 고정되지 않게 느끼게 한다. 원주 투사는 굴곡된 필름 및 회전하는 슬릿 렌즈를 갖는 광각 카메라를 사용할 때 발생된다. 원주 투사는 형태를 유지하는 점에서는 직선 투사보다 우수하다. 또한 원주 투사는 임의의 명백한 유영 움직임(motion)을 완화시킨다. 원주 투사가 직선 투사에 비해 관측 개선점이 있다고 하더라도, 왜곡 및 지각의 문제점들은 여전히 존재한다. 특히 원주 투사는 직선을 필요 이상으로 굴곡시킨다. 또한, 원주 투사는 파노라마 이미지를 관측하는 경우에 고개를 돌리는 착각(illusion)을 거의 완전히 제거한다. 광각 이미지에서의 왜곡 및 굴곡 문제점들은 시야 부정합(mismatch)에 의해 야기된다. 특히, 컴퓨터 모니터 상의 제한된 관측 사이즈 및 표준 관측 거리로 인해, 관측할 때의 이미지에 의해 정해지는 각은 원래 장면을 이미지 평면에 투사했던 카메라의 시야보다 훨씬 더 작다. 이러한 부정합이 많은 왜곡과 지각의 문제점들의 원인이다. 관측 시에 보다 작은 시야로 광각 이미지를 관측함으로써 야기되는 관련 문제점은 심도(depth)에 대한 오인식이다. 광각 이미지는 부근의 물체와 멀리 있는 물체 사이의 심도차를 과장한다. 장면 내의 물체의 심도의 중요한 하나의 시각적 단서(cue)는 부근의 위치와 멀리 떨어진 위치에 놓인 유사한 물체들의 이미지 사이즈 사이의 비(심도 축소비(depth foreshortening ratio)라 함)이다. 결과적으로, 시야가 작을수로 축소비가 작아진다. 예를 들어, 장면이 서로 옆에 서 있는 2명의 사람을 포함하고 있고, 한 사람이 다른 사람보다 카메라로부터 다소 더 멀리 떨어져 있다고 가정한다. 만일 장면이 표준의(대략 60도) 시야 카메라에 의해 캡쳐되고, 동일한 장면이 광각 시야 카메라로 캡쳐된다면, 장면 내의 물체들의 사이즈는 다르게 나타날 것이다. 특히, 표준의 시야 카메라의 경우에, 카메라로부터 더 멀리 떨어진 사람은 다른 사람보다 카메라로부터 다소 더 멀리 있는 것처럼 보일 것이다. 그러나, 광각 시야 카메라의 경우에, 카메라로부터 더 멀리 떨어진 사람은 다른 사람보다 훨씬 더 작게 보일 것이다. 이 과장된 사이즈 차로 인해, 카메라로부터 더 멀리 있는 사람은 실제 그 사람이 있는 곳보다 더 멀리 있는 것으로보인다. (비디오 회의 장면과 같이) 심도있는 장면의 광각 이미지가 컴퓨터 모니터 상에 관측되는 경우에, 일반적으로 관측자의 시야는 실제 이미지의 시야보다 훨씬 더 작을 것이다. 따라서, 관측자가 지각하는 심도는 실제 심도보다 훨씬 더 크다. 이러한 왜곡 및 지각의 문제점들이 자체적으로 명백히 드러나는 하나의 응용이 비디오 회의 시스템이다. 광각 카메라는 종종 비디오 회의 시스템에 사용되어 회의실에 존재하는 모든 참가자들을 포함하는 이미지를 캡쳐하여 전송한다. 그러나, 한가지 문제점은 비디오 회의를 관측할 때 광각 이미지가 회의실의 심도를 과장한다는 것이다. 이것은 극단적인 축소로 인해 이미지의 중앙에 있는 사람들(보통은 카메라로부터 가장 멀리 떨어진 사람들임)을 회의실 내의 다른 사람들에 비해 매우 작게 보이게 한다. 광각 카메라 이미지에서의 통상적인 이러한 왜곡 및 지각의 문제점들은 360도의 시야를 커버하는 파노라마 이미지를 관측할 때 더욱 더 명백하다. 파노라마 이미지는 단일 카메라로부터 획득된 입력 이미지를 정렬하고 "스티칭(stitching)"함으로써 생성될 수 있다. 대안으로, 파노라마 이미지는 입력 이미지를 획득하는 복수의 카메라를 이용하고, 이러한 이미지를 함께 스티칭함으로써 생성될 수 있다. 예를 들어, 이것은 복수의 카메라가 파노라마 비디오를 생성하는 데 이용되는 경우이다. 본질적으로, 파노라마 비디오의 생성에는 주위 장면의 완전한 360도를 나타내는 복수의 비디오를 필요로 한다. 서로 등을 댄(back-to-back) 형태로 배치된 복수의 카메라로 이루어진 카메라 장비는 때때로 이러한 비디오를 캡쳐할 목적으로 사용된다. 입력 이미지에서의 화소 위치를 파노라마 이미지에서의 화소 위치에 매핑하는 스티칭 테이블은 통상적으로 파노라마에서 이미지들을 함께 스티칭하는 데 이용된다. 360도의 전방향성 카메라는 회의 기록 및 비디오 회의에 이용되어 왔다. 카메라는 통상적으로 테이블의 중앙에 놓이고, 회의 참가자들이 테이블 주위에 앉는다. 회의 테이블이 직사각형 형태를 가진다면, 파노라마 이미지 상의 사람들의 머리 사이즈는 카메라에 대한 거리에 따라 다를 것이다. 예를 들어, 테이블의 먼 끝에 앉아 있는 사람은 카메라에 더 가까이 앉아 있는 사람보다 휠씬 작게 보일 것이다. 파노라마 이미지에서의 이러한 머리 사이즈 편차는 시각적으로 마음을 끄는 것으로 보이지 않고, 테이블의 먼 끝에 있는 사람들을 인식하거나 그들의 표정을 인식하기가 종종 곤란하다. 파노라마 이미지를 사용하는 비디오 회의에서의 또 다른 문제점은, 몇몇 전방향성 카메라가 3700×600 화소의 파노라마 이미지를 생성하지만, 대부분의 사용자들은 단지 1024×166 화소의 파노라마만을 디스플레이할 수 있는 1024×768 화소의 디스플레이만을 갖는다는 것이다. 이러한 해상도의 매우 큰 감소로 인해, 테이블의 먼 끝에 있는 사람은 머리 사이즈 정규화 없이는 관측될 수 없다. 따라서, 이러한 이미지와 연관된 왜곡 및 지각의 문제점들을 경감하기 위하여 파노라마 카메라에 의해 캡쳐된 이미지를 실시간으로 보정하는 시스템 및 방법이 필요하다. 이러한 시스템 및 방법에서는 파노라마 이미지 내의 머리 사이즈를 정규화해야 하며, 이미지 내의 사람들을 표준 해상도 모니터로 관측할 수 있어야 한다. 또한, 이러한 시스템 및 방법은 설정하고 동작하기에 용이해야 하며, 연산적으로 효율적이어야 한다.