보건의료 빅데이터와 가상·증강현실 및 디지털 기술을 활용한 실감형·체험형 콘텐츠 서비스의 발전과 관련 기술 개발 동향 doc_id PCY_201808091030000601_55

보건의료 분야의 관심이 치료 중심에서 질병예방과 건강관리 중심으로 변화하며 질병예측･ 진단과 개인 맞춤형 의료서비스의 중요성이 커져가고 있다. 또한, 건강검진자료, 질병자료, 전자의무기록(EMR, Electronic Medical Record), 유전체 분석 데이터 등 잠재력 높은 보건 의료 빅데이터들이 빠르게 생산･축적되고 있고, 다양한 스마트 센서들을 탑재한 기기들이 등장하면서 이를 통해 수집된 환자의 의료정보, 건강정보 등은 여러 가지 형태로 분석･처리되어 실시간으로 관찰할 수 있게 되었다. 최근 헬스케어 서비스를 통해 생산되는 보건의료 빅데이터의 관리와 활용에 대한 논의가 활발하게 진행되고 있으며 일반인, 의료기관, 연구자, 정책전문가별 니즈, 주요관심, 관련 데이터 및 활용 연구개발은 다음과 같다. 가상현실은 가상의 공간에서 실제와 같은 체험을 할 수 있는 기술을 말하며, 증강현실은 3차원 가상 그래픽을 마치 실존하는 것처럼 현실 화면에 겹쳐 보여주는 기술을 말한다. 인공지능(AI)이 빅데이터 분석을 통한 환자 진단으로 주목받았다면 가상･증강현실은 수술, 의학교육, 정신과 진료 등 실제 치료 분야에서 높은 가치를 인정받고 있다. 병원에 가상･증강현실 기술을 적용하면 환자의 상태를 미리 예측하여 수술 전 시뮬레이션이 가능하다. 이는 임상실습이나 치료 과정에서도 폭넓게 활용이 가능하며 수술 시간과 위험도를 줄이는 한편, 응급상황 대처도 용이하다. 최근에는 단순 시뮬레이션을 벗어나 실제 수술이나 정신분열 치료에 활용하기 위한 연구개발이 활발하게 진행되고 있다. 의료진 교육과 트레이닝 분야에서도 유용하게 활용된다. 수술 장면을 촬영한 뒤 가상현실 기술을 적용하게 되면 집도의와 조수의 움직임까지 눈으로 보듯이 학습할 수 있다. 인체 내장기관을 컴퓨터 그래픽으로 만들고 실제 수술처럼 훈련하는 시뮬레이션 교육도 증가하는 추세이며 이를 위한 전문 콘텐츠 개발을 위한 지원도 점점 커지고 있다. 디지털콘텐츠는 디지털 신호 형태의 부호･문자･음성･음향 및 영상 등의 자료 또는 정보를 의미한다. 주요 분야로는 영화, 캐릭터･애니메이션･만화, 디지털 음악･음향, 게임, 스포츠, 공연･전시, 문화디자인, e-book, 이러닝, 이트레이닝, 에듀테인먼트, 디지털정보콘텐츠 등이 있다. 디지털콘텐츠는 일반적으로 창작･기획, 제작･표현, 유통 등 일련의 과정에 다양한 디지털 기술이 필요하며, 이를 융합하여 각종 서비스화 된다. 근래에는 대중 미디어 기반 콘텐츠 중심에서 개인화된 정보교류형 콘텐츠로 전환되고 있으며, 실제와 유사한 경험을 디지털로 구현하고 체험할 수 있는 체험형 콘텐츠가 폭발적 증가세를 보이고 있다. 예로 주변 상황에 적응적인 지능적 콘텐츠 검색 서비스, 콘텐츠와 사용자간의 NUI(Natural User Interface)를 지향하며 현실감과 몰입감을 제공하는 가상･증강･혼합 현실 콘텐츠 서비스, 현실감 있는 실사기반의 공간정보 콘텐츠 서비스가 확대되고 있다. 최근, 지능화와 몰입화를 통한 체감형 콘텐츠 서비스가 발전함에 따라 단순한 콘텐츠 소비와 공유를 벗어나 생활에 유익한 정보를 제공하는 기술에 대한 연구개발, 체험 및 상호작용이 가능한 가상･증강･혼합현실 콘텐츠를 사용자에게 제공하는 기술에 대한 연구개발이 활발히 이루어지고 있으며, 구체적인 사례를 보면 다음과 같다. 첫째, 영상 내 특징 추출 및 딥러닝 기술을 적용하여 시각 정보 기반의 정보 검색을 지원하는 콘텐츠 비주얼 브라우징 기술이 실내외 상점 및 푸드 검색 등 실생활에 활용 가능한 수준까지 개발되었다. 실내외 상점 검색을 위한 비주얼 브라우징 기술은 실내외 공간의 360도 영상을 활용하여 특징 추출, 정합 및 검색을 지원한다. 또한, 푸드 검색은 200여종 이상 푸드를 인식하며, 다중 푸드 인식도 지원한다. 본 기술은 국제영상인식대회(ImageNet)의 객체검출(Detection) 분야 3위, 국제 저전력 영상인식대회에서(LPIRC, Low-Power Image Recognition Challenge) 2위를 각각 달성하였다. 앞으로 다양한 서비스 모델과 결합하여 온오프라인 환경에서 비주얼 검색 기반 서비스가 활발해 질 것으로 기대된다. 둘째, 초대형 화면과 사용자의 손과 팔 동작을 인식하여 콘텐츠 상호작용하는 체험형 가상현실 콘텐츠를 제공하는 기술도 개발되었다. 비정형 동적 객체 대상 몰입형 프로젝션 기술, 멀티 프로젝션 영상 기하보정 및 에지 블렌딩 기술 개발을 통해 5대 프로젝터에서 각각 출력되는 콘텐츠들을 이음새 없이(Seamless) 서로 연결하여 대형 곡면 스크린 상에 단일 콘텐츠로 가시화 할 수 있도록 하였다. 그리고 다수의 사용자들이 협업하여 동시에 게임을 즐길 수 있도록 다중 센서를 활용한 사용자 동작인식기술도 개발되었으며, 2017년11월에 개관한 울산시 울주군 영남 알프스의 복합웰컴센터에 위치하고 있는 ‘번개맨 우주센터‘ 테마파크 내 Post-show 시스템으로 활용되고 있다. 사람 몸이 인터페이스로 활용되고 초대형 화면을 통해 실감나는 체험을 할 수 있는 가상현실 체험관, 전시 홍보관 등에 널리 활용되어 유관 산업의 성장에도 크게 기여할 것으로 기대된다. 셋째, 가상현실 콘텐츠를 쉽고 빠르게 저작할 수 있도록 해주는 개방형 조립식 3D 가상현실 저작 엔진이 개발되었다. 3D 모델 데이터를 손쉽게 배치할 수 있고 각종 기능의 조립이 쉬운 컴포넌트 구조의 3D 엔진, 3D 엔진 상에서 2D 콘텐츠를 지원하고 GUI 등의 사용자 인터페이스 기능을 제공하는 GUI 엔진, 물리 기반 렌더링을 쉐이더(Shader) 구조로 구현하고 가상현실 엔진 콤포넌트에 적용한 고품질 렌더러, 360도 파노라마 영상 및 3D 객체를 합성하는 기능을 제공하고 하드웨어와 연동되는 가상현실 콘텐츠 개발이 용이하도록 각종 장치 지원 기능의 추가가 용이한 구조의 가상현실 멀티미디어 콘텐츠 저작 도구로 구성되어 있다. 또한, 애니메이션 기능 및 저작 기능, 프레임 특수효과, 텍스쳐 아틀라스 제공으로 다양한 가상현실 콘텐츠 제작의 생산성을 높일 수 있도록 하였으며, Python Interpreter 방식의 언어와 API를 제공함으로써 비주얼 언어 프로그래밍을 통한 코딩 교육에도 활용할 수 있도록 하였다. 향후 코드 공개를 통한 공개 소프트웨어 정책 추진으로 가상현실 엔진 기능의 추가 구현, 고도화 및 기능의 안정화를 이루며 콘텐츠 업계로의 본격적인 확산이 이루어 질 것으로 기대된다. 마지막으로, 3D 센서가 탑재된 스마트 단말기를 활용하여 3D 생성 및 편집, 실감 증강･혼합현실 체험을 제공할 수 있는 기술이 개발되었다. 일반 사용자도 손쉽게 모바일 상에서 3D 모델을 생성할 수 있으며, 소셜 3D 공유뿐만 아니라, 실생활과 연계된 혼합현실 3D 실감체험을 할 수 있는 수준으로까지 발전하였다. 기존의 3D 모델링은 대상자가 움직일 때에는 관측 센서가 고정되어야 하고, 관측 센서가 움직일 경우에는 대상자의 움직임이 없어야 하는 제약이 있었다. 이와 같은 제약으로 인해 기존에는 3D 모델링을 하기 위해서는 전문 장비를 갖추거나 3D 모델링 관련 전문 지식이 있어야 하는데, 관측 센서가 움직이는 동안에도 대상자가 움직여도 3D 모델링을 수행할 수 있도록 하는 핵심원천 기술을 개발함으로써 실생활에서 일반 사용자도 3D 모델링을 손쉽게 할 수 있게 되었다. 또한, 사용자에 대한 실측 아바타 생성과 다양한 콘텐츠 응용을 위해 모바일 상에서 인체의 3D 자세를 추적할 수 있는 기술도 개발하였고, 실 조명에 연동되는 3D 증강현실 가시화 기술도 개발함으로써 실생활에서의 3D 증강･혼합현실 콘텐츠 서비스를 가능하게 하는 기술적 쾌거도 이루었다.