CUDA 기반 영상 분할을 사용한 비사실적 렌더링 document_id A220517038105

비사실적 렌더링(NPR; Non-Photorealistic Rendering)은 2차원 영상과 3차원 모델을 대상으로 하는 방법이 다르며 각각의 대상에 NPR을 적용하여 두 콘텐츠를 혼합하면 이질감이 나타나는 문제점이 있다. 본 논문에서는 3차원 객체와 영상에 있어서 각각의 대상에 카툰 및 스케치와같은 비사실적 효과를 적용하여 조화롭게 혼합하는 기법을 제시한다. 제안 기법은 2차원 영상의 데이터를 분석하여 컬러 분포 특징을 얻고 이를 이용하여 실사 영상이나 3D 객체의 컬러 수를 줄인다. 단순화된 컬러맵과 윤곽선 에지 데이터로부터 비사실적 렌더링을 실시한다. 컬러맵정보의 추출 및 적용 과정에서 자연스러운 장면 연출을 위해서 영상분할 과정이 필요하다. 그러나 영상분할 기법은 많은 연산을 필요로 한다.특히 크기가 큰 입력에 대해서는 비사실적 렌더링에 많은 시간이 소요된다. 처리 시간이 많은 영상분할의 고속화를 위하여 GPU(Graphics Processing Unit)를 이용한 병렬 컴퓨팅을 할 수 있는 GPGPU(General-Purpose GPU)를 사용한다. GPGPU의 사용으로 알고리즘의 수행속도를크게 개선하였다. 또한 영상분할 후 단순화된 컬러를 추출하여 일련의 컬러맵을 생성한 뒤 3D 객체에 NPR을 적용할 때 추출해낸 컬러맵을 적용하여 2차원 영상과 3차원 객채 간의 이질감을 줄이고 조화롭게 하였다. 실사 영상과 3D 객체의 혼합된 렌더링에 있어서 적용될수 있는 비사실적 렌더링 기법의 연산에 GPGPU 환경인CUDA를 이용한 알고리즘을 제안하였다. 제안 방법은 영상분할 기법을 실사 영상에 적용하여 컬러맵을 생성하고 이를3D 객체에 적용하는 방법으로 매우 자연스러운 NPR 결과를 생성한다. 계산량이 큰 영상 분할 과정의 고속화를 위해서 영상 분할 과정을 CUDA화 하였다. 영상의 크기가 증가하는 경우에CPU 버전은 영상의 크기에 비례하여 실행 속도가 증가하지만 CUDA 버전의 경우에는 실행 속도가 크게 증가하지 않았다. 실험 결과 전체적인 실행 속도가 크게 개선되었다. 제안 방법은 실사 영상을 배경으로 하고 그 위에 3차원객체로 장면을 구성하는 가상현실 및 증강현실 환경에서의 렌더링 과정에서 효과적으로 사용될 수 있다.