본 연구에서는 새로운 MRF(Markov Random Field) 에너지 모델을 이용한 영역 기반 움직이는 객체 분할 방법을 개발하였다. 새로 연구한 MRF 모델은 영역간의 정규화된 유사도를 이용하여 정의하였다. 또한, 영역 경계선의 방향성 정보를 이용하여 객체 영역의 확장 속성을 ...

본 연구에서는 새로운 MRF(Markov Random Field) 에너지 모델을 이용한 영역 기반 움직이는 객체 분할 방법을 개발하였다. 새로 연구한 MRF 모델은 영역간의 정규화된 유사도를 이용하여 정의하였다. 또한, 영역 경계선의 방향성 정보를 이용하여 객체 영역의 확장 속성을 MRF 모델에 추가함으로써 보다 정확한 객체의 경계선 획득이 가능하였다.

입력 동영상의 매 프레임은 워터쉐드 알고리즘(watershed algorithm)을 이용하여 균일한 영역들의 집합으로 초기 분할된다. 이 때, 워터쉐드 알고리즘의 전처리 과정으로 비등방성 확산 필터(anisotropic diffusion filter)를 사용하였다. 워터쉐드 알고리즘의 입력으로 들어가는 트루컬러 영상의 그래디언트(gradient)는 사람의 시각 특성을 잘 반영하는 YUV 색 공간에서 계산하였다. 이 후 인접 영역 그래프(Region Adjacency Graph: RAG)를 생성하고 각 영역에서 다이아몬트 검색(diamond search) 방법을 이용하여 영역의 움직임 정보를 추출하였다. RAG는 MRF 모델의 입력으로 들어가며, 영역들의 시간적-공간적 연속성을 고려하여 MRF 에너지 모델을 정의하였다. 또한, 영역 경계선의 방향성 정보를 이용하여 에너지 모델에 영역 확장 속성을 부가하였다.

실험에서는 본 연구에서 새로 제시한 영역 확장 속성을 가진 MRF 모델의 동작을 확인하기 위하여 정지 영상에 대한 객체 분할을 먼저 수행하였다. 영역 확장 속성이 없는 MRF 모델을 사용하였을 경우, 분할된 객체의 경계선이 정확하게 추출되지 않았다. 그러나, 새로 제시한 MRF 모델을 사용한 결과, 정확한 객체의 경계선 획득이 가능하였다. 실제 동영상에서 객체 분할을 수행한 결과, 입력 동영상에 잡음과 카메라 움직임이 있음에도 움직이는 객체를 정확하게 분할하는 것을 확인하였다.

In this research, a framework for region-based moving object segmentation using a new MRF energy model for the region-based approach is performed. The MRF model is basically defined by a combination of normalized distance of regions. In addition, an e ...

In this research, a framework for region-based moving object segmentation using a new MRF energy model for the region-based approach is performed. The MRF model is basically defined by a combination of normalized distance of regions. In addition, an edge directional weight is introduced and embedded as region growing characteristics into the MRF model so that accurate boundary of object is acquired.

Each frame of an input video is partitioned into a set of homogenous regions by a watershed algorithm. As a pre-processing of the watershed algorithm, an anisotropic diffusion filter is used. As an input of the watershed algorithm gradient of the color image is computed in the YUV color space which is consistent with the human visual system. In order to improve the regularity of regions, block-wise sub-partitioning and small region merging are performed. Then a RAG is constructed and motion vector of each region is estimated by a region-based diamond search. The energy model in MRF model considers the spatial and temporal consistency simultaneously. In addition, an edge directional weight is introduced, which adds region-growing characteristics to the energy function.

In the experiments, the segmentation was performed on still images to first analyze the region-growing characteristics of the edge directional weight in the proposed MRF energy function. Without the weight term, the boundaries of the objects are not acquired neatly. However, with the weight term, accurate boundaries of objects are detected. Experiments on videos demonstrated that the proposed segmentation method works well even when the videos contain a significant amount of noise and camera motion.

Moving object segmentation is a base technology for analyzing video and provides numerous functionalities for multimedia applications. Fast and accurate segmentation of the object is the goal of the research. Region-based approaches to the moving obje ...

Moving object segmentation is a base technology for analyzing video and provides numerous functionalities for multimedia applications. Fast and accurate segmentation of the object is the goal of the research. Region-based approaches to the moving object segmentation are widely used to reduce the computation time and probabilistic models such as Markov Random Fields (MRFs) are utilized for separating the object and background. However, they are not sufficient to get the accurate boundary of objects.
This dissertation presents a framework for the accurate segmentation of moving objects in video using a region-based MRF model. The proposed energy function of the MRF model is basically defined by a combination of normalized distance of regions, where mean color, edge magnitude on the boundary, and motion of regions is considered. In addition, a weight term is introduced and it adds region growing characteristics to the MRF model so that the accurate boundary of object is acquired. The weight term is induced by the edge directional information of regions.
The procedure for the moving object segmentation is as follows: In order to remove image noise without destroying the topological structure of the image, anisotropic diffusion filter is used. Color gradient is computed in YUV color space by the centered difference approximation. Rainfalling-based watershed algorithm partitions the image into a set of homogenous regions. As the watershed algorithm produces, in general, irregular shaped regions with various size, block-wise sub-division and small region merging is applied to improve the regularity of regions. A Region Adjacency Graph (RAG) is constructed and motion vector of each region is estimated by a modified diamond search. Then a MRF model with the proposed energy function labels foreground or background to each region. The minimization of the energy function is carried out by Highest Confidence First (HCF) algorithm. In the experiments, we confirmed that the proposed energy model has the attribute of region growing and segments the moving object accurately in various videos with or without camera motion.

본 연구에서는 영역 기반 MRF 모델을 이용하여 동영상에서 움직이는 객체를 분할하는 방법을 제시하고 있다. 본 연구에서 개발한 객체 분할 알고리즘의 성능를 확인하기 위하여 정지 영상과 실제 동영상에서 실험을 수행하였다. 먼저 정지 영상에서 영상을 영역 단위로 표 ...

본 연구에서는 영역 기반 MRF 모델을 이용하여 동영상에서 움직이는 객체를 분할하는 방법을 제시하고 있다. 본 연구에서 개발한 객체 분할 알고리즘의 성능를 확인하기 위하여 정지 영상과 실제 동영상에서 실험을 수행하였다. 먼저 정지 영상에서 영상을 영역 단위로 표현하고, MRF 모델을 이용하여 객체를 분할하는 과정을 실험하였다. 이 실험에서 새롭게 개발한 영역 확장 특성을 지닌 MRF 모델을 사용하였을 경우 객체의 경계선이 보다 정확하게 추출되는 것을 확인하였다. 실제 동영상에서 객체 분할을 수행한 결과, 기존의 방법에 비하여 객체의 경계선을 보다 정확하게 분할하는 것을 확인하였다.

본 연구는 다양한 정지영상 또는 동영상 처리 관련 연구의 기본이 되는 연구로써 다양한 애플리케이션에서 활용될 수 있다. 특히 객체 단위 동영상 압축, 내용 기반 영상 검색, 멀티미디어 컨텐츠 제작, 보안 및 감시 분야 등에서 활용 가능성이 높을 것으로 예상된다. 그러나, 본 연구 결과를 이용한 객체 분할을 위해서는 초기 객체 위치를 수동으로 지정해줄 필요가 있기 때문에 이를 자동으로 설정하는 방법에 대한 추가 연구가 필요하다.