본 연구는 디지털 비디오 도서관의 영상 초록 구성을 위한 핵심은 키프레임 배열 모형 및 추출 알고리즘의 설계에 있다고 가정하였다. 각 주제에 대해서 자세히 기술하면 다음과 같다. <배열 모형 설계와 평가> 영상 초록의 배열 모형을 영상물의 소통 구조 이론, FRB ...

본 연구는 디지털 비디오 도서관의 영상 초록 구성을 위한 핵심은 키프레임 배열 모형 및 추출 알고리즘의 설계에 있다고 가정하였다. 각 주제에 대해서 자세히 기술하면 다음과 같다. <배열 모형 설계와 평가> 영상 초록의 배열 모형을 영상물의 소통 구조 이론, FRBR 모형 및 용어간의 구문적 및 어의적 관계를 고려하는 PRECIS 색인 이론 등을 이용하여 설계하고 이 모형에 따라서 영상 초록을 구성한 후 순차적 영상 초록과 요약문과 색인어 추출의 정확도 측면에서 어떤 차이를 보이는지 6개의 표본 비디오와 26명의 피조사자를 이용하여 실험을 통해서 조사해 보았다. 조사 결과, 배열 모형 기반 영상 초록이 순차적 영상 초록 보다 더 정확한 요약문을 추출하는 것으로 나타났고 색인어 추출의 정확도는 큰 차이가 없는 것으로 나타났다. 또한 영상 초록의 반복 보기의 효과를 측정한 결과 순차적 영상 초록을 먼저 보고 배열 모형 영상 초록을 반복해서 본 경우에 요약문의 정확도가 크게 증가하는 것으로 나타났다. 이러한 실험 결과에 기초하여 디지털 비디오 도서관 환경에서 영상 초록의 두 가지 활용 방안 즉, OPAC 환경에서 영상 초록의 초기값으로 순차적 영상 초록을 제시하고 선택을 통해서 배열 모형 기반 영상 초록이 함께 출력되는 비디오 브라우징 인터페이스를 구성하는 것과 제안된 배열 모형 기반 영상 초록을 영상 질의의 구조화된 매칭 자료로 활용하는 것에 대해서 제안하였다. <키프레임 추출 알고리즘의 설계와 성능 평가> 비디오의 의미를 잘 표현하고 있는 키프레임들을 추출하는 알고리즘을 설계하고 평가하였다. 구현된 알고리즘은 개념적 모형을 기반으로 하여 키프레임 추출 과정을 두 단계 즉, 제 1 단계는 이미지 프로세싱을 이용하여 키프레임 후보 그룹들을 추출하고, 제 2 단계는 제 1 단계에서 추출된 후보 키프레임 그룹 중에서 정해진 기준에 따라서 수작업으로 키프레임들을 최종적으로 추출하였다. 제안된 알고리즘의 성능을 평가하기 위해서 그 알고리즘을 활용하여 구성한 영상 초록(하이브리드 방식)을 일정한 시간 간격에 따라서 무작위로 키프레임을 추출하여 구성한 영상 초록(랜덤 방식)과 비교해 보았다. 실험 결과에 의하면 하이브리드 방식으로 구성된 영상 초록의 요약문 정확률 평균(0.61)이 랜덤 방식의 평균(0.55) 보다 높고 그 차이가 통계적으로 유의미한 것으로 나타났으나 그 차이는 크지 않았다. 순차 영상 초록에서 두 가지 키프레임 추출 방식의 평균 정확도(0.63, 0.50)의 차이가 나타났지만 구조화 영상 초록에서 이 두 방식의 평균 정확도(0.58, 0.60)의 차이가 거의 나타나지 않았기 때문이다. 이는 구조화 영상 초록의 경우 랜덤으로 추출된 키프레임들이라도 키프레임간의 문맥적 관계를 설정해 줌으로써 비디오의 맥락 파악을 용이하게 해 주었기 때문으로 생각된다. 이러한 연구 결과를 디지털 도서관 및 인터넷 환경에서 비디오 자료의 검색 효율성을 높이기 위해서 응용해 볼 수 있을 것이다. 첫째, 순차 초록에서 하이브리드 방식에 의한 영상 초록의 질이 랜덤 방식에 의한 영상 초록의 질 보다 훨씬 높기 때문에 하이브리드 방식이 대학, 학교 및 방송사 디지털 도서관의 비디오 자료 표현에 활용되는 것이 바람직 할 것으로 보인다. 둘째, 이미 키프레임들을 무작위로 추출하여 구성한 영상 초록을 많이 활용하고 있는 인터넷 검색 환경에는 영상 초록의 효율성을 높이기 위해서 자동으로 추출된 키프레임들을 문맥적 관계에 기반하여 재구성한 구조화 영상 초록을 구현하는 방안을 적용해 볼 수 있을 것이다.

Methods for extracting and displaying video key-frames are the two main issues in making an efficient storyboard. This purposes of the study are to design and evaluate a model for key-frame arrangement and an algorithm for keyframe extraction as well. ...

Methods for extracting and displaying video key-frames are the two main issues in making an efficient storyboard. This purposes of the study are to design and evaluate a model for key-frame arrangement and an algorithm for keyframe extraction as well. To do this, first, the study examined the design and utilization of video storyboard surrogates in the digital video libraries. We constructed the arrangement model of key-frames for storyboard based on the FRBR model, image communication and PRECIS indexing theories and evaluated the model using 6 sample videos and 26 participants. The study results show that the video storyboard surrogates based on the arrangement model has a higher accuracy value in terms of summary extraction than that of the sequential video storyboard. Moreover, watching both types of video storyboard one after another, especially browsing the sequential video storyboard first and then the arrangement model-based one, produces a remarkable increase in accuracy value of summary extraction. The study proposes two methods of utilizing the video storyboard surrogates in the digital video libraries: Designing a video browsing interface where users can use the sequential storyboard as a default and then the arrangement model-based one for re-watching; and utilizing the arrangement model-based storyboard as structured match sources of image-based queries. Second, this study designed a key-frame extraction algorithm for constructing the virtual storyboard surrogates and evaluated the efficiency of the proposed algorithm. The theoretical framework was built by conducting two tasks. The first task is to investigate the previous studies on relevance and image recognition and classification. The second task is to conduct an experiment in order to identify their frames recognition pattern of 20 participants. As a result, the key-frame extraction algorithm was constructed. Then the efficiency of proposed algorithm (hybrid method) was evaluated by conducting an experiment using 42 participants. In the experiment, the proposed algorithm was compared to the random method where key-frames were extracted simply at an interval of few seconds (or minutes) in terms of accuracy in summarizing or indexing a video. Finally, ways to utilize the proposed algorithm in digital libraries and Internet environment were suggested.

본 연구는 다음과 같이 두 개의 연구 영역으로 나뉜다. 1) 배열 모형 설계와 평가: 먼저 영상 초록의 배열 모형을 영상물의 소통 구조 이론, FRBR 모형 및 용어간의 구문적 및 어의적 관계를 고려하는 PRECIS 색인 이론 등을 이용하여 설계하고 이 모형에 따라서 영상 ...

본 연구는 다음과 같이 두 개의 연구 영역으로 나뉜다. 1) 배열 모형 설계와 평가: 먼저 영상 초록의 배열 모형을 영상물의 소통 구조 이론, FRBR 모형 및 용어간의 구문적 및 어의적 관계를 고려하는 PRECIS 색인 이론 등을 이용하여 설계하고 이 모형에 따라서 영상 초록을 구성한 후 순차적 영상 초록과 요약문과 색인어 추출의 정확도 측면에서 어떤 차이를 보이는지 6개의 표본 비디오와 26명의 피조사자를 이용하여 실험을 통해서 조사해 보았다. 조사 결과, 배열 모형 기반 영상 초록이 순차적 영상 초록 보다 더 정확한 요약문을 추출하는 것으로 나타났고 색인어 추출의 정확도는 큰 차이가 없는 것으로 나타났다. 또한 영상 초록의 반복 보기의 효과를 측정한 결과 순차적 영상 초록을 먼저 보고 배열 모형 영상 초록을 반복해서 본 경우에 요약문의 정확도가 크게 증가하는 것으로 나타났다. 이러한 실험 결과에 기초하여 디지털 비디오 도서관 환경에서 영상 초록의 두 가지 활용 방안 즉, OPAC 환경에서 영상 초록의 초기값으로 순차적 영상 초록을 제시하고 선택을 통해서 배열 모형 기반 영상 초록이 함께 출력되는 비디오 브라우징 인터페이스를 구성하는 것과 제안된 배열 모형 기반 영상 초록을 영상 질의의 구조화된 매칭 자료로 활용하는 것에 대해서 제안하였다. 2)키프레임 추출 알고리즘 설계와 성능 평가: 비디오의 의미를 잘 표현하고 있는 키프레임들을 추출하는 알고리즘을 설계하고 평가하였다. 구체적으로 영상 초록의 키프레임 선정을 위한 이론 체계를 수립하기 위해서 선행 연구와 이용자들의 키프레임 인식 패턴을 조사하여 분석해 보았다. 그런 다음 이러한 이론 체계를 기초로 하여 하이브리드 방식으로 비디오에서 키프레임을 추출하는 알고리즘을 설계한 후 실험을 통해서 그 효율성을 평가해 보았다. 끝으로 이러한 실험 결과를 디지털 도서관과 인터넷 환경의 비디오 검색과 브라우징에 활용할 수 있는 방안을 제안하였다.

<배열 모형 설계와 평가> 제안된 배열 모형 영상 초록이 순차적 영상 초록 보다 비디오 내용 파악에 있어서 더 유용한 것으로 나타났다. 특히 초록의 유형을 달리하여 반복하여 브라우징하는 것 즉, 순차적 영상 초록을 먼저 본 후 배열 모형 영상 초록을 보면 요약문의 ...

<배열 모형 설계와 평가> 제안된 배열 모형 영상 초록이 순차적 영상 초록 보다 비디오 내용 파악에 있어서 더 유용한 것으로 나타났다. 특히 초록의 유형을 달리하여 반복하여 브라우징하는 것 즉, 순차적 영상 초록을 먼저 본 후 배열 모형 영상 초록을 보면 요약문의 정확도가 현저하게 증가하는 것을 확인할 수 있었다. 또한 순차적 초록 또는 배열 모형 기반 초록을 통한 비디오 의미 파악의 정확도가 각 비디오에 따라 다를 수 있음을 확인할 수 있었다. 이러한 실험 결과를 바탕으로 디지털 도서관 환경에서 영상 초록의 활용 방안들을 제안하면 다음과 같다. 첫째, 초기값으로 순차적 영상 초록을 제시하고 반복 보기 버튼을 클릭하면 배열 모형 기반 영상 초록이 함께 출력되는 비디오 브라우징 인터페이스를 제안한다. 이와 같이 배열 모형 영상 초록을 순차적 영상 초록의 대안으로 주장하기 보다는 이 두 유형의 영상 초록을 모두 수용하는 방안을 제시하는 이유는 대부분의 이용자들이 영상 초록을 한번만 보는 것이 아니라 반복 보기를 하고 있는 상황에서 비디오에 대한 좀 더 정확한 의미 추출을 위한 좋은 방안으로 생각하기 때문이다. 둘째, 텍스트 기반의 데이터베이스에서 텍스트 질의가 들어오면 문헌의 전체 원문을 분석하기 보다는 메타데이터에 기초한 색인 파일과 매칭시키는 것과 같은 원리로 제안된 배열 모형 영상 초록은 영상 질의의 매칭 자료로 활용한다. 즉, 영상 질의로 이미지(프레임)가 하나 또는 복수개가 사용될 수 있는데 이러한 이미지들을 제안된 배열 모형에 따라 구성한다면 더 정확한 검색 결과를 기대할 수 있다. 예를 들어서 영상 질의로 사용되는 두개의 이미지들이 배열 모형의 사건과 배경에 각각 해당된다면 구조화된 질의에서 각 질의 이미지를 사건과 배경에 할당되는 영상 초록의 키프레임들과 매칭시킬 때 사건(또는 배경)으로 구분된 키프레임들만을 분석하여 동일한 또는 유사한 이미지를 확인해 봄으로써 탐색 시간을 줄임과 동시에 탐색의 정확도도 높일 수 있을 것이다. <키프레임 추출 알고리즘 설계와 성능 평가> 구현된 알고리즘은 개념적 모형을 기반으로 하여 키프레임 추출 과정을 두 단계 즉, 제 1 단계는 이미지 프로세싱을 이용하여 키프레임 후보 그룹들을 추출하고, 제 2 단계는 제 1 단계에서 추출된 후보 키프레임 그룹 중에서 정해진 기준에 따라서 수작업으로 키프레임들을 최종적으로 추출하였다. 제안된 알고리즘의 성능을 평가하기 위해서 그 알고리즘을 활용하여 구성한 영상 초록(하이브리드 방식)을 일정한 시간 간격에 따라서 무작위로 키프레임을 추출하여 구성한 영상 초록(랜덤 방식)과 비교해 보았다.
실험 결과에 의하면 하이브리드 방식으로 구성된 영상 초록의 요약문 정확률 평균(0.61)이 랜덤 방식의 평균(0.55) 보다 높고 그 차이가 통계적으로 유의미한 것으로 나타났으나 그 차이는 크지 않았다. 순차 영상 초록에서 두 가지 키프레임 추출 방식의 평균 정확도(0.63, 0.50)의 차이가 나타났지만 구조화 영상 초록에서 이 두 방식의 평균 정확도(0.58, 0.60)의 차이가 거의 나타나지 않았기 때문이다. 이는 구조화 영상 초록의 경우 랜덤으로 추출된 키프레임들이라도 키프레임간의 문맥적 관계를 설정해 줌으로써 비디오의 맥락 파악을 용이하게 해 주었기 때문으로 생각된다.
이러한 연구 결과를 디지털 도서관 및 인터넷 환경에서 비디오 자료의 검색 효율성을 높이기 위해서 응용해 볼 수 있을 것이다. 첫째, 순차 초록에서 하이브리드 방식에 의한 영상 초록의 질이 랜덤 방식에 의한 영상 초록의 질 보다 훨씬 높기 때문에 하이브리드 방식이 대학, 학교 및 방송사 디지털 도서관의 비디오 자료 표현에 활용되는 것이 바람직 할 것으로 보인다. 둘째, 이미 키프레임들을 무작위로 추출하여 구성한 영상 초록을 많이 활용하고 있는 인터넷 검색 환경에는 영상 초록의 효율성을 높이기 위해서 자동으로 추출된 키프레임들을 문맥적 관계에 기반하여 재구성한 구조화 영상 초록을 구현하는 방안을 적용해 볼 수 있을 것이다.