휴대용 전자제품의 가상시작을 위해 다양한 가상현실(VR) 기법들이 적용될 수 있지만, VR기반 가상시작 방안은 상당한 시간과 노력 소요, 고가 장비 요구, 현실감 미흡 등의 단점을 갖고 있다. 특히, 저가의 VR 장비를 이용하여 사용자에게 실제 손으로 제품을 조작하는 ...

휴대용 전자제품의 가상시작을 위해 다양한 가상현실(VR) 기법들이 적용될 수 있지만, VR기반 가상시작 방안은 상당한 시간과 노력 소요, 고가 장비 요구, 현실감 미흡 등의 단점을 갖고 있다. 특히, 저가의 VR 장비를 이용하여 사용자에게 실제 손으로 제품을 조작하는 것과 유사한 감각적인 상호작용을 제공하는 일은 매우 어렵다. 최근 증강현실(AR) 기술을 접목하여 VR 기반 가상시작의 이러한 단점들을 극복하려는 시도가 진행되고 있다.

본 연구에서는 디지털 휴대용 전자제품의 개발 참여자가 고가의 장비를 사용하지 않고 제품의 디자인(형상/기능/유저인터페이스)을 쉽게 체험할 수 있게 하며, 실제 제품을 손으로 조작하는 것과 같은 느낌을 제공하는 증강현실 기반 감각형 상호작용 및 시뮬레이션 방안을 개발하였다.

휴대용 전자제품의 가상모델을 제품모델, 멀티미디어 콘텐츠 데이터, 기능적 행동양태 정보모델, 유한상태기계 등으로 구성하였으며, 이러한 구성요소들의 용이한 생성 및 유기적인 운영 방안을 제시하고, 이를 바탕으로 가상모델을 구축하는 방안을 개발하였다. 제품의 HMI 기능적 행동양태는 제품 입력장치를 통해 발생된 이벤트에 따른 제품이 반응하는 양식을 나타내는데, 상태전이방법론을 적용하여 기능적 행동양태 정보모델로 표현하였다.

컴퓨터 비젼 기반 증강현실 환경에서 사용자는 감각형 오브젝트들을 양손으로 조작하여 실세계 영상 위에 실시간 투영된 가상 제품모델과 상호작용을 할 수 있다. 상호작용에 이용되는 감각형 오브젝트를 제품용과 포인터용으로 구분되는데, 제품용 오브젝트는 AR 환경에서 제품의 위치와 자세 조작에 이용되고, 포인터용 오브젝트는 제품용 오브젝트와 연동하여 휴대용 전자제품의 입력장치를 조작하여 HMI 이벤트를 발생시키는 매체로 이용된다. 제품용 오브젝트로는 RP 모델을 이용하고, 포인터용 오브젝트로는 종이모델 또는 손가락 고정구를 이용하는 상호작용 방안을 제시하였다. 특히, RP 모델과 손가락 고정구를 이용한 상호작용을 통해 사용자의 손끝을 통해 가상제품의 입력장치를 조작할 수 있음을 보였다. 또한, 이러한 상호작용 방안의 유효영역을 산출하였고, AR 기반 환경 상의 실세계 영상에서 손 영역 검출 및 손 가림 현상 해결 방안을 제시하였다.

개발된 연구내용을 바탕으로 감각형 증강현실 기반 가상디자인품평 시스템을 구현하였고, 제시된 방안의 품질과 효용성을 파악하기 위한 기초적인 사용성 평가를 수행하였다. 이를 통해 개발된 상호작용 및 시뮬레이션 방안에 대한 사용자들의 긍정적인 반응을 얻었으며, 제시된 방안이 접목된 시스템이 휴대용 전자제품의 디자인 검토 및 품평을 위한 좋은 도구로 사용될 수 있음을 알았다.

Various virtual reality (VR) techniques can be combined to support virtual prototyping of digital handheld products, but conventional VR-based prototyping still suffers from lack of reality and presence in spite of a significant amount of time and eff ...

Various virtual reality (VR) techniques can be combined to support virtual prototyping of digital handheld products, but conventional VR-based prototyping still suffers from lack of reality and presence in spite of a significant amount of time and effort, and costly investment in equipments necessary to construct a decent virtual environment. Moreover, it is not easy to acquire tangible user interaction with low-cost VR devices. Recently, augmented reality (AR) approaches have been applied as alternatives for developing VP solutions to overcome the shortcomings of VR-based prototyping.

In this study, we developed a new approach to tangible AR-based interaction and simulation for virtual prototyping of digital handheld products, which does not require high-cost devices, makes the user experience product design (shape, function, user interface) with ease, and provides a feeling like manipulating products with human hands.

The virtual model of a digital handheld product consists of four components: a product model, multimedia contents data, an HMI functional model, and a finite state machine. We addressed the generation of these components and their systematic operation, and described how to construct the virtual model using them. The HMI functional model is an information model that represents the human-machine interface (HMI) related functional behavior of the product. In this study, we adopted a state transition methodology to capture the functional behavior.

By manipulating tangible objects with his or her hands in a computer-vision based AR environment, the user interact with virtual product models which are overlaid on real world image in real time. We use two types of tangible objects: one is for the product, and the other is for pointer. The product-type tangible object is used to manipulate the position and orientation of the product in an AR environment. Combined with the product-type tangible object, the pointer-type tangible object is used as a tool to create HMI events. The user creates HMI events by touching specified regions (buttons or sliders) of the product-type tangible object with the pointer-type tangible object. We proposed interaction approaches using an RP model for the product-type tangible object and using a paper model or a finger fixture for a pointer-type tangible object. Interestingly, we found that using the RP model and the finger fixture as tangible objects, the user can interact with the virtual product by touching the product-type tangible object with the tip of his or her index finger wearing the finger fixture. Additionally, we estimated a valid region of the size and the interval to realize smooth and accurate interaction in the AR environment, and proposed a solution to recover the image of real objects (i.e., hands) occluded by the image of virtual objects in the AR environment.

Based on the proposed approach, we implemented a product design evaluation system based on the proposed approach to tangible AR-based interaction and simulation, and performed a preliminary user study to investigate the usefulness of quality of the approach. From the user study, we found that it obtained highly encouraging feedback from users, and that the system can be used as a good tool for design review and evaluation of digital handheld products.

휴대용 전자제품의 가상시작을 위해 기존 가상현실(VR) 기반의 방안들을 적용하기에는 상당한 인력과 비용 소요, 현실감 미흡, 고가 장비 요구 등의 단점이 있다. VR 기반 가상시작을 통해 사용자에게 부피감 및 촉감을 제공하는 것이 쉽지 않으며, 실제 손으로 제품을 조 ...

휴대용 전자제품의 가상시작을 위해 기존 가상현실(VR) 기반의 방안들을 적용하기에는 상당한 인력과 비용 소요, 현실감 미흡, 고가 장비 요구 등의 단점이 있다. VR 기반 가상시작을 통해 사용자에게 부피감 및 촉감을 제공하는 것이 쉽지 않으며, 실제 손으로 제품을 조작하는 것과 유사한 감각적인 상호작용을 제공하는 일은 매우 어렵다. 최근 증강현실(AR) 기술을 접목하여 VR 기반 가상시작의 이러한 단점들을 극복하려는 시도가 진행되고 있다. 본 연구에서는 디지털 휴대용 전자제품의 개발 참여자가 고가의 장비를 사용하지 않고 제품의 디자인(형상/기능/유저인터페이스)을 직관적이고, 실감나게 체험할 수 있게 하며, 실제 제품을 조작하는 것과 같은 느낌을 제공하는 증강현실 기반 감각형 상호작용 및 시뮬레이션 방안을 개발하였다.

휴대용 전자제품의 가상모델을 제품모델, 멀티미디어 콘텐츠 데이터, 기능적 행동양태 정보모델, 유한상태기계 등으로 구성하였으며, 이러한 구성요소들의 용이한 생성 및 유기적인 운영 방안을 제시하고, 이를 바탕으로 가상모델을 구축하는 방안을 개발하였다. 제품의 HMI 기능적 행동양태는 제품 입력장치를 통해 발생된 이벤트에 따른 제품이 반응하는 양식을 나타내는데, 상태전이방법론을 적용하여 기능적 행동양태 정보모델로 표현하였다.

개발된 상호작용 방안을 통해 사용자는 컴퓨터 비전 기반 증강현실 환경에서 감각형 오브젝트들을 양손으로 조작하여 실세계 영상 위에 실시간 투영된 가상 제품모델과 상호작용을 할 수 있다. 상호작용에 이용되는 감각형 오브젝트를 제품용과 포인터용으로 구분되는데, 제품용 오브젝트는 AR 환경에서 제품의 위치와 자세 조작에 이용되고, 포인터용 오브젝트는 제품용 오브젝트와 연동하여 휴대용 전자제품의 입력장치를 조작하여 HMI 이벤트를 발생시키는 매체로 이용된다. 제품용 오브젝트로는 RP 모델을 이용하고, 포인터용 오브젝트로는 종이모델 또는 손가락 고정구를 이용하는 상호작용 방안을 제시하였다. 특히, RP 모델과 손가락 고정구를 이용한 상호작용을 통해 사용자의 손끝을 통해 가상제품의 입력장치를 조작할 수 있음을 보였다. 또한, 이러한 상호작용 방안의 유효영역을 산출하였고, AR 기반 환경 상의 실세계 영상에서 손 영역 검출 및 손 가림 현상 해결 방안을 제시하였다.

개발된 연구내용을 바탕으로 감각형 증강현실 기반 가상디자인품평 테스트베드를 구현하여 기초적인 사용성 평가를 수행하였다. 이를 통해 개발된 상호작용 및 시뮬레이션 방안에 대한 사용자들의 긍정적인 반응을 얻었으며, 제시된 방안의 품질과 효용성이 좋음을 확인할 수 있었다.

본 연구에서 개발된 감각형 증강현실 기반 상호작용 및 시뮬레이션 방안이 접목된 가상디자인품평 시스템은 감각형 오브젝트들을 통한 가상제품과의 직관적인 상호작용을 제공하여 사용자로 하여금 제품의 디자인(형상/기능/유저인터페이스)을 실감나게 체험하게 하고, 실 ...

본 연구에서 개발된 감각형 증강현실 기반 상호작용 및 시뮬레이션 방안이 접목된 가상디자인품평 시스템은 감각형 오브젝트들을 통한 가상제품과의 직관적인 상호작용을 제공하여 사용자로 하여금 제품의 디자인(형상/기능/유저인터페이스)을 실감나게 체험하게 하고, 실제 제품을 조작하는 것과 같은 느낌을 갖게 한다. 궁극적으로는 제품에 대한 사용자의 요구 및 의견을 효율적으로 수렴할 수 있는 수단을 제공할 수 있다. 본 연구결과에 대한 기대효과 및 활용방안은 다음과 같다.

- 기술적 측면: 기하모델링, CAD, 가상시작, 증강현실, 정보모델링, 영상미디어 처리, 제품디자인 및 개발 등의 여러 분야 기술을 원활하게 접목시킴으로써 증강현실 기반 감각형 오브젝트를 이용한 상호작용 기술과 기능적 행동양태의 실감나는 표현 및 재현 기술을 개발하였으며, 이를 바탕으로 새로운 개념의 가상디자인품평 기술을 확보하였다. 특히, 개발될 기술은 제품디자인, CAD, 가상시작, 증강현실 분야에서 학문적 진보의 달성과 더불어 지적재산권을 창출할 수 있으리라 기대한다.

- 경제 산업적 측면: 개발된 기술을 가상디자인품평에 적용하여 제품개발과정에 있는 휴대용 전자제품들에 대한 디자인품평 및 사용성 평가를 위한 도구로 사용함으로써 디자인 오류의 조기 발견, 의사전달 상의 오류 절감, 소비자 의견의 신속한 수렴 등으로 인해 물리적 시작품 제작 회수 감소 및 제품 경쟁력 향상에 기여할 수 있으라 사료된다. 추후, 본 연구에서 개발된 기술을 상용 가상품평 솔루션 개발업체와 디지털 제품 제조업체(LG전자, 삼성전자 등)에 적용해보고자 한다.

- 기술 적용 분야: 개발된 기술은 디지털 제품의 온라인 홍보 및 e-Market 분야에 쉽게 적용될 수 있으며, 감각형 상호작용과 행동양태 모델링 기술의 접목이 요구되는 e-Manual, 가상 교육 시스템(virtual education system), 가상 박물관(virtual heritage), 인공지능 캐릭터 등장 온라인 3D 게임 등에 유용하게 적용될 수 있으리라 기대한다.