연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > Research Project Search > Research View

Research Projects Detailed Information

인간과 실시간 협연을 위한 바이올린 연주 로봇 개발
Development of Viloinist Robot Using Auditory Feedback System For Concert
  • Researchers have entered the information directly to the NRF of Korea research support system
Program 학제간융합연구사업 [지원년도 신청 요강 보기 지원년도 신청요강 한글파일 지원년도 신청요강 PDF파일 ]
Project Number 2014S1A5B6035098
Year(selected) 2014 Year
Research period 1 Year (2014년 11월 01일 ~ 2015년 10월 31일)
chief of research 김동한
Executing Organization 경희대학교& #40;국제캠퍼스& #41;
the present condition of Project 종료
Cooperation researcher 이순걸(경희대학교)
박기영(홍익대학교)
이범주(명지대학교)
홍성규(경희대학교)
Research Summary
  • Goal
  • 본 연구는 인간과 로봇 사이의 상호 협력의 중요한 요소인 Auditory feedback과 관련하여 wavelet transform을 이용한 실시간 제어시스템 기술을 연구하고 이를 실제 악기 연주로봇에 적용하는 것이다. 기존의 Auditory feedback의 연구는 의료분야에서만 제한적으로 시행되어져 왔고 그것도 delayed feedback 형태로만 연구되어져 왔다. 본 연구에서는 FFT(Fast Fourier Transform)을 통한 Auditory feedback 뿐만 아니라 Wavelet transform을 이용한 소리의 좋고 나쁨의 판단과 이를 실시간으로 Auditory Feedback 제어하는 알고리즘을 개발한다. 또 하나의 목표인 현악기 연주 로봇의 경우, 음질은 현에 가하는 활의 압력, 활을 켜는 속도, 그리고 브릿지와 활 사이의 거리의 세 요소에 의해 영향을 받는다. 좋은 연주 음질을 얻기 위해서는 음질과 활의 압력 간의 관계를 정의하고, 이에 따른 제어 입력 연구도 수행한다. 악기의 물리적 특성 연구 및 제어 시스템 개발을 통한 악기 연주 기술 개발 및 실제 성능 평가를 통한 사람과 유사한 연주 기술 확보 및 차세대 연주 로봇 기술을 개발한다.
    - 바이올린의 물리적 특성 연구 및 제어 시스템 개발을 통한 바이올린 연주 로봇 기술 개발
    - 바이올린 연주 로봇 기술 개발을 위한 하드웨어 설계 및 연주 핵심 기술, 알고리즘 개발을 통한 국내 연주 로봇 핵심 기술 확보
    - Auditory Feedback 알고리즘 연구 및 개발로 바이올린 연주 로봇의 올바른 운궁법 학습 및 연주 성능 향상, 나아가 연주 로봇의 핵심 기술 축척 도모
    - 바이올린 연주 기술 개발 및 실제 성능 평가를 통한 사람과 유사한 연주 기술 확보 및 차세대 연주 로봇 기술 개발 도모
  • Expectation Effectiveness
  • HRI 기술을 이용한 로봇의 경우, 다양한 형태의 입력을 받게 되지만, 주로 사람의 의지를 인식할 수 있는 방법으로 시각, 청각, 촉각 등의 센서를 사용한다. 특히 사람의 음성 및 동작을 인식하고, 다양한 소리들을 인식하는 연구들이 활발히 연구되고 있다. 본 연구에서는 HRI의 대표적인 요소 중 Auditory feedback 연구를 수행한다. 연구의 중심인 Wavelet transform을 이용한 audotory feedback은 처음 시도되는 것으로 HRI 분야에 널리 활용될 수 있을 것으로 기대한다. 또한 실시간 음원추출과 변환을 통해서 로봇을 제어하므로 좀 더 정밀한 소리를 만들어 낼 수 있을 것이다. 또 하나의 연구 목표인 악기 연주 로봇의 경우도 국내에서는 연구가 전무하며, 새로운 분야로 떠오르고 있는 엔터테인먼트 로봇 분야에 블루오션을 만들 수 있다. 이러한 연구는 현악기를 연주함에 있어 효과적인 제어 알고리즘 기술을 획득하여 SCI급 이상의 논문과 특허를 다수 얻을 수 있을 것으로 기대된다. 관련된 제어와 로봇 분야를 바탕으로 고급 인재를 양성하여 국가 경쟁력 강화에 이바지 한다. 또한 새로운 연구 분야의 창출로 인해 HRI분야와 더 나아가 로봇 분야에서 국내의 입지를 강화하고 이미지 제고에 앞장 설 수 있다. 악기 로봇 제어기술을 기업에 이전하여 악기 로봇을 미국, 독일, 영국 등 선진국에 수출을 기대 할 수 있고, 악기 로봇을 이용한 음악회를 개최하여 경제적 효과를 창출할 수 있다. 결과적으로 새로운 시장창출을 통한 국민들의 취업기회 확대가 가능하고, 국내에 유능한 인재 유치에 효과적일 것이다.
    □ 기술적 측면
    - 다개체 악기 로봇의 연주가 가능하도록 발전시켜 로봇간의 협연 시스템 가능성 향상
    - 현악기를 연주함에 있어 효과적인 제어 알고리즘 기술을 획득하여 SCI급 이상의 논문과 특허 출원 및 등록 가능
    - 다수 로봇의 악기 합주를 통한 악기로봇의 제어능력과 Multi-Agent의 능력 극대화
    - 기계공학, 생체공학, 전자공학, 산업디자인 등의 공동 연구 기반 마련
    □ 경제ㆍ산업적 측면
    - 악기 로봇에 관련된 제어와 분야를 바탕으로 교재를 제작하여 제어시스템 인재를 양성하여 국가 경쟁력 강화
    - 현악기 제어기술을 기업에 이전하여 악기 로봇을 미국, 독일, 영국 등 선진국에 수출을 기대 할 수 있고, 악기 로봇을 이용한 음악회를 개최하여 경제적 효과 창출
    - 새로운 시장창출을 통한 국민들의 취업기회 확대가 가능하고, 국내에 유능한 인재 유치 가능
    - 의료용 로봇 개발의 기반 기술로 활용
  • Summary
  • Auditory Feedback 시스템은 로봇이 만들어 내는 소리를 분석하여, 의도하려는 소리가 나도록 보정하는 일종의 지연 피드백 (Delayed feedback) 시스템이다. 현재 Auditory Feedback 시스템을 적용한 연구는 시작단계이며 바이올린 로봇과 같은 고차원적인 현악기에 적용 연구는 세계에서도 전무한 실정이다. 또한 국내에는 국외에 비해 악기 연주로봇 연구가 현저히 부족한 실정이고, 현악기를 이용한 연주 로봇 기술 연구는 전무한 상태이다. 특히 기존의 지연 피드백 (Delayed feedback)이 아닌 실시간 피드백(Real-time auditory feedback) 시스템에 대한 연구는 처음 시도되는 것이다. 기존 연구의 문제점을 요약하면 다음과 같다.
    (1) Auditory feedback을 사용하지 않기 때문에 로봇의 반복적인 움직임에 정밀도와 정확도가 떨어지고,
    (2) 일부 연구 중인 Auditory Feedback의 경우, 소리를 녹음하여 분석하고 피드백 제어하는 delayed auditory feedback에 국한되어 실시간 피드백 제어가 불가능하며,
    (3) FFT(Fast Fourier Transform)을 사용함으로 인해 실시간 제어가 되지 않는 것이다. 따라서 본 연구에서는 이러한 기존 연구의 단점들을 극복하고자 FFT 뿐만 아니라 Wavelet을 이용한 real-time auditory feedback을 정의하고 연구한다. delayed Auditory Feedback 기초 연구를 위해서, 주파수 영역에서의 소리 분석 모델 구성하고, FFT와 Wavelet transform 소리 모델링을 연구하여, 실시간 음원 추출과 변환을 위한 시스템 구성한다. real-time Auditory Feedback 기술을 연구하기 위해, 연주 평가를 위한 소리 평가 기술을 개발하고, 연주를 통한 소리의 스펙트럼 연구한다. 이와 동시에, 다관절 유연 로봇 기반의 연주 로봇을 개발한다. 개발된 악기 연주 로봇 시스템을 평가하기 위해서 악기의 물리적 특성에 따른 시스템 모델에 기반하여 real-time auditory feedback 적용 후, 연주 성능을 시험 및 평가한다.
Research Summary
  • Korean
  • 최근 로봇 산업의 급속한 발전과 로봇 기능의 다양화로 연구의 방향이 개인용 로봇으로 넓혀지고 있는 추세이다. 이러한 기술 발전으로 사람-로봇 상호작용(Human-Robot Interaction, HRI)에 대한 연구가 각광받고 있다. 특히 사람의 음성 및 동작을 인식하고, 다양한 소리들을 인식하는 연구들이 활발히 진행되고 있다. 그 중 사람-로봇 상호작용의 중요한 요소인 Auditory feedback의 원리를 HRI 시스템에 적용한다면, 로봇이 만들어 내는 소리를 스스로 듣고 평가하고 음을 보정하는 악기 연주가 가능할 수 있다. 또한 사람이 연주하는 소리를 듣고 이에 맞추어 협주를 한다거나, 사람의 연주를 평가하여 문제점을 고쳐주는 교습도 가능해진다. 본 연구는 인간과 로봇 사이의 상호 협력의 중요한 요소인 Auditory Feedback 알고리즘 연구 및 개발을 진행한다. 이로 인해, 바이올린 연주 로봇의 올바른 운궁법 학습 및 연주 성능 향상, 나아가 연주 로봇의 핵심 기술 축척 도모를 기대한다.
  • English
  • Despite the growing interest in developing HRI technologies, there is lacking fruitions in developing robots that can recognize the sounds of string instruments (e.g., violin). We, therefore, develop the auditory feedback system enabling robots to recognize the sounds of violin. Using the auditory feedback, robots can filter the sounds to machine-interpretable signals and then translate the signals to performed the brilliant sounds.
Research result report
  • Abstract
  • 본 과제에서는 Human-Robot Interatction 기술의 대표적인 요소 중 Auditory feedback을 악기를 연주하는 로봇에 적용함. 이는 로봇 스스로 자신이 내는 소리를 듣고 교정하여 좀 더 정확한 악기 연주를 가능케 함.
    본 연구에서는 FFT(Fast Fourier Transform)을 통한 Auditory feedback 뿐만 아니라 Wavelet transform을 이용한 소리의 좋고 나쁨의 판단과 이를 실시간으로 Auditory Feedback 제어하는 알고리즘을 개발함. 또 하나의 목표인 현악기 연주 로봇의 경우, 음질은 현에 가하는 활의 압력, 활을 켜는 속도, 그리고 브릿지와 활 사이의 거리 등 세 요소에 의해 영향을 받음. 이들 중 현에 가하는 압력이 음질에 가장 큰 비중을 차지하기 때문에 좋은 연주 음질을 얻기 위해서는 음질과 활의 압력 간의 관계를 정의하고, 이에 따른 제어 입력 연구도 수행함.
    본 과제에서 개발한 연주 로봇은 상용 수직 다관절 로봇 제품을 이용하여 구성했으며, 로봇의 오른팔 end-effector는 바이올린을 연주할 때, 활을 잡는 역할을 하여 활과 현이 적절한 압력으로 눌러지도록 지탱할 수 있도록 제작하였다.
    또한 본 과제에서 수행한 연구로 인해, bridge에 활이 가까워질수록 내고자 하는 음의 톤을 유지하기 위해 ’bowing force'를 더욱 안정하게 만들어야 한다는 결론을 얻었으며 바이올린 연주 전문가에 의한 실험을 통해 이를 증명하였다.
  • Research result and Utilization method
  • ● 본 연구 과제에서 개발한 Auditory Feedback 시스템은 로봇이 만들어 내는 소리를 분석하여, 의도하려는 소리가 나도록 보정하는 일종의 지연 피드백 (Delayed feedback) 시스템이다. 그 중 의도하려는 소리의 음향 평가 시스템 연구는 시작단계이며 고차원적인 악기에 대한 적용 연구는 세계에서도 전무한 실정이다.
    ● 본 과제에서의 연구는 1) Auditory feedback을 사용하여 로봇의 반복적인 움직임에 정밀도와 정확도가 향상시켰지만, 여전히 음향 평가 시스템의 정확도가 떨어지며, 2) 일부 연구 중인 Auditory Feedback의 경우, 실시간 피드백이 가능하지만, 사람과의 협연을 할 수 있을 정도의 정확도가 떨어지는 단점이 있다. 또한, 3) 바이올린이라는 현악기에 국한되어 다양한 악기에 적용하지 못한다.
    ● 따라서 추가 연구에서는 이러한 기존 연구의 단점들을 극복하고자 음향학과 공학을 융합한 G.H.Q Factor 기반의 절대 음향 평가 시스템을 연구하고자 한다.
    ● 바이올린 연주 평가를 위한 소리 평가 프로그램 개발Auditory feedback 뿐만 아니라 Wavelet transform을 이용한 소리의 좋고 나쁨의 판단과 이를 실시간으로 Auditory Feedback 제어하는 알고리즘을 개발. 본 시스템을 통해 바이올린 연주자의 연주음을 인식하여 그 음이 좋은지 나쁜지를 판단 후, 이를 교정하는 것을 가능케 한다. 나아가 이러한 시스템을 지속적으로 개발한다면 수많은 분야에 기술적용이 가능해질 것으로 예상한다.
    ● 기술 이전 및 제품화 본 연구에서 개발된 바이올린 로봇과 Auditory Feedback시스템 연구를 기업(이산솔루션-로봇뮤지컬 공연)에 이전하고, 제품화를 통해 로봇 회사 성장과 로봇 공연 문화에 이바지함.
    ● SCI(E) 논문 연구에 활용 및 관련 특허 취득 본 연구를 진행함에 있어 SCI(E) 논문에 저술 및 관련 특허를 지속적으로 취득할 예정이다.
  • Index terms
  • 음향 분석, 악기 연주로봇, 인간-로봇 상호작용, 오디토리 피드백, 힘 제어
  • Research Achievements List
데이터를 로딩중 입니다.
데이터 이용 만족도
자료이용후 의견
입력