음향-조음 역변환(acoustic-to-articulatory inversion)이란 음향 정보(acoustic features)를 통해 조음점(articulators)을 역추적하는 방법으로 이론적, 실용적 측면에서 다양하게 활용될 수 있는 중요한 연구임에도 불구하고, 문제 자체의 비고유성(non-uniqueness)과 ...

음향-조음 역변환(acoustic-to-articulatory inversion)이란 음향 정보(acoustic features)를 통해 조음점(articulators)을 역추적하는 방법으로 이론적, 실용적 측면에서 다양하게 활용될 수 있는 중요한 연구임에도 불구하고, 문제 자체의 비고유성(non-uniqueness)과 비선형성(non-linearity)으로 인해 해결하기 어렵다는 단점을 갖는다. 본 연구에서는 이러한 음향-조음 역변환 문제를 해결하기 위해 선행연구에서 제시한 다양한 기계학습(machine learning) 방식을 참고하여 1개의 네트워크로 구성된 단일 기계학습 모델과, 2개의 네트워크로 구성된 복합 기계학습 모델을 제시하여 음향-조음 역변환 문제 해결에 가장 적합한 기계학습 모델을 알아보고자 한다.
본 실험에서는 단일 기계학습 모델을 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), BRNN(Bidirectional RNN) 모델로 구성하여 음향 데이터를 가장 정확하게 학습하는 모델을 파악하고, 복합 기계학습 모델은 DRNN(DNN-RNN), DBRNN(DNN-BRNN), CBRNN(CNN-BRNN) 모델로 구성함으로써 앞 단 모델에서 음향 데이터의 특징을 가장 잘 추출하는 모델을 알아보고자 한다. 모델의 학습을 위해 mngu0 코퍼스의 음향 정보를 입력값(input)으로 삼고, EMA(electromagnetic articulography) 조음 정보를 목표값(target)으로 이용하여 전체 모델을 학습하였다.
훈련이 완료된 모델에 mngu0 코퍼스에서 제공하는 테스트 음향 정보를 넣어 조음점을 예측하였으며 그에 대한 RMSE(Root Mean Square Error)를 계산하였다. 단일 기계학습에서는 음향 데이터의 시간정보를 양방향으로 동시에 훈련하는 BRNN 모델(RMSE: 1.022mm)이 단방향 만으로 훈련하는 RNN 모델(RMSE: 1.126mm)보다 우수한 성능을 거두었으며, RNN 모델은 DNN 모델(RMSE: 1.140mm)보다 DNN 모델은 CNN 모델(RMSE: 1.194mm)보다 더 나은 성능을 보여주었다. 이는 음향-조음 역변환 문제를 다룰 때, 시간 정보의 학습이 매우 중요하다는 것을 의미한다. 복합 기계학습 모델에서는 CBRNN 모델(RMSE: 0.975mm)이 DBRNN 모델(RMSE: 1.011mm)보다 더 나은 성능을 보였는데 이는 CNN 모델의 음향 데이터 특징 추출 능력이 DNN 모델보다 탁월하다는 것을 의미하며, CNN 모델 자체의 부족한 시계열 음향 특징(temporal acoustic features)의 학습능력을 시계열 정보 학습에 뛰어난 BRNN 모델을 통해 극복하였다고 볼 수 있다.

Acoustic-to-articulatory mapping, also known as speech inversion is a task that retrieves articulators’ movements from acoustic information and it is nontrivial due to its highly non-linear and non-unique nature of mapping human speech to a certain co ...

Acoustic-to-articulatory mapping, also known as speech inversion is a task that retrieves articulators’ movements from acoustic information and it is nontrivial due to its highly non-linear and non-unique nature of mapping human speech to a certain configuration of vocal track that generated the speech signal. Based on the previous studies, this paper proposes two types of machine learning architectures: one is single machine learning models structured with one network, and the other is mixed machine learning models structured with two networks and we will study the networks that gives the best performance on the speech inversion task.
In the experiment, mngu0 corpus providing acoustic signal and its matched articulatory pellet movement was employed to all proposed models. The single machine learning models including DNN(deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), and BRNN(bidirectional RNN) trained speech signal and the results were compared to see which models predicted the articulatory trajectory with high accuracy. The mixed machine learning models including DRNN(DNN-RNN), DBRNN(DNN-BRNN), and CBRNN(CNN-BRNN) were connected with two machine learning models and the first model working as a feature extractor was focused and evaluated to discover the model that extracted the speech features with high efficiency.
Provided test speech data from mngu0 corpus was applied to all trained models and RMSE(Root Mean Square Error) from each model was calculated to evaluate their performance. In the single machine learning models, BRNN learning the past and the future temporal information of the speech signal by simultaneously feeding the input in the forward and backward direction shows 1.022mm RMSE and it is lower than RNN’s(1.126mm RMSE) that learns only forward temporal information of acoustic data. Compared to DNN(1.140mm RMSE), and CNN(1.194mm RMSE) whose networks are unable to learn sequential speech information, BRNN still outperforms the other networks and it indicates that network’s ability to train temporal information in speech data is critical to speech inversion task. In the mixed machine learning models, CBRNN(0.975mm RMSE) achieves the lower RMSE than DBRNN’s(1.011mm RMSE) and it implies that CNN is superior in feature extraction to DNN. CNN itself, however, is insufficient to learn speech information but its excellent power of feature extraction derives the best performance on speech inversion by connecting it to BRNN.

말소리, 즉 음성(speech)은 혀를 비롯한 여러 조음 기관(articulators)의 체계적이고 물리적인 움직임, 즉 ‘조음’(articulation)을 통해 만들어진다. 공학, 교육, 의료 등 다양한 분야에서 조음 연구의 중요성과 조음 정보의 유용성이 강조됨에도 불구하고, 비용과 기술의 ...

말소리, 즉 음성(speech)은 혀를 비롯한 여러 조음 기관(articulators)의 체계적이고 물리적인 움직임, 즉 ‘조음’(articulation)을 통해 만들어진다. 공학, 교육, 의료 등 다양한 분야에서 조음 연구의 중요성과 조음 정보의 유용성이 강조됨에도 불구하고, 비용과 기술의 문제로 인해, 대부분의 음성 연구는 음향 정보만을 이용한 연구에 국한되어 왔다. 말소리의 음향 정보(acoustic information)를 바탕으로 그 소리를 생성해 낸 조음 형태(articulatory configuration)를 역으로 재구성하는 기술을 ‘speech inversion’ 혹은 음향-조음 간 매핑(acoustic-to-articulatory mapping)이라고 하는데, 본 연구는 최신의 기계학습 알고리즘을 이용한 speech inversion 시스템 개발에 관한 연구이며, 나아가 교육과 의료분야에서의 그 잠재성을 제시하는 것을 목표로 한다. 조음 정보의 이용은 자동 음성 인식(automatic speech recognition; ASR)과 음성 합성(speech synthesis) 기술의 성능 향상에는 물론, 제 2언어 학습자를 위한 효율적인 발음 교육, 의료적 차원으로는 청력이나 뇌 기능, 발음 기관 상의 문제로 조음 장애를 보이는 환자들의 조음 치료에도 유용하게 이용되어 왔다. 하지만, 조음 정보는 구강 속에서 일어나므로 그 정보를 얻기 위해서는 높은 비용의 장비와 기술에 의존해야 한다. 최근 음성 공학과 기계학습의 기술 발달로 조음 정보는 음성의 음향적 정보로부터 어느 정도 추정이 가능하게 되었고 (speech inversion), 이를 이용하여 조음 형태를 시각화해 제시할 수 있게 되었다. 즉, EMA(electromagnetic articulography)와 같은 고가의 실험 장비 없이도 구강(vocal cavity)내 움직임들을 효과적으로 시각화할 수 있게 된다.
이러한 speech inversion 기술의 잠재적 가치에도 불구하고, 크게 세 가지의 난제가 존재한다. 첫째, 하나의 음향 파라미터셋(a set of acoustic parameters)에는 하나의 조음 형태가 대응되지 않고, 여러가지의 조음 형태가 대응될 수 있다는 것이다(‘one-to-many problem’). 예를 들어, 발화 중에는 휴지 구간(pause)이 존재할 수 있는데, 휴지 구간에도 조음기관들은 다양한 모양을 보일 수 있다. 예를 들어, ‘perfect memory’를 발화할 때 /t/는, 음향적으로는 실현되지 않지만, 실제 조음상에선 혀의 움직임이 관찰된다. 둘째, 음향과 조음 사이에는 비선형(non-liear)의 관계가 존재한다. 발화 중에 일어나는 조음동작들은 분절화할 수 없는 연속적인 움직임들의 시간적 중첩(temporal overlap)으로 구성된다. 하지만 음향에서는 조음의 연속성이 선형적으로 드러나지 않는다. 예를 들어, /s/를 만들어내기 위해 혀는 해당 조음 위치로 서서히 이동하게 되지만, 음향상에서 /s/는 연속적으로 실현되지 않고 어느 순간에 급격히 발생한다. 이러한 비선형성(non-linearity)은 음향과 조음의 매핑을 더욱 어렵게 만든다. 혀의 위치와 공명주파수(formant frequency)의 관계도 그러하다. 셋째, 동시조음(coarticulation)도 음향과 조음의 복합적인 관계를 보여준다. 즉, 조음은 연속성을 갖고 있기 때문에 조음동작들 간의 중복이 필연적으로 발생하게 된다. 하지만 동시조음이 발생할 때 음향상에서 이를 확인하는 것은 매우 힘들다. 본 연구는 speech inversion의 이러한 내재적 문제를 해결하고자 기계 학습(machine learning) 알고리즘 중 하나인 인공 신경망 모형을 적용하고자 한다. 본 연구에서의 인공 신경망(artificial neural network: ANN) 모형은 데이터를 기반으로 모델을 수립하며, 일대다 대응(one-to-many mapping), 즉 비고유하고(non-unique) 비선형적인(non-linear) 변수들 간의 관계를 포착하는 데 적합하다는 특징이 있다. 나아가, 최신의 기계학습의 알고리즘인 심층신경망(deep neural network: DNN)을 활용하여, 말소리의 음향 정보로부터 그러한 소리를 생성하는 원천으로서의 조음 양상을 수학적으로 재구하는 speech inversion을 모델링하고자 한다. 본 연구는 최신의 기계학습(machine learning) 알고리즘인 인공신경망(artificial neural network: ANN)과 심층신경망(deep neural network: DNN)을 활용하여 말소리의 음향 정보로부터 그 조음 형태를 재구성해 내는 speech inversion를 해결하고자 한다. 또, 세계 최초로 실시간 조음 예측기(real-time articulatory estimator)를 개발하여 영어 교육과 언어 치료 분야에서의 그 잠재적 유용성을 평가하고자 한다.

본연구는 네 가지 단일 기계학습 모델과 세 가지 복합 기계학습 모델을 이용하여 음향 정보를 통해 조음점을 역추적하는 speech inversion 실험을 진행하였으며 어떠한 모델이 speech inversion 문제를 가장 탁월하게 해결하는지 알아보고자 특징 추출과, 시계열 정보의 ...

본연구는 네 가지 단일 기계학습 모델과 세 가지 복합 기계학습 모델을 이용하여 음향 정보를 통해 조음점을 역추적하는 speech inversion 실험을 진행하였으며 어떠한 모델이 speech inversion 문제를 가장 탁월하게 해결하는지 알아보고자 특징 추출과, 시계열 정보의 훈련이라는 두 가지 관점에서 모델을 평가하였다. 올바른 특징 추출은 기계 학습 성능과 속도향상에 크게 기여하는데 ,이를 알아보고자 시계열 정보 훈련 전 특징 추출 층을 추가한 복합 기계학습 모델을 구성하여 실험을 진행하였다. DNN 모델을 통해 특징 추출을 진행한 DRNN 모델은 1.148mm의 RMSE를 달성하였으며 이는 단순 RNN 모델을 사용하였을 때 보다 약간의 성능 향상을 보여주었지만, DBRNN 모델이 달성한 1.148mm의 RMSE는 BRNN 모델을 단독으로 사용한 경우의 1.022mm RMSE보다 성능이 떨어지는 경향을 보여주었다. 따라서 DNN 모델을 통한 앞 단의 음향 정보 특징 추출은 이후 진행되는 훈련 결과에 커다란 영향을 줄 수 있다고 보기 어렵다. 음성데이터나 이미지 데이터 특징 추출에 높은 성능을 나타내는 1-10CNN 모델이 단독으로 사용된 모델의 최적화 RMSE는 1.194mm로 타 모델에 비해 높은 RMSE를 보여줄 뿐 아니라 이를 달성한 세대수 또한 250으로 여타 모델에 비해 적지 않다. 따라서 CNN 모델이 speech inversion 문제를 접근할 때 음향 정보의 특징 추출 도구로서 부적합한 모델로 보일 수도 있다. 그러나 이러한 CNN 모델이 복합 모델로서 BRNN 모델과 함께 훈련을 진행할 때는 0.975mm RMSE로 가장 월등한 성능을 거두었는데, 이는 특징 추출을 DNN 모델로 진행한 DBRNN 모델의 RMSE보다 0.035mm 낮은 수치이다. 이를 통해 볼 때 CNN 모델이 DNN 모델에 비해 음향 정보의 특징은 다소 정확하게 추출하지만 음향의 시계열 정보를 홀로 학습하여 조음 예측 문제를 해결하기에는 다소 어려운 점이 있다고 할 수 있다. 따라서 CBRNN 모델은 이러한 CNN 모델의 특징 추출 장점은 최대한 살려 음향 정보의 특징을 올바르게 추출하고, 시계열 정보 훈련에 취약하다는 단점을 시계열 정보 훈련에 강한 BRNN 모델과 결합하여 보완함으로써 타 모델들에 비해 speech inversion 문제를 더 정확하게 다룬다고 할 수 있다. 시간 정보를 담고 있는 음향 정보를 얼마나 잘 훈련하였는지가 모델의 훈련성과를 가를 수 있기에 단일 기계학습 모델들 중에 어떠한 모델 구조가 시계열 정보를 가장 잘 훈련하였는지 알아보고자 한다. 본실험에서 이러한 시계열 정보를 가장 잘 훈련한 단일 기계학습 모델은 RMSE가 1.022mm까지 떨어진 BRNN 모델로 같은 시계열정보 훈련 모델인 basicRNN 모델(RMSE: 1.191mm)과 lstmRNN 모델(RMSE: 1.176mm) 그리고 gruRNN 모델(RMSE: 1.126mm) 보다 더 좋을 뿐 아니라, 비시계열 정보 훈련 모델인 DNN, CNN 모델과 비교해 보더라도 더 좋은 성능을 보여준다. 따라서 정방향의 정보만 학습하는 RNN 계열의 모델보다 양방향의 정보를 동시에 학습하는 BRNN 모델이 음향 정보를 제대로 훈련한다고 볼 수 있다. 또한 세가지 형태의 RNN 모델 은닉층 cell의 성능을 비교한 실험에서 GRU를 사용한 gruRNN 모델이 1.126mm의 RMSE로 RNN 모델 중 가장 낮으면서 동시에 이를 달성한 세대수도 100으로 가장 적었는데, 이는 GRU가 타 은닉층 cell 구조보다 더 빠르고 효과적으로 시계열 정보를 학습한다고 볼 수 있다. DNN모델의 경우 시간 정보를 추가하여 훈련 할수록 RMSE가 점차 낮아지는 것을 확인하였나 그럼에도 불구하고 시계열 정보를 담고 있는 음향 정보를 훈련하기 위해서는 DNN 모델 구조보다 RNN모델 구조가 더 뛰어나다고 할 수 있겠다. 기존 연구들은 실시간 피드백을 주기보다 사후 피드백을 주는 데에 초점을 맞추고 있거나, 실시간 피드백을 위해선 초고가의 장비를 사용해야 한다는 공간적, 시간적 제약이 있었다. 본 연구팀의 연구 역량과 기술력을 통해 1,2차년 동안 극대화된 정확도를 가진 본 연구의 시스템을 실시간 웹모델로까지 구축을 완성한 상태이다. 기존 연구들과는 달리 거의 무료에 가까운 실시간 조음 피드백 시스템을 제2언어 학습과 언어 치료 분야에 보급할 계획이고, 향후 모바일폰의 앱으로 구현할 예정이다