이 연구의 목표는 음악 가사를 이용하여 주제와 감성을 변수화하고, 오디오의 특성을 추출 및 분석한 후 음악의 성취도와 특정 광고 배경음악으로 사용이 적합한 음악을 예측하는 통합 모델을 구축하는 것이다.
음악에 관한 선행연구는 두 가지 방향으로 진행되었다. 첫 ...

이 연구의 목표는 음악 가사를 이용하여 주제와 감성을 변수화하고, 오디오의 특성을 추출 및 분석한 후 음악의 성취도와 특정 광고 배경음악으로 사용이 적합한 음악을 예측하는 통합 모델을 구축하는 것이다.
음악에 관한 선행연구는 두 가지 방향으로 진행되었다. 첫째는 가사 분석을 중심으로 정성적 분석 또는 정량적 방법론으로서 텍스트 마이닝을 사용하여[1-3]. 가사 주제를 탐구하고[4], 유사 음악을 그룹화하거나, 특정 장르를 예측하는 연구다[5]. 둘째는 컴퓨터공학의 MIR(Music Information retrieval) 분야로서 음악신호에서 특징적인 요인을 추출하는 방법론을 개발하고[6, 7], 추출된 오디오 특성치를 사용하여 음악구조를 분석[8, 9], 음악 장르를 예측하고 클러스터링을 실행하는 연구분야이다[10-15]. 이 연구들은 음원 서비스 기업에서 음악을 추천하는 방법으로 사용되었으며 [16-18], 데이터를 학습한 후 스스로 음악을 만드는 수준으로 확대되었다[19-24]. 특히 MIR분야는 최근 딥러닝을 포함한 인공지능 연구가 활발해 지면서 정확도와 활용도가 높아지고 있다[25].
텍스트 마이닝 분야와 MIR연구는 융합의 중요성이 강조되고 있지만 실질적으로 분리되어 연구되어 왔다. 공학적 측면에서 처리해야 할 범위가 넓고 깊기 때문이다. 방법론적 정교함과 정확도를 목표로 하여 방법론을 개발하고 방법론의 우월성을 제시하는 것에 중요도를 두기 때문에 범용적인 실무 활용성이 약하고 음악 전문가의 니즈가 충분히 반영되지 못하였다. 기존의 연구 경향과 비교하여 이 연구는 다음과 같은 측면에서 차별적 목표를 가진다.
기존의 연구 경향과 비교하여 이 연구는 다음과 같은 측면에서 차별적 목표를 가진다.
첫 번째 목표는 텍스트마이닝 분야와 MIR분야, 음악 도메인 지식의 융합을 시도한다. 음악을 다양한 서비스에 사용할 수 있도록 특정 용도에 맞게 추천하기 위해서는 다양한 콘텐츠 창작자와 기획자가 이해할 수도 있도록 실무적으로 응용 가능한 분석 모델을 제시해야 한다. 이를 위해 방법론 개발 중심이 아닌 기존에 개발된 방법론 중에서 실무적으로 활용 가능성이 큰 변수 탐색과 도출에 집중한다.
둘째, 이 연구의 목표는 음악 분야 외의 다양한 학문의 연구성과를 융합하는 것이다. 특정 용도에 필요한 음악을 평가할 목표변수(label)를 제시하고 이를 예측할 새로운 입력변수(feature)를 발굴하기 위하여 타 학문 분야에서 개발된 연구성과를 활용한다. 목표변수를 무엇으로 선정하는가에 따라서 다양한 용도에 적합한 음악을 예측하는 분석 프레임을 모델링 할 수 있다. label과 feature를 발굴하기 위하여 음악 연구뿐만 아니라 음성분석[26-29] 대한 검토를 진행하며 Mel-Spectrogram과 MFCC를 포함하는 기존 MIR의 선행연구와 언어치료, 정신의학과의 연구와 음성 분석 툴인 Praat, MDVP, Dr. Speech [28, 30, 31]의 활용을 검토한다. 음악 전문가의 상상력을 제안받고 화성악 등 음악 전문가의 지식을 연구에 반영한다. 기존 음악 연구에서 간과했던 음악 작곡가들(MIDI포함)과 광고 음악 감독의 니즈를 고민하고 그들이 생각하는 단어의 형태로 변수를 추출 및 정의[32]하는 것을 목표로 한다.
셋째, 이 연구는 방법론적으로 상관분석부터 텍스트 마이닝, 기계학습, 딥러닝까지 데이터 분석과 활용에 중점을 두고 방법론적 스킬을 종합적으로 사용한다. 변수 간 관계 분석부터 텍스트 마이닝과 기계학습, 딥러닝의 통합적 접근을 시도한다. 방대한 데이터의 수집을 위해서 파이썬 크롤링을 사용하고 대용량 파일 분석을 위해 파이썬(pandas)을 사용한다. 컴퓨터공학이 새로운 feature를 어떻게 정확하게 전처리하고 추출하는가에 집중했다면 이 연구는 기존에 도출된 feature들 간의 관계에 주목하고 음악 분석에 사용되지 않았던 타 분야의 변수를 음악 분석에 적용하는 것을 목표로 한다.
음악을 매개로 하여 텍스트 마이닝, 머신러닝, 딥러닝 방법론을 사용하며 변수에 대한 이해부터 텐서플로우(Tensorflow)와 파이토치(Pytorch)를 사용한 최신의 딥러닝 모델(CNN, RNN, LSTM 등)의 활용까지 컴퓨터 사이언스 비전공자가 접근할 수 있는 최대한의 교육 프로그램 구상에 대한 목적도 가지고 있다.
SPOTIYF DB, FMA dataset를 1차 분석대상으로 하지만 특정 용도에 적합한 데이터를 학습시켜 하는 경우 수집 데이터의 확대는 이 연구의 성과를 위하여 달성하여야 할 과제이다.
이 연구는 (i) 데이터의 구축, (ii) 방법론 (시계열 분석, 텍스트마이닝의 주제, 감성분석, 머신러닝, 딥러닝 (iii) 통계 Tool(SPSS, STATA, R, 파이썬) (iv) 타 연구분야(언어치료, 영어교육, 정신의학과, Praat)의 종합적 적용이라는 점에서 포괄적이고 융합적이라는 특징을 가진다.

1 실무적 시사점
음악 분야 MIDI작곡가, CF음악감독 등이 오랜 경험으로 판별하는 음악의 특성과 분류에 대한 지식을 기존 선행연구에서 도출된 audio feature와 연결한다. 이를 통해 실무적으로 특정 용도에 맞는 음악을 선별하거나 창작에 가이드 라인 역할을 한다. 특 ...

1 실무적 시사점
음악 분야 MIDI작곡가, CF음악감독 등이 오랜 경험으로 판별하는 음악의 특성과 분류에 대한 지식을 기존 선행연구에서 도출된 audio feature와 연결한다. 이를 통해 실무적으로 특정 용도에 맞는 음악을 선별하거나 창작에 가이드 라인 역할을 한다. 특정 용도에 적합한 음악 데이터가 누적되면 유사한 데이터를 유클리디안 거리나 DTW(시계열 매핑)방법을 통해 유사 음악 검색 시스템 구축이 가능하다. (음악전문가 니즈: 평균 음역대 , 하이라이트 음역대, Intro part 피아노, 기타, 현악, 첼로 독주, 독주와 협주의 구분, Prosody(운율 지표), Emotion feature (Timbre: Warm, Cold))
2 중간 결과물
전처리 되는 자료는 연구의 다양화와 확장에 기여하며 광고 음악의 용도별 데이터 구축은 음악과 광고의 협업에 기여한다. (가사 DB, 감성분석 점수DB, 특정 주제 클러스터 소속 확률 DB, 음악 성취도 관련 변수, 자동차 광고음악 labeling 등)
3 이론적 시사점
(1) 가사 분석을 사용한 감성분석 점수와 주제 분석의 점수화
텍스트마이닝을 사용하여 가사를 분석하고 감성사전으로 감성점수를 도출하여 음악 특성을 표현하는 변수로 사용한다. 주제 분석으로 음악이 특정 주제에 속할 확률을 도출하여 각 곡의 주제별 점수를 변수화 한다.
(2) 방법론의 단계적 통합적 접근
텍스트마이닝과 머신러닝, 딥러닝까지 데이터 사이언스 과목의 방법론을 사용하여 접근한다. 또한 언어과학과 정신과학 등 타 학문에서 개발되고 발전되어온 음성 분석에 대한 노하우(Praat)를 접목시킴으로써 학문간 융합적 접근도 실시한다.
(3) 융합 연구의 원형 제시: 음악전문가와의 협업
음악 변수를 도출하기 위하여 음악 도메인 지식과 경험이 필요하다. 음악 전문가와의 협업은 연구의 성과에 필수적이다. 작곡 프로그램(큐베이스, Ableton Live, Logic Pro)을 사용하여 변수 도출을 위한 아이디어를 얻고 Marsyas와 FMA연구, 화성학 등의 내용을 반영하여 연구를 진행한다. 이와 같은 협업은 콘텐츠를 창작하고 활용하는 관점을 연구에 반영함으로써 실제 산업에 활용되는 계기가 도며 융합 연구의 바람직한 사례가 될 수 있다.
4 인문사회학도에 대한 데이터 사이언스 교육에의 활용
통계학, 대용량 데이터 전처리와 이를 위한 R과 파이썬의 교육, 데이터 시각화 표현을 위한 파이썬(Seaborn, matplotlib 등) 활용 등은 경영 및 인문사회 분야 학생들에게 빅데이터와 인공지능과 관련된 최소한의 지식과 스킬이다. 음악 콘텐츠의 데이터 분석을 사용하여 빅데이터와 인공지능 교육의 흥미를 배가시킬 수 있다.
5 콘텐츠와 서비스 중심의 창업교육에의 활용
콘텐츠와 서비스를 중심으로 하는 창업은 서비스를 통해 산출되는 데이터의 차별화가 서비스의 스케일 업에 필수적이다. 콘텐츠 데이터가 분석 가능하게 저장되고 사용자의 데이터와 융합될 때 서비스의 폭발적인 성장이 가능하다. 체계적으로 분석 가능한 데이터의 수집과 저장이 가능하려면 콘텐츠 중심 서비스 기획시 데이터 수집 및 저장, 분석에 대한 설계가 선행 되어야한다. 이 연구는 오디오 콘텐츠 중심으로 실전 상황을 실습해 볼 수 있는 커리큘럼이 될 수 있으며 서비스 기획시 오디오 data와 텍스트, 정형 데이터의 조합을 통한 변수 창출과 예측력 향상의 실습 사례로 활용 가능하다.
6 연구의 확장
(1) 광고 음악 분야의 매칭 서비스로 확장
이 연구는 광고의 특성별로 그에 적합한 음악 매칭으로 확장될 수 있다. 광고의 대상별로 금융, 라이프 스타일, 가전, 음식 등에 관한 광고에 따라 그에 적합한 광고를 매칭하고 브랜드가 추구하는 이미지와 소비자에게 소구하는 주제에 따라 음악의 mood라는 변수를 포함하여 매칭할 수 있다. 관건은 동일한 segment에 얼마나 많은 빅데이터를 수집하는가이며, 이 분야에 사람에 의한 manually labeling 설정을 얼마나 많이 할 수 있는 가 이다. 적절한 카테고리와 남들 보다 빨리 labeling되어 훈련된 데이터를 구비한다면 연구의 확장과 사업화의 기회가 존재한다.
(2) 구간별 음악 요소 추출
음성 Feature는 보통 1곡 당 12~13개의 MFCC를 나누어 추출한다. 광고 음악은 10초에서 30초이기 때문에 feature를 구성하는 요소를 잘게 세분화 해야 한다. 세분화 방법에 대해서 음악 전문가의 니즈가 반영되어야 한다. 의사결정자의 입장에서는 단계별 의사결정 모형이 실무적으로는 도움이 될 수 있다. 가사를 고려할 것인지, 음성이 포함된 음악을 선정할 것인지, 특정 악기의 사용과 비트를 조합한 feature를 포함할 것인지 같은 것들이다. 음악 전문가의 의견에 대한 반영은 기술적으로 불가능하고 비효율적일 수 있으나 그것을 최종의 목표로 두고 데이터의 규모(size)와 모형의 정확도를 제약조건으로 의사결정 모형을 만드는 연구로 확장할 수 있을 것이다.

이 연구는 대중으로 부터 사랑받기 위한 이별 음악은 느린 템포여야만 하는가? 맥주 광고에 적합한 음악은 무엇인가? 라는 실용적인 연구 질문으로부터 시작되었다. 이 질문에 답변하기 위해서 기존 연구와 차별되는 음악의 특징 변수를 탐색하고 특정 용도에 적합한 음악 ...

이 연구는 대중으로 부터 사랑받기 위한 이별 음악은 느린 템포여야만 하는가? 맥주 광고에 적합한 음악은 무엇인가? 라는 실용적인 연구 질문으로부터 시작되었다. 이 질문에 답변하기 위해서 기존 연구와 차별되는 음악의 특징 변수를 탐색하고 특정 용도에 적합한 음악을 예측하는 모델을 탐구하는 것이 이 연구의 주된 내용이다.
첫번째 질문을 해결하기 위해서는 ‘이별 음악’과 ‘느린 템포’의 정의가 필요하다. 이별을 가사 주제로 정의하고 텍스트 마이닝의 주제분석과 감성분석을 사용한다. 느린 템포는 음악의 오디오 특징을 추출하여 변수로 사용한다.
두번째 질문을 해결하기 위해서는 광고음악으로 사용되었는지의 여부를 이분형(Yes, No)으로 라벨링한 후 음악을 구성하는 특징을 가사와 오디오 특성으로 추출하여 학습한 후 모델링을 한다. 이 경우 labeling의 구체성 확보는 정확하고 의미 있는 연구를 가능하게 한다. 단순히 광고음악으로 labeling하는 것 보다는 “맥주광고음악”, “자동차광고음악” 등으로 라벨링 하는 것이 실무적 활용도가 높을 수 있다.
예시로 사용된 위의 예제를 포함하여 통합적 예측모델 구축을 위하여 이 연구는 4개의 연구로 구성되며 총 10단계의 순서로 연구를 진행한다.
연구1은 노래의 가사를 R과 T-lab을 이용하여 주제를 도출하고 주제별로 클러스터링한다. 클러스터링을 위해서는 K-means 방법의 수정 방법론인 Bi-sect K-means방법론을 사용한다. 감성분석은 LIWC와 DICTION 감성사전 프로그램으로 감성점수를 도출한다. 노래별 감성점수와 주제 클러스터별 소속 확률이 노래별 가사의 특성치 변수가 된다. 연구1은 가사 분석을 통한 음악의 특성치를 수량화하기 위한 시도이다.
연구2는 연구1에서 도출한 가사 특성치 외에 오디오 특성 변수를 고려한다. 가사와 오디오 및 이를 모두 고려한 새로운 변수 탐색 연구이다. 연구1의 (i) 노래별 감성 feature(20개), (ii)주제 점수 (5cluster 소속 확률: 5개), (iii) Spotify audio features(13개) 세 유형의 feature간 상관관계를 구하고 네트워크 분석을 통해서 중심되는 feature가 무엇인지 분석한다.
Pre study에서는 acousticness와 다른 변수와의 관계 [i(+), you(+), verb(+), anger(-), sad(+), drvies(-), power(-), focusfuture(+)]와

Danceability와 다른 변수와의 관계가 주목할 만한다. [anger(+), female(+), focusfuture(-), time(-), work(+)] 중심성 분석에서는 tempo, speechniness, liveness, energy, danceability가 중심성이 높았으며, loudness가 isolate되어 있는 점이 특색이다. 상관관계가 높은 acousticness와 sad를 곱한 새로운 변수를 만들어 사용할 수 있다.
연구3은 인기도를 label로 하고 감성변수, 주제변수, Spotify오디오 특성치, 연구2의 New 변수를 feature로 하여 인기도 예측 모델링을 한다. 오디오 특성치만의 모델링에 감성변수와 주제변수가 포함될 때 예측모델의 변화를 탐색한다. 방법론으로 R과 파이썬을 사용하여 인공신경망, SVM(SVR), 랜덤포레스트를 사용한다. 기계학습에서 변수에 대한 설명이 미비했던 점을 고려하여 신뢰도를 설명하는 파이썬의 LIME을 활용하여 모형의 해석과 활용 방향성을 제시한다. input변수의 중요도 판단은 실무적 적용에 중요한 요인이다.
연구4는 2가지 예측모델을 시도한다. 하나는 새로운 음악의 성취도를 목표변수로 고안하여 사용하는 연구이고 두번째는 특정 분야 광고음악(Car or beer ads)에 적합한 음악을 선별하는 예측 모델링 연구이다. 새로운 음악 성취도 라벨링을 위해서는 실적치를 추정할 수 있는 매출액, 비평가 평점을 포함하여 추가적인 data set을 구성한다. 특정 분야의 광고 음악을 추정하기 위해서는 훈련 데이터의 숫자를 확보하여야 한다. 특정 카테고리별 광고의 모수를 확보하지 못하는 경우 유사광고끼리 카테고리화 하여 접근한다. 이 연구의 Input변수는
(i) 연구1~3변수
(ii) 합성곱에 의한 new 변수 포함(ex: sad*acousticness)
(iii) 음성분석 Praat tool을 이용한 발굴 변수(기타: 뮤직 feature tool로 알려진 Yaafe, Sonic Annotator, GNAT사용)
(iv) Python librosa를 통한 new 발굴 변수(MFCC, Mel-spectrogram)
음악 전문가의 분석 니즈는 평균/하이라이트 음역대, Intro 피아노, 기타, 현악, 첼로 독주, 독주와 협주의 구분, 음성과 바이올린, 음성과 피아노 구간에 대한 추출과 분석, Prosody(운율 지표), Emotion feature (Timbre: Warm, Cold, Piercing), 코드 전개, 마디별 평균 코드 수, 다이어토닉 코드의 사용 비중, 곡 구조(intro, hook, verse 등) 등이다.
모델링이 구성되면 새로운 음악이 특정광고에 사용될 가능성을 확률로 제시할 수 있고 특정광고음악과 유사한 음악들을 유클리디안 거리, 시계열 매핑 등으로 계산할 수 있다.