연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > Research Project Search > Research View

Research Projects Detailed Information

한국인의 언어적·비언어적 감정표현 특성 분석을 통한 감정표현의 정서인식 및 정서조절 기능 연구
An interdisciplinary research to explore the functions of affective expressions in the perception and regulation of emotion by analyzing characteristics of linguistic and non-linguistic Korean emotional expressions
  • Researchers have entered the information directly to the NRF of Korea research support system
Program 연구그룹형(국내형) [지원년도 신청 요강 보기 지원년도 신청요강 한글파일 지원년도 신청요강 PDF파일 ]
Project Number 2019-S1A5A2A03-2019S1A5A2A03045884
Year(selected) 2019 Year
Research period 3 Year (2019년 07월 01일 ~ 2022년 06월 30일)
chief of research 이동훈
Executing Organization 부산대학교
the present condition of Project 종료
Cooperation researcher 김민호(부산가톨릭대학교)
주성준(부산대학교)
이도훈(부산대학교)
김형순(부산대학교)
윤홍옥(제주대학교)
Research Summary
  • Goal
  • 1. 연구 배경
    감정표현의 어려움. 복잡하고 미묘한 인간관계에서 누구나 한 번 즘은 경험해보는 문제이다. 관계를 중시하는 한국 사회에서는 더욱 어렵다. 어떻게 감정표현의 문제를 해결할 수 있을까? 참는 것이 능사일까? 그러나 과도한 감정억제는 마음의 병을 낳고, 궁극적으로 인간관계를 해친다. 한국 사회의 감정표현에 관련된 심리·사회적 문제를 과학적으로 해결하기 위하여, 언어학, 심리학, 음성공학, 컴퓨터공학, 신경과학 전문가들이 모여 학제간 연구를 계획하였다.

    2. 이론적 입장
    본 연구에서는 최근 주목받고 있는 새로운 감정이론, 심리구성주의를 바탕으로 한국인의 감정표현을 연구하고자 한다. 심리구성주의는 인간의 감정은 외부 자극에 대한 반응이 아니라, 우리의 뇌에서 만들어지는 심리적인 구성물(psychological constructs)로 간주하며, 우리 스스로가 감정을 구성하는 주체임을 강조하는 관점이다. 이 이론에 따르면, 감정은 개인이 속한 사회·문화의 영향을 많이 받으며, 사용하는 언어와 표현에 많은 영향을 받는다. 따라서 본 연구에서는 한국인의 언어적, 비언어적 감정표현의 특성을 과학적으로 분석하고, 더 나아가 감정표현이 가지는 다양한 의사소통적 기능성을 개인의 심리적 건강 차원과 대인관계 차원에서 과학적으로 검증하고자 한다.

    3. 연구목표
    본 연구의 궁극적 목적은 한국인의 언어적/비언어적 감정표현의 특성과 관계를 체계적으로 분석하고, 다양한 감정표현의 기능들을 과학적으로 검증함으로서, 한국사회의 언어적, 문화적 특수성에 기반한 감정표현의 보편적 원리를 찾는 것이다. 이를 위하여 다음과 같은 단계적 목표를 설정하였다.

    1) 1단계 목표: 한국인의 언어적/비언어적 감정표현 통합 Database 구축 및 분석
    - 한국어의 다양한 감정표현을 수집·분류하고, 다양한 심리언어학적 변인을 조사하여 Database화 한다.
    - 한국인의 다양한 얼굴표정과 감정적 음성 반응을 감정유발 절차를 통해 자연스럽게 표집하고, 이를 정보공학적으로 분류, 분석한다.
    - 언어적 감정표현과 비언어적 감정표현(얼굴표정 및 음성)의 특성과 관계를 통합적으로 분석할 수 있는 체계를 구축한다.

    2) 2단계 목표: 감정표현의 개인의 정서인식과 정서조절 기능 검증
    - 감정표현이 자극에 대한 수동적인 ‘반응’이 아니라 자신의 감정을 인식하고 이를 표현하는 적극적인 행위로 간주하는 심리구성주의 이론에 따라 다양한 감정표현의 개인의 정서인식과 정서 조절 기능을 과학적으로 검증한다.
    - 1단계에서 구축한 감정표현 자료와 감정분석 절차를 통해 다양한 감정표현이 개인의 정서인식과 정서조절에 미치는 영향력을 정보공학적 분석과 신경과학적 분석을 통해 과학적으로 검증한다.

    2) 3단계 목표: 다양한 감정표현이 가지는 대인관계 차원의 의사소통적 기능 검증
    - 다양한 감정표현의 영향은 개인의 심리적 건강 수준을 넘어 대인관계를 형성하고 이를 조절하는 의사소통적 기능을 갖는다. 이를 위해 양방향 의사소통상황을 실험실 상황으로 구현하고, 다양한 감정표현이 대화 상대방의 정서인식이나 정서조절에 미치는 상호작용적 영향력을 통합 분석한다.
    - 1단계와 2단계에서 구축한 감정표현 자료와 감정분석 절차와 2단계에서 획득한 개인차원의 효과 분석을 양방향 대화상황에 적용한다. 이때, 실험참가자들의 감정적 조응 및 갈등 유지 및 해소 과정을 정보공학적, 정신물리학적, 신경과학적 방법을 통해 검증한다.
  • Expectation Effectiveness
  • 1. 학문적 기대효과

    1) 한국인의 언어적/비언어적 감정표현 통합 Database 구축 및 활용
    본 연구에서 구축할 한국인 감정표현 통합 Database는 한국의 고유 정서 개념을 반영하고, 감정표출단어, 감정기술단어, 감정비유표현 등 다양한 언어적 감정표현과 감정유발 절차에 의한 자연스러운 얼굴표정 및 음성 등 다차원적 비언어적 감정표현을 포함한 Database 이므로 국내 감정 인식 및 표현에 대한 기초자료로서 활용가능하다.

    2) 다양한 언어적/비언어적 감정표현의 기능적 이해
    본 연구는 감정의 구성주의 관점에서 다양한 언어적/비언어적 감정표현의 기능을 개인의 심리적 차원과 대인관계 차원에서 다양한 실험 기법을 통해 과학적으로 검증한다. 이러한 기능적 차원의 접근은 기존 연구에서 감정표현을 분류하거나 상호 관계성을 조사하는 수준을 넘어, 감정표현이 개인의 감정인식과 조절의 측면에서, 또 대인관계의 형성과 유지 측면에서 어떤 효과를 지니는 지에 대한 인과를 파악하는 것으로 다양한 감정표현의 기능성을 과학적으로 이해할 수 있는 토대를 제공한다.

    2. 사회적 기대효과

    1) 감정표현 분석기법의 사회적 활용
    교육, 상담, 기업, SNS 등 다양한 사회적 장면의 대화에는 정보 전달과 함께 언어적/비언어적 감정표현이 수반된다. 따라서 본 연구에서 개발하고자 하는 감정표현의 통합적 분석체계는 다양한 사회적 장면에서 이루어지는 의사소통의 감정적 측면의 문제점을 파악하고 개선 방안을 마련하는데 기여할 수 있다.

    2) AI, 인간-컴퓨터 상호작용(HCI)분야에서의 활용
    최근 HCI 분야는 사용자 감정 인식의 성능과 안정성을 높이기 위해 언어적 감정표현 분석과 함께 얼굴표정, 몸짓, 음성 등 비언어적 감정표현 정보를 복합적으로 고려하는 다중감각 감정 인식(Multimodal Emotion Recognition) 시스템 구축에 집중하고 있다. 본 연구에서 구축하는 언어적 감정표현과 비언어적 감정표현통합 분석시스템은 원천기술로서 발전할 가능성이 있으며, 이에 따른 특허 출원 및 등록이 가능하다.

    3. 교육적 기대효과

    1) 학제간 융합 연구 경험을 통한 4차산업 시대 인재양성
    본 연구는 심리학, 언어학, 음성공학, 컴퓨터공학 등 다양한 학문 분야의 융합연구를 토대로 하고 있기 때문에 참여 대학원생들은 풍부한 학제간 융합 연구를 경험할 수 있으며, 학제간 공동 워크숍을 통해 다양한 학문 분야의 지식 교류를 통한 창의적인 지식인으로 성장 가능하다.

    2) 사회적 문제 해결형 인재 양성
    본 연구는 한국사회의 의사소통과정에서 이루어지는 감정표현의 문제점에 대한 인식에서 출발하였다. 따라서 본 연구의 참여연구원들은 대학원생들로 하여금 한국의 언어적 특성, 심리문화적 특성을 과학적으로 이해하고, 한국사회의 다양한 문제를 해결하려는 실용적이며 실천적 자세를 지닌 인재로 양성하고자 한다.
  • Summary
  • 1. 1차년도: 언어적/비언어적 감정표현 수집 및 특성 분석

    1) 언어적 감정표현 Database 구축
    - 인지언어학의 언어적 감정표현 분류체계와 언어심리학적 변인들을 통합하여 분류체계 구조화
    - 감정표현의 수집 및 분류: 선행 자료집, 설문조사, SNS 등을 통한 실생활 감정표현 수집 및 분류
    - 심리·언어학적 변인 측정 및 표준화:　SAM을 활용한 정서가 및 각성가 평정, 구체성, 표현 정서범주, 강도, 비유성, 의미 투명성, 습득연령 평정

    2) 비언어적 감정표현 Database 구축 및 분석
    - Database 구축을 위한 감정유발 기법 개발: 영화, 애니메이션 등의 영상자료 수집 후 정서 범주 및 강도, 친숙성 평정
    - 비언어적 감정표현(얼굴표정, 음성) 수집: 감정유발 영상 시청 동안 참가자들의 자연스러운 얼굴표정 및 음성 반응 녹취 후, 감정 자기보고 및 평정
    - 얼굴표정 정보 분석:　딥러닝 기반 얼굴표정 분석 알고리즘을 사용하여 얼굴표정의 정서범주 및 표정 강도, 얼굴 움직임 부호(Facial action unit) 분석
    - 음성 감정 분석:　기계학습 및 딥러닝 기반의 음성 감정 인식, 목소리 주파수 및 에너지 분석

    2. 2차년도: 언어적/비언어적 감정표현의 정서인식 기능 연구

    1) 감정표현의 자기 정서경험 인식 명료화 기능 연구
    - 언어 분석을 통한 정서경험 인식 연구:　감정유발 처치 후, 유발된 감정에 대한 자유응답과 반구조화 면담을 통해 개인의 정서인식 수준 분석
    - 감정표현 방식에 따른 신체 내/외적 변화(GSR. 심박수, 얼굴표정, 음성) 분석: 감정표현 방식 처치 후 처치효과를 GSR, 심박동 계수 과제(heartbeat counting task), 얼굴표정 및 음성 분석을 통해 확인
    - 대뇌 신경생리학적 분석을 통한 감정표현 효과 분석: ERP 분석 및 독립성분분석을 통해 정의된 클러스터와 감정표현의 관계 조사, 대뇌 신경반응 모델링을 통한 예측 모형 검토

    2) 감정표현이 타인 정서지각에 미치는 영향 분석
    - 감정표현 유형에 따른 타인 정서지각 명확성 검증:　정신물리학적 절차를 이용한 정서 지각의 명확성의 차이 검증, 기계학습 방법과 뇌파 측정을 통해 지각적 역치(Perceptual threshold)가 어떤 신경기제를 통해 변화되었는지 조사
    - 언어적/비언어적 감정표현에 의한 정서지각 변화 신경과학적 분석: ERP/ Source Modeling을 통한 감정표현효과 분석
    - 언어적/비언어적 감정표현에 의한 정서지각 범주 분화 연구:　정신물리학적 실험을 통한 범주 변별 능력 변화 검증

    3차년도: 언어적/비언어적 감정표현의 정서조절 기능 연구

    1) 감정표현의 정서조절 기능: 개인 차원에서 기능성 검증
    - 언어적/비언어적 감정표현을 통한 긍정/부정 정서 조절 기능 검증: 감정유발 후, 표출적, 기술적/ 비유적 감정 표현의 긍정/부정 정서조절 효과 검증- 주관적 평정 및 신경생리학적 변화 분석

    2) 감정표현의 정서조절 기능: 대인관계 차원의 기능성 검증
    - 의사소통상황에서 언어적/비언어적 감정표현 방식에 따른 대화참여자의 감정조절 효과 분석
    - 감정표현의 통합분석을 위해 함수적 다중세트 정준상관분석, 감정표현의 동기화(Synchronize) 및 관계 만족도나 대인관계 스트레스 수준 변화 검증
Research Summary
  • Korean
  • 본 연구의 목적은 한국인의 언어적/비언어적 감정표현의 특성과 관계를 체계적으로 분석하고, 다양한 감정표현의 기능들을 과학적으로 검증해 봄으로써 한국 사회에서 감정표현의 특수성에 기반한 보편적 원리를 찾는 것이다. 이를 위하여 첫째, 한국인의 다양한 언어적/비언어적 감정표현들의 Database를 구축하고, 그에 대한 체계적인 분류와 정보공학적 분석을 실시하였다. 둘째, 언어적 감정표현과 비언어적 감정표현의 관계와 상호작용을 통합적으로 분석할 수 있는 융·복합적 연구방법을 개발하며, 셋째, 다양한 감정표현의 정서인식 및 정서조절 기능을 개인의 심리적 건강과 대인관계 차원에서 과학적으로 검증하였다.
  • English
  • The purpose of the current research is to find a principle of emotional expression based on the systematic analysis on the relationship between linguistic and non-linguistic emotional expression of Korean. To do so, first we built Databases of Korean linguistic/non-linguistic emotional expressions and classified them to analyze the characteristics of Korean emotional expressions. Second, we developed a research method to examine the interaction between linguistic and non-linguistic emotional expressions and found the effect of the linguistic expression on the perception of non-linguistic expression. Finally, we tried to examine functions of emotional expressions for social interactions in the dimensions of individual mental health and interpersonal relations.
Research result report
  • Abstract
  • 감정표현의 어려움. 복잡하고 미묘한 인간관계에서 누구나 한 번 즘은 경험해보는 문제이다. 관계를 중시하는 한국 사회에서는 더욱 어렵다. 어떻게 감정표현의 문제를 해결할 수 있을까? 참는 것이 능사일까? 그러나 과도한 감정억제는 마음의 병을 낳고, 궁극적으로 인간관계를 해친다. 한국 사회의 감정표현에 관련된 심리·사회적 문제를 과학적으로 해결하기 위하여, 언어학, 심리학, 음성공학, 컴퓨터공학, 신경과학 전문가들이 모여 학제간 연구를 진행하였다. 주된 연구 내용과 결과는 다음과 같다.

    1) 한국인의 언어적/비언어적 감정표현 통합 Database 구축 및 분석
    - 한국어의 다양한 감정표현을 수집·분류하고, 다양한 심리언어학적 변인을 조사하여 Database를 구축하였다.
    - 한국인의 다양한 얼굴표정과 감정적 음성 반응을 감정유발 절차를 통해 자연스럽게 표집하고, 이를 정보공학적으로 분류, 분석하여 한국인이의 얼굴표정의 특성을 찾아내었다.
    - 언어적 감정표현과 비언어적 감정표현(얼굴표정)의 특성과 관계를 통합적으로 분석하여 상호 영향력을 확인하였다.

    2) 언어적/비언어적 감정표현의 정서인식 기능 연구
    - 최초 연구계획서에서는 감정표현의 자기 정서경험 인식 명료화 기능, 그리고 감정표현이 타인의 정서 지각에 미치는 영향력을 다양한 실험 방법으로 검증하려고 하였으나, 코로나 발생으로 인해 대면 실험을 실시할 수 없는 한계로 인해, 계획한 연구의 일부 만을 실시하였다. 주된 연구 결과로는 다른 사람의 얼굴을 볼 때 그 감정과 일치하는 명칭에 비해 불일치하는 명칭이 제시될 때, vMNN(viusual mismatch negativity) 뇌파 반응이 증가하는 것을 확인하였다.
    3) 언어적/비언어적 감정표현의 정서조절 기능 연구
    - 최초 연구계획서에는 3차년도에 대인관계 차원에서 감정표현의 의사소통적 기능을 살펴볼 계획이었으나, 2021년에도 마찬가지로 코로나로 인한 대면 활동 자체가 금지된 상황에서 마스크를 벗고 실험을 진행하는 것이 허용되지 않았다. 따라서 2차년도 보고서를 제출할 때, 3차년도 연구계획을 수정하여 대면 실험 중심의 연구에서 언어분석 중심의 연구로 전환하였다. 추가적인 연구로 한국어-영어 화자간의 감정어휘의 의미-정서적 특질을 비교하는 연구를 추진하였고, K-LIWC를 기법을 이용하여 코로나 19 사태로 인한 정서적 문제를 코로나 발생으로 인한 삶의 변화에 대한 글쓰기 자료를 분석하는 연구를 진행하였다. 그 결과, 24가지 감정 단어(예: 기쁨, 슬픔, 분노, 두려움 등)를 사용할 때 지각하는 의미 및 정서 자질을 파악하여, 한국어 감정 단어와 영어 감정 단어의 개념적 유사성과 차이를 파악하였으며, 코로나로 인한 삶의 변화에 대한 글쓰기 과제에서 부정 어휘의 증가와 우울 불안 수준의 상관계를 파악하였다.

    본 연구를 계획할 때, 예상치 못한 코로나 발생으로 인해 계획하였던 연구 진행에 많은 차질이 있었으나 대안으로 한국어 감정 어휘 Database 구축과 얼굴표정 특성 분석, 그리고 한국어 감정 어휘의 의미 특성 및 글쓰기에서 감정어휘 사용으로 인한 심리적 과정의 변화를 상펴본 점에서 큰 의의가 있다고 할 수 있다.
  • Research result and Utilization method
  • 연구결과 활용계획 및 기대효과
    1. 한국인의 감정표현 Database를 활용한 후속 연구
    본 연구에서 1차년도에 개발한 한국인의 언어적 감정표현 Database는 감정을 직접적으로 표현하는 단어, 감정을 직접적으로 표현하지 않지만 감정을 유발할 수 있는 단어, 비유 표현으로 세분화하여 각 표현에 알맞은 변인들에 대한 평정을 받았다. 이렇게 체계적으로 수집된 Database는 심리학 분야 뿐 아니라 언어학, 자연어 처리 등에서 기초 자료로 다양하게 활용될 것이라 기대한다.

    2. 한국인 얼굴표정 특성을 활용한 문화비교 연구 및 산업 장면의 적용
    -2차년도에 수행한 한국인 얼굴표정 Database 특성의 분석 결과, 한국인이 특정 감정 표현을 지을 때 나타나는 얼굴표정 근육 움직임은 서양인과 다른 패턴을 보이는 것으로 관찰되었다. 이러한 연구 결과는 그동안 보편적일 것이라 여겨졌던 얼굴표정이 문화에 따라 다를 수 있음을 보여주는 결과로, 어떤 부분의 차이가 있는지 체계적으로 분석하여 국제 논문을 출판할 계획이다.
    -현재 다양한 분야에서 사람들의 얼굴표정을 분석하여 감정을 추론하고자 시도하고 있다. 그러나 분석 결과에 대한 타당성에 대한 논의가 지속적으로 이루어지고 있다. 본 연구에서는 한국인의 얼굴표정 Database를 분석하여 한국인이 특정 감정을 표현하는 얼굴표정을 지을 때 두드러지게 나타나는 얼굴근육 움직임을 제안하고 있다. 이러한 자료는 한국인의 얼굴표정 분석 기술을 타당화하는 유용한 자료로 활용될 수 있을 것이다.

    3. 상담, 임상 장면에서의 활용
    -본 연구의 성과는 상담, 임상 장면에서 언어적 외상사건으로 인해 발생하는 부수 장애(예, 신체화, 우울)를 다루기 위한 인지신경적 개입 방안을 모색하는데 활용될 수 있을 것이다.

    4. 산업 분야에서의 활용
    -본 연구에서 관찰된 감정표현의 정서조절 효과는 감정표현에 대한 노출이 초래하는 잠재적 영향을 예측하고 진단하는 데 기여할 것이라 기대한다. 또한, 본 연구 성과는 산업현장, 스마트폰, AI 비서 등에 적절한 감정표현 사용을 위한 지침을 제공함으로써 효율적인 HCI 환경 구축을 위한 원천 기술로 활용될 수 있을 것이다. 이외에도, 교육, 광고, 의료, 복지 등 다양한 영역에 응용함으로써 사용자 만족도 및 서비스 효과 증대를 모색할 것으로 기대한다.
    -본 연구의 성과는 주요 4차 산업 분야인 IT, 인공지능(AI), 인간-컴퓨터 상호작용(HCI) 분야의 사용자 감정인식 기술과 결합되어, 감정 상태에 따른 적절한 감정표현의 사용으로 최적의 사용자 경험(UX)을 구축하는데 활용될 수 있을 것이다.
  • Index terms
  • 감정표현, 심리구성주의, 정서인식, 정서조절, 인공지능, 인지신경과학
  • Research Achievements List
데이터를 로딩중 입니다.
데이터 이용 만족도
자료이용후 의견
입력