연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > 연구과제 검색 > 연구과제 상세정보

연구과제 상세정보

자동 발화분석 앱 개발을 통한 초기 말더듬아동과 부모 발화의 종단적 분석 및 회복예측 요인 연구
Recovery Predictive Factors in Young Children Who Stutter: Longitudinal Analysis of Parent-Children's Utterance by the Development of Automatic Speech Analysis Application
  • 연구자가 한국연구재단 연구지원시스템에 직접 입력한 정보입니다.
사업명 공동연구지원사업 [지원년도 신청 요강 보기 지원년도 신청요강 한글파일 지원년도 신청요강 PDF파일 ]
연구과제번호 2018S1A5A2A03036976
선정년도 2018 년
연구기간 3 년 6 개월 (2018년 07월 01일 ~ 2021년 12월 31일)
연구책임자 심현섭
연구수행기관 이화여자대학교
과제진행현황 종료
공동연구원 현황 이정복(서울아산병원(울산대부설))
이수복(우송대학교)
과제신청시 연구개요
  • 연구목표
  • 말더듬 회복 예측요인은 초기말더듬아동의 진단 및 치료여부 결정에 중요한 역할을 하지만 말더듬에 관한 예측요인을 제대로 파악하는 것에는 한계가 있다. 따라서 말더듬 회복 예측요인을 정확하게 파악하기 위해서는 초기 말더듬아동과 부모의 상호작용행동에 관한 근거기반의 객관적인 대규모 데이터를 장기간에 걸쳐 확보하는 것이 요구된다. 이를 위해 태블릿PC 기반의 자동 발화분석 앱(Smart Device for Utterance Analysis, SDUA)을 개발하여 말더듬이 시작된 지 1년 이내의 2-5세 말더듬아동 20명과 부모의 상호작용 발화를 2년 동안 지속적으로 수집 및 분석한다. 아울러 기준집단으로 일반아동 20명과 부모를 대상으로 2년 동안 아동-부모의 상호작용 데이터를 수집 및 분석하고자 한다.
    첫 번째 목표는 SDUA를 개발하여 말더듬 아동-부모의 발화를 자동분석하고 빅데이터를 수집할 수 있는 기반을 만든다. 말더듬 아동과 부모의 발화 음성은 빅 데이터 분석 서버로 실시간 수집되어 음성을 자동 인식하고, 텍스트로 변환하여, 문장완성도를 예측하고, 발화특성 및 말더듬의 개선정도를 자동으로 분석한다. 두 번째 목표는 말더듬아동과 부모의 발화를 2년 동안 SDUA로 분석하여 아동과 부모의 문장길이, 말속도, 부모의 반응시간(쉼)의 요인들의 변화가 아동의 말더듬 변화에 어떤 영향을 주는지 파악하는 것이다.
    세 번째 목표는 일반아동의 문장길이, 말속도, 비유창성 빈도 및 유형 등의 자료를 수집하여 말더듬아동의 특성과 어떻게 다른지 파악하여 말더듬아동을 감별․진단할 수 있는 기준을 설정하는 것이다.
    이러한 목표를 달성하기 위해 본 연구는 다음과 같은 하위 연구과제가 유기적으로 진행된다.
    ● 초기 말더듬아동과 일반아동의 말·언어특성(문장길이, 말속도, 비유창성 유형 및 정도 등) 비교연구
    ● 부모의 말·언어특성(문장길이, 말속도) 및 상호작용방식(반응시간) 분석연구
    ● 부모의 말·언어 및 상호작용방식의 변화에 따른 아동의 비유창성 변화 연구
    ● 대규모 데이터의 수집 및 분석을 위한 스마트환경의 앱 개발
    ● 발화 음성 수집 및 실시간 음성인식, 의도한 문장 예측, 말더듬 개선정도(말더듬 유형, 음소, 문장갯수 등) 분석을 지원하는 말더듬 분석 서버구축
    ● 여러 시점별 대규모 데이터 분석 및 해석을 위한 통계 기법의 적용연구
  • 기대효과
  • I. 학문적 기여도
    1. 한국 초기 말더듬아동의 대규모 데이터를 구축함으로서 외국 기준자료와의 차이점과 공통점을 밝힐 수 있으며, 한국어권 말더듬아동의 비유창성, 언어발달 및 말속도의 종단적 특성을 파악할 수 있음. 또한, 일반아동의 말-언어의 발달특성과 비교하여 초기 말더듬 아동의 특성을 제시할 수 있음.
    2. 말더듬아동 부모의 문장길이, 말속도, 반응시간의 변화를 종단적으로 파악하여 말더듬의 회복에 미치는 환경요인으로서 부모의 영향을 파악할 수 있음.
    3. 발화 음성을 자동으로 인식하여 부정확한 표현은 이전에 수집된 발화와 비교하여 의도한 문장을 제시해주고, 말더듬 개선정도(말더듬 유형, 음소, 문장갯수 등) 분석을 위한 언어통계학적인 토대를 마련할 수 있음.

    II. 임상적 기여도
    1. 말더듬으로 진단이 되고난 후 말더듬의 지속여부를 예측할 수 있는 요인들을 제시하여 조기중재 여부와 중재 방향 결정에 기여함.
    2. 초기 말더듬아동을 치료하면서 치료사가 지속적으로 살펴보아야 할 요인들을 제시하여 객관적인 데이터 기반의 치료를 유도함.
    3. 부모가 SDUA를 사용하여 아동의 자료를 자발적으로 수집할 수 있고 아동의 말에 대한 분석이 가능하여 치료사의 즉각적인 피드백을 받을 수 있으며 향후 치료 원격치료에 활용될 수 있음.
    4. 빅데이터분석에 의해서 말더듬아동의 의도한 문장 예측, 말더듬 개선정도를 실시간 분석하여, 임상학적인 타당성 검증에 기여.

    III. 연구방법 기여도
    1. 앱기반에서 한국어권 초기 말더듬아동의 말더듬 특성에 대한 대규모 종단연구 자료를 체계적으로 구축하여 향후 진단 및 치료의 기초연구를 위한 토대 마련함.
    2. 부모가 자연스러운 가정환경에서 직접 데이터를 수집할 수 있도록 하여 실제 능력과 유사한 발화를 장기간 지속적 수집이 가능함.
    3. 패널 데이터 분석과 같은 종단연구 통계 기법을 통해 대규모 데이터의 양적인 분석과 아울러 질적인 측면을 분석하여 데이터에 나타난 말더듬아동의 개별적 특성, 변이성뿐만 아니라, 말더듬아동 집단의 특성과 일반아동 집단과의 차이성을 파악할 수 있는 연구 모형을 제시할 수 있음.
    4. 기존 음성인식기는 음성인식 대기 시간이 길지만, 본 연구에서는 파일기반 음성녹음 및 음성구간 자동 detection, 다수의 음성인식기를 이용한 동시 음성인식 지원 등을 통해서 대기 시간을 획기적으로 단축함.
  • 연구요약
  • 1. 연구목적
    자동 발화분석 앱을 개발하고, 수집한 초기 말더듬아동 및 일반아동의 자료를 분석하고, 말더듬아동과 부모의 2년간 상호작용 데이터 분석자료 추적을 기반으로 한국 말더듬아동의 회복요인을 예측하고 자동 발화분석 앱 개발의 토대 마련을 목표로 한다.
    2. 연구내용
    첫째, 2018년 7월~12월까지 말더듬의 종단연구 모형을 개발을 위한 예비조사를 실시한다. 이를 위해 10년간 국내외 관련 저널의 종단연구를 분석하여 초기 말더듬아동과 부모 특성을 파악하기 위한 변인을 파악하고 통계 방법론 연구를 실시한다.
    둘째, 2018년 12월~2019년 3월까지 태블릿PC 기반의 SDUA를 외주 개발한다. 언어치료사에게는 변인별로 편리하게 데이터 분석을 하고 부모에게 쉽게 피드백할 수 있는 시스템 환경을 제공하며, 부모에게는 쉬운 데이터 수집 환경을 구축할 수 있게 한다.
    셋째, 2019년 3월~2021년 3월까지 전국의 초기 말더듬아동 및 일반아동을 대상으로 5회에 걸쳐 실험연구를 실시한다. 각 부모에게 제공된 SDUA를 활용해 데이터를 수집하고 분석한다. 평가, 1년, 2년 시점에는 연구자와 대면하여 심층검사(전반적인 말․언어평가, 부모의 양육스트레스 평가 등)를 실시하여 아동과 부모의 변화정도를 측정한다.
    넷째, 빅데이터를 이용해서 부모, 말더듬아동, 일반아동 발화 간의 음성인식결과 비교를 통해서, 말더듬 문장 예측, 말더듬 개선 비율을 자동으로 분석 및 예측하여, 개인별로 가장 효과적인 말더듬 개선 방향을 예측한다.

    3. 연구방법
    1) 대상자
    ● 2-5세 초기 말더듬아동 20명
    ● 말더듬아동과 연령 일치시킨 일반아동 20명

    2) 실험과제
    ● 24개월 동안 부모-아동 상호작용놀이 상황에서 아동의 최소 50발화(문장)와 그 사이에 포함된 부모의 발화 5회 수집.

    3) 분석변인
    ● 아동변인: 비유창성 빈도 및 유형/비유창한 문장 및 음소, 의도한 문장예측, 문장길이, 말속도
    ● 부모변인: 문장길이, 말속도, 반응시간

    4. 연구 의의
    초기 말더듬아동의 종단적 자료를 대규모로 앱기반에서 구축함으로서 가정 내에서 자연스러운 데이터 수집이 용이해지며, 아동의 발화 분석을 자동화 하여 다양한 분석을 편리하게 할 수 있게 한다. 이를 통해 언어병리학 분야의 종단연구의 모범적 틀을 제시하며, 아울러 한국의 유창성장애 학문적, 임상적 발전에 중요한 기초자료를 제공하고자 한다.
결과보고시 연구요약문
  • 국문
  • 1. 연구목적
    자동 발화분석 앱을 개발하고, 수집한 초기 말더듬아동 및 일반아동의 자료를 분석하고, 말더듬아동과 부모의 2년간 상호작용 데이터 분석자료 추적을 기반으로 한국 말더듬아동의 회복요인을 예측하고 자동 발화분석 앱 개발의 토대 마련을 목표로 한다.
    2. 연구내용
    첫째, 2018년 7월~12월까지 말더듬의 종단연구 모형을 개발을 위한 예비조사를 실시한다. 이를 위해 10년간 국내외 관련 저널의 종단연구를 분석하여 초기 말더듬아동과 부모 특성을 파악하기 위한 변인을 파악하고 통계 방법론 연구를 실시한다.
    둘째, 2018년 12월~2019년 3월까지 태블릿PC 기반의 SDUA를 외주 개발한다. 언어치료사에게는 변인별로 편리하게 데이터 분석을 하고 부모에게 쉽게 피드백할 수 있는 시스템 환경을 제공하며, 부모에게는 쉬운 데이터 수집 환경을 구축할 수 있게 한다.
    셋째, 2019년 3월~2021년 3월까지 전국의 초기 말더듬아동 및 일반아동을 대상으로 5회에 걸쳐 실험연구를 실시한다. 각 부모에게 제공된 SDUA를 활용해 데이터를 수집하고 분석한다. 평가, 1년, 2년 시점에는 연구자와 대면하여 심층검사(전반적인 말ㆍ언어평가, 부모의 양육스트레스 평가 등)를 실시하여 아동과 부모의 변화정도를 측정한다.
    넷째, 빅데이터를 이용해서 부모, 말더듬아동, 일반아동 발화 간의 음성인식결과 비교를 통해서, 말더듬 문장 예측, 말더듬 개선 비율을 자동으로 분석 및 예측하여, 개인별로 가장 효과적인 말더듬 개선 방향을 예측한다.

    3. 연구방법
    1) 대상자
    ● 2-5세 초기 말더듬아동 20명
    ● 말더듬아동과 연령 일치시킨 일반아동 20명

    2) 실험과제
    ● 24개월 동안 부모-아동 상호작용놀이 상황에서 아동의 최소 50발화(문장)와 그 사이에 포함된 부모의 발화 5회 수집.

    3) 분석변인
    ● 아동변인: 비유창성 빈도 및 유형/비유창한 문장 및 음소, 의도한 문장예측, 문장길이, 말속도
    ● 부모변인: 문장길이, 말속도, 반응시간

    4. 연구 의의
    초기 말더듬아동의 종단적 자료를 대규모로 앱기반에서 구축함으로서 가정 내에서 자연스러운 데이터 수집이 용이해지며, 아동의 발화 분석을 자동화 하여 다양한 분석을 편리하게 할 수 있게 한다. 이를 통해 언어병리학 분야의 종단연구의 모범적 틀을 제시하며, 아울러 한국의 유창성장애 학문적, 임상적 발전에 중요한 기초자료를 제공하고자 한다.
  • 영문
  • 1. Objectives
    The purpose of this study was to develop an automatic speech analysis app, analyze the collected data of early stuttering children and general children, predict the recovery factors of Korean stuttering children based on the two-year data analysis of stuttering children and parents, and lay the foundation for the development of an automatic speech analysis app.

    2. Contents
    First, a preliminary survey is conducted to develop a longitudinal study model for stuttering from July to December 2018. To this end, longitudinal studies of domestic and foreign related journals are analyzed for 10 years to identify variables to understand the characteristics of early stuttering children and parents, and a statistical methodology study is conducted.
    Second, from December 2018 to March 2019, it will outsource development of tablet PC-based SDUA. Language therapists are provided with a system environment that allows them to conveniently analyze data for each variable and easily feedback to parents, and allow parents to establish an easy data collection environment.
    Third, from March 2019 to March 2021, experimental studies will be conducted five times for early stuttering children and general children nationwide. Data are collected and analyzed using SDUA provided to each parent. At the time of evaluation, 1 year and 2 years, in-depth tests (general speech and language evaluation, parenting stress evaluation, etc.) are conducted to measure the degree of change between children and parents.
    Fourth, through the comparison of speech recognition results between parents, stuttering children, and general children using big data, stuttering sentence prediction and stuttering improvement ratio are automatically analyzed and predicted to predict the most effective stuttering improvement direction for each individual.
    3. Methods
    1) participants
    14 Children who stutter and 14 children who do not stuttering
    Subjects for this study consisted of 2-5 year old children who stutter(CWS), an age-matched group of children who do not stutter(CWNS) , and their mothers. Frequencies of normal disfluency (ND) and abnormal disfluency (AD), and duration of utterance in a conversational turn and duration of turn-switching pause were measured two times (initial visit and 12 months later) over the course of one year.
    4. Material
    Collect at least 50 utterances (sentences) of a child in a parent-child interaction play situation over a period of 24 months and 5 parent utterances included in between.


    Conclusion
    By building longitudinal data of early stuttering children on a large scale from an app-based basis, it is easy to collect natural data within the home, and various analyses can be made convenient by automating speech analysis of children. Through this, an exemplary framework for longitudinal research in the field of language pathology is presented, and basic data important for the academic and clinical development of fluency disorders in Korea is provided.
연구결과보고서
  • 초록
  • 1. 연구목적
    자동 발화분석 앱을 개발하고, 수집한 초기 말더듬아동 및 일반아동의 자료를 분석하고, 말더듬아동과 부모의 2년간 상호작용 데이터 분석자료 추적을 기반으로 한국 말더듬아동의 회복요인을 예측하고 자동 발화분석 앱 개발의 토대 마련을 목표로 한다.
    2. 연구방법
    1) 대상자
    - 2-5세 초기 말더듬아동 20명
    - 말더듬아동과 연령 일치시킨 일반아동 20명
    2) 실험과제
    24개월 동안 부모-아동 상호작용놀이 상황에서 아동의 최소 50발화(문장)와 그 사이에 포함된 부모의 발화 5회 수집.
    3) 분석변인
    아동변인: 비유창성 빈도 및 유형/비유창한 문장 및 음소, 의도한 문장예측, 문장길이, 말속도
    부모변인: 문장길이, 말속도, 반응시간
    3. 결론 및 연구 의의
    초기 말더듬아동의 종단적 자료를 대규모로 앱기반에서 구축함으로서 가정 내에서 자연스러운 데이터 수집이 용이해지며, 아동의 발화 분석을 자동화 하여 다양한 분석을 편리하게 할 수 있게 한다. 이를 통해 언어병리학 분야의 종단연구의 모범적 틀을 제시하며, 아울러 한국의 유창성장애 학문적, 임상적 발전에 중요한 기초자료를 제공하고자 하였다.
  • 연구결과 및 활용방안
  • 활용방안
    ■ 말더듬 아동 치료, 부모교육 자료로 활용
    ■ 아동의 유창성 향상에 도움을 주는 요소 안내문
    ■ 한국 아동의 비유창성 특성 파악에 기여

    연구 결과
    1) 곽효정, 심현섭, 이수복 (2021). 학령전 말더듬아동과 아동의 어머니 간 상호작용 종단적 분석: 대화차례 발화 시간과 쉼 시간을 중심으로. 언어청각장애연구, 26(3), 700-717
    2) 곽효정, 황시현, 송푸름, 심현섭, 이수복.(2021).학령전 말더듬아동과 어머니 간 상호작용 시 끼어들기 특성 종단적 분석.말소리와 음성과학,13(4),75-87.
    3) 곽효정, 황시현, 송푸름, 김혜조, 이수복, 심현섭 (2020). 학령전 말더듬아동-부모 상호작용 시, 발화 끼어들기(interruption) 특성에 관한 종단연구. 2020 한국언어청각임상학회 학술대회 발표논문집 (pp. 301-304)
    4) 이수복, 곽효정, 윤재민, 신동춘, &심현섭. (2020). 동영상 기반 자동 발화 심층 분석 (SUDA) 어플리케이션 개발. 말소리와 음성과학, 12(2), 63-72.
    5) 이수복, 박혜연, &심현섭. (2019). 말더듬아동 종단연구에 관한 문헌연구. Communication Sciences &Disorders, 24(2), 490-506.
    6) 스마트 디바이스 및 외장 마이크 유형에 따른 아동과 성인의 음성인식 성능비교, 한국음성학회 2018 가을 학술대회 발표
    7) 말 언어유창성 평가 시스템 SDUA 개발, 2019 한국음성학회 봄 학술대회 발표
    8) SDUA앱을 활용한 일반 성인 일반아동 및 장애 아동 발화의 음성인식 성능 비교연구, 제 36회 음성통신 및 신호처리 학술대회 발표
  • 색인어
  • 자동 발화 분석 앱, 말더듬아동, 일반아동, 비유창성, 초기 아동말더듬, 종단연구,아동과 부모 발화
  • 연구성과물 목록
데이터를 로딩중 입니다.
데이터 이용 만족도
자료이용후 의견
입력