연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > Search by Achievements Type > Reports View

Reports Detailed Information

https://www.krm.or.kr/krmts/link.html?dbGubun=SD&m201_id=10007713&local_id=10012147
중등영어교육 수행평가를 위한 음성인식기술기반 모의구술면접 모형 개발
Reports NRF is supported by Research Projects( 중등영어교육 수행평가를 위한 음성인식기술기반 모의구술면접 모형 개발 | 2004 Year 신청요강 다운로드 PDF다운로드 | 최인철(고려대학교) ) data is submitted to the NRF Project Results
Researcher who has been awarded a research grant by Humanities and Social Studies Support Program of NRF has to submit an end product within 6 months(* depend on the form of business)
  • Researchers have entered the information directly to the NRF of Korea research support system
Project Number A00500
Year(selected) 2004 Year
the present condition of Project 종료
State of proposition 재단승인
Completion Date 2006년 05월 19일
Year type 결과보고
Year(final report) 2006년
Research Summary
  • Korean
  • 현재 대학 수학능력 시험 영어영역에서 이해기능 위주의 평가가 이루어지고 있으므로, 중등 영어교육 일선현장에서는 말하기 능력을 위한 수업이 거의 배제되고 있는 실정이다. 결국, 대학 입학 후에야 비로소 영어 말하기 능력을 위해 개인과 학교를 포함해서, 국가적으로 엄청난 비용과 노력을 투자하지만, 그 효과성에 대해서는 회의적이다(최인철, 1999). 따라서, 보다 효과적인 영어 말하기 능력 배양을 위해서는 중등 영어교육 현장의 수업 방식이 개선되어야 하며, 그러기 위해서는 교육에 막대한 환류효과(washback effect)를 가지고 있는 평가방식에 근본적인 변화가 있어야 한다. 말하기 능력 평가의 가장 큰 문제는 채점 신뢰성과 실용성/경제성에 있다. 즉, 평가자간(inter-rater) 신뢰성과 평가자내(intra-rater) 신뢰성의 내재적인 문제점(McNamara, 1996)과 함께 원어민 평가자의 채점에 요구되는 고비용 때문에 긍정적인 환류효과가 있는 수행평가(performance testing: Shohamy, 1995)가 일선 교육과 평가 현장에서 활용되지 못하고 있다. 대입시제도 개선안에 의하면 수능시험이 2008학년도부터는 자격고사화가 예정되어 있으므로, 중등교육현장에서 내신성적의 중요성이 더욱 부각되고 있다. 내신성적이 내실을 기하기 위해서는 수행평가의 채점 방식이 신뢰성과 타당성을 충족해야 하는데, 이에 대한 체계적인 연구가 미흡한 실정이다. 특히, 말하기 능력의 수행평가의 실행 정도는 일선 교사의 영어의사소통능력에 따라 큰 차이를 보이고 있어서, 시급히 풀어야 할 과제이다. 이런 점에서, 본 연구에서는 다양한 시험방식과 함께 음성인식 기술(ASR: Automatic Speech Recognition; 최인철, 2004; Malabonga와 Kenyon, 1999; Godwin-Jones, 2001; Witt, 1999)을 활용한 컴퓨터기반 모의구술 면접평가(COPI: Computer-based Simulated Oral Proficiency Interview) 방식이 수행평가 타당성에 미치는 영향을 체계적으로 분석함으로써, 중등교육현장에서 절실히 요구되는 말하기 능력 수행평가를 위해서 음성인식기술을 기반으로 하는 타당한 모의 구술면접 평가의 모델을 구현하고자 하였다.
    연구 대상인 음성언어 자료의 신뢰성을 확보하기 위해서 타당한 다양한 시험방식을 도입하여 시행한 COPI의 신뢰성은 .9이상으로 상당히 높은 것으로 나타났다. 또한, 원어민 채점자간 높은 신뢰도(.9이상)로써 신빙성이 높은 기초 자료를 확보하였다. 또한, 전체집단에서 컴퓨터 채점과 원어민 채점간의 상관관계는 .829로서 높게 나타났다. COPI의 각 시험방식별 수험결과와 원어민 채점결과간의 상관관계를 보면, 다른 방식보다 받아쓰기가 .814로서 가장 높은 상관관계를 보였다. 이는 아직 신뢰성에서 다소 미흡하다고 여겨지는 음성인식기를 사용하지 않고도, 수행평가에서 받아쓰기방식을 활용하여 구술능력의 간접적 평가를 신뢰성 있게 시행할 수 있음을 보여주는 결과이다.
  • English
  • The deficiency of competent native English speaker raters and the inherent problem with intra-rater and inter-rater reliability of the oral proficiency interview (OPI) has precluded the full-fledged implementation of English performance testing, inevitably ushering in the computer-based oral proficiency interview (COPI) as its viable alternative with the help of automatic speech recognition (ASR). The plausibility and feasibility of implementing ASR-based COPI has recently been investigated with favorable results, which warrants more sophisticated research focusing on development of desirable test methods that will meet the rigorous criteria required by high-stakes language tests.
    In this respect, employing varied statistical methods as correlational, regression analyses, and ANOVA, the present study attempts to explore strengths and limitations of test method facets and to identify valid test methods to maximize the validity and reliability of ASR-based COPI. Within the theoretical framework of communicative language components to be measured, the statistical findings reveal that some test methods prove to be more effective than others in producing COPI test results with better discriminability and reliability. The survey of students and teachers also suggest their favorable attitudes toward utilizing the COPI for in-class evaluation. Both findings strongly corroborates potential of the COPI in question as a valid performance testing tool to measure overall communicative competence. The current research is expected not only to shed light on advancement of performance testing, but also to serve the purpose of enhancing communicative English teaching.
Research result report
  • Abstract
  • The deficiency of competent native English speaker raters and the inherent problem with intra-rater and inter-rater reliability of the oral proficiency interview (OPI) has precluded the full-fledged implementation of English performance testing, inevitably ushering in the computer-based oral proficiency interview (COPI) as its viable alternative with the help of automatic speech recognition (ASR). The plausibility and feasibility of implementing ASR-based COPI has recently been investigated with favorable results, which warrants more sophisticated research focusing on development of desirable test methods that will meet the rigorous criteria required by high-stakes language tests.
    In this respect, employing varied statistical methods as correlational, regression analyses, and ANOVA, the present study attempts to explore strengths and limitations of test method facets and to identify valid test methods to maximize the validity and reliability of ASR-based COPI. Within the theoretical framework of communicative language components to be measured, the statistical findings reveal that some test methods prove to be more effective than others in producing COPI test results with better discriminability and reliability. The survey of students and teachers also suggest their favorable attitudes toward utilizing the COPI for in-class evaluation. Both findings strongly corroborates potential of the COPI in question as a valid performance testing tool to measure overall communicative competence. The current research is expected not only to shed light on advancement of performance testing, but also to serve the purpose of enhancing communicative English teaching.
  • Research result and Utilization method
  • 연구 대상인 음성언어 자료의 신뢰성을 확보하기 위해서 타당한 다양한 시험방식을 도입하여 시행한 COPI의 신뢰성은 .9이상으로 상당히 높은 것으로 나타났다. 또한, 원어민 채점자간 높은 신뢰도(.9이상)로써 신빙성이 높은 기초 자료를 확보하였다. 또한, 전체집단에서 컴퓨터 채점과 원어민 채점간의 상관관계는 .829로서 높게 나타났다. COPI의 각 시험방식별 수험결과와 원어민 채점결과간의 상관관계를 보면, 다른 방식보다 받아쓰기가 .814로서 가장 높은 상관관계를 보였다. 이는 아직 신뢰성에서 다소 미흡하다고 여겨지는 음성인식기를 사용하지 않고도, 수행평가에서 받아쓰기방식을 활용하여 구술능력의 간접적 평가를 신뢰성 있게 시행할 수 있음을 보여주는 결과이다.
    시험방식과 측정능력요소간의 상관관계를 살펴보면 상당히 중요한 사실을 알 수 있다. 소리내어 읽기 방식인 Section 2는 비록 기계적인 차원의 평가 유형이지만, 통계적으로는 어느 정도 타당한 결과를 나타내는 방식으로 나타났다. Section 3는 잠재적 의사소통능력인 메아리 기억 능력을 측정하는 방식이므로, 발음인식력과 유창성과의 상관관계(.652, .686)가 어느 정도 높게 나타남으로써 시험방식의 타당성이 뒷받침되었다고 볼 수 있다. 또한, 특기할 시험 방식은 받아쓰기로서, 다른 측정방식보다 모든 측정영역에서 높은 상관관계(.7이상)를 보임으로써 받아쓰기 방식이 음성인식기의 발음의 직접 평가보다도 보다 더 타당하게 평가할 수 있는 가능성을 보여주고 있다. 통합적 시험으로서 받아쓰기의 타당성을 보여주는 기존 연구(최인철, 1993; Oller, 1979)와 맥을 같이 하는 연구결과이다. 적절한 응답을 선택하는 Section 4가 유창성과의 상관관계가 높은 점을 볼 때에, 유창성과 살아있는 표현/구문 능력과 상관관계가 어느 정도 높다는 것은 당연한 결과로 풀이된다. 문장 재배열 방식의 Section 5는 논리성에 관련된 담화능력과의 상관관계(.790)가 다른 측정 영역보다 상당히 높음을 알 수 있다. 이로써, COPI 방식의 적용성을 높이기 위해서 다소 짧은 구어체 음성언어를 가지고도, 제한적이기는 하지만, 어느 정도 담화 능력을 평가하는 것이 타당하다는 사실을 알 수 있다.
    또한, COPI를 치룬 수험자들에게 실시한 설문조사 결과는 COPI가 원어민 면접 구술시험보다는 타당성에서 우월하다고 보지는 않지만, 각 항목별로 볼 때에 개개의 시험 방식에 대해서는 긍정적인 반응을 보임을 알 수 있다. 또한, 음성합성 기술에 대해서도 원어민 발음과 큰 차이를 느끼지 않는 것으로 보아서, 앞에서 언급한 받아쓰기 방식에서 요구되는 원어민 발음 녹음을 위해서 음성합성 기술을 적극적으로 활용함으로써 실용성을 제고할 수 있을 것이다. COPI에 대한 교사인식 설문조사의 결과를 보면, 전반적으로 수행평가에 대한 채점에 걸리는 시간 등으로 야기되는 실용성의 문제와 대학수능시험 방식과의 괴리와 현실적인 제약 등으로 야기되는 신뢰성 및 타당성의 문제점을 많이 인식하고 있으며, COPI의 신뢰성만 확보된다면 활용에 대해서 긍정적인 태도를 보이고 있었다. COPI 모형을 대규모 학습자 집단을 대상으로 타당성과 신뢰성을 체계적으로 조사하고 실용화한다면, 영어 교육 현장에 적지 않은 도움이 될 수 있을 것이다.
  • Index terms
  • Computer-based Oral Proficiency Interview, Automatic Speech Recognition, inter-rater/intra-rater reliability, oral proficiency interview, performance testing
  • List of digital content of this reports
데이터를 로딩중 입니다.
  • This document, it is necessary to display the original author and you do not have permission
    to use copyrighted material for-profit
  • In addition , it does not allow the change or secondary writings of work
데이터 이용 만족도
자료이용후 의견
입력