본 연구에서는 대학생들이 영작문 시간에 Criterion 프로그램에서 받은 피드백이 에세이의 질을 향상시키고 궁극적으로 쓰기 능력을 향상시키는 데에 어떠한 도움이 되는지를 살펴보았다. 본 연구에서 살펴본 구체적인 연구 질문은 다음과 같다. 첫째, Criterion 피드백을 ...

본 연구에서는 대학생들이 영작문 시간에 Criterion 프로그램에서 받은 피드백이 에세이의 질을 향상시키고 궁극적으로 쓰기 능력을 향상시키는 데에 어떠한 도움이 되는지를 살펴보았다. 본 연구에서 살펴본 구체적인 연구 질문은 다음과 같다. 첫째, Criterion 피드백을 받은 후 교정한 수정본이 초안보다 에세이의 수준이 향상되었는가? 둘째, 한 학기동안 Criterion 프로그램을 사용하여 영작하는 동안 쓰기 능력의 향상은 어느 정도로 나타나는가? 셋째, 학생들은 Criterion 피드백의 유용성에 대해 어떻게 인지하고 있는가? 연구결과를 살펴보면 다음과 같다. 첫 번째 연구질문의 경우, 에세이 1과 2모두 수정본의 평균은 초안보다 높았으며, t 검정 결과 통계적으로 유의미했다. 이를 통해 대부분의 학생들은 Criterion 피드백이 제공한 교정의 기회를 효율적으로 활용했음을 알 수 있다. 두 번째 연구질문의 경우, 정규화된 빈도 오류는 감소하였으며, 대부분의 학생들은 에세이 1에서 에세이 2를 작문하면서 Grammar, Mechanics, Style에 더욱 유의하면서 작문을 한다는 것을 알 수 있다. 세 번째 연구질문의 경우, 설문분석 결과 대부분의 학생들은 Criterion 프로그램이 제공하는 피드백의 유용성에 대해 긍정적으로 인식했다. 본 연구결과를 통해 한국과 같은 EFL 환경에서 자동 쓰기 평가 시스템은 효과적인 교육용 도구가 될 수 있음을 알 수 있다. 학생들은 Criterion 프로그램이 제공하는 피드백을 이해하고 이를 반영한 수정본을 작성하였으며, 피드백의 유용성에 대해서도 긍정적으로 평가했다. 본 연구결과는 한국과 같은 EFL 환경에서 자동 쓰기 평가 시스템을 지지하는 논거를 제시한다.

In this study, a popular online writing evaluation service, Criterion, developed by ETS, was integrated into writing instruction in an EFL university classroom. This study examined the pedagogical effectiveness of Criterion feedback in a Korean univer ...

In this study, a popular online writing evaluation service, Criterion, developed by ETS, was integrated into writing instruction in an EFL university classroom. This study examined the pedagogical effectiveness of Criterion feedback in a Korean university context. Specifically, this study investigated the extent to which the quality of essays differed between first drafts and second drafts, as well as the students’ perceptions of the benefits of the feedback. The results showed that students’ second drafts were rated significantly higher than first drafts by two NS raters, which indicates that many students followed the revision suggestions made by the Criterion program. Also, short-term writing development was demonstrated by progress made from paper 1 to paper 2, as indicated by the decreased normalized error frequency of grammar, mechanics, and style. The students’ survey responses showed that they perceived the benefits of Criterion feedback positively. In summary, the students were able to understand and respond to Criterion feedback to a significant extent. That is, the feedback provided by the Criterion program can be used as an informative source for students in revising their essays. The results of this study provide strong support for automated writing evaluation (AWE) use in the EFL context.

In this study, a popular online writing evaluation service, Criterion, developed by ETS, was integrated into writing instruction in an EFL university classroom. This study examined the pedagogical effectiveness of Criterion feedback in a Korean univer ...

In this study, a popular online writing evaluation service, Criterion, developed by ETS, was integrated into writing instruction in an EFL university classroom. This study examined the pedagogical effectiveness of Criterion feedback in a Korean university context. Specifically, this study investigated the extent to which the quality of essays differed between first drafts and second drafts, as well as the students’ perceptions of the benefits of the feedback. The results showed that students’ second drafts were rated significantly higher than first drafts by two NS raters, which indicates that many students followed the revision suggestions made by the Criterion program. Also, short-term writing development was demonstrated by progress made from paper 1 to paper 2, as indicated by the decreased normalized error frequency of grammar, mechanics, and style. The students’ survey responses showed that they perceived the benefits of Criterion feedback positively. In summary, the students were able to understand and respond to Criterion feedback to a significant extent. That is, the feedback provided by the Criterion program can be used as an informative source for students in revising their essays. The results of this study provide strong support for automated writing evaluation (AWE) use in the EFL context.

본 연구는 자동 쓰기 평가 시스템을 대학 영작문 강의에 활용하였을 때 어떠한 교육적 효과를 얻을 수 있는지에 대한 시사점을 제시한다는 측면에서 영어교육 분야에서 연구결과가 활용될 수 있다. 이를 구체적으로 살펴보면 다음과 같다. 첫째, 본 연구결과는 한국인 영 ...

본 연구는 자동 쓰기 평가 시스템을 대학 영작문 강의에 활용하였을 때 어떠한 교육적 효과를 얻을 수 있는지에 대한 시사점을 제시한다는 측면에서 영어교육 분야에서 연구결과가 활용될 수 있다. 이를 구체적으로 살펴보면 다음과 같다. 첫째, 본 연구결과는 한국인 영어 학습자들에게 영어 쓰기 실력을 향상시킬 수 있는 실질적인 방안을 제공할 수 있을 것이라 기대된다. 연구대상 대학과 비슷한 교육환경에 있는 학습자들에게 자동 쓰기 평가 시스템을 활용한 영어 쓰기 연습과 훈련 기회의 제공이 어떠한 효과를 가져 올 수 있으며 현실적인 기대효과가 무엇인지를 제시할 수 있다. 둘째, 자동 쓰기 평가 시스템은 인간이 아닌 컴퓨터가 에세이를 읽고 오류에 대한 피드백을 주는 것이기 때문에 문법적으로 맞는 문장에 대해 오류가 있다고 잘못 지적하는 경우가 있다. 틀리게 제공된 피드백은 영어 실력이 부족한 학생들에게 그대로 받아들여져서, 오류가 없었던 문장을 오류를 포함한 문장으로 잘못 고치도록 만드는 부정적인 영향을 미치게 된다. 본 연구결과는 추후 Criterion 프로그램 개발자들이 피드백의 질을 더욱 정교화 하는 데에 활용될 수 있다.