1. 연구 내용

이 연구는 한국어 학습자의 한국어 능력을 측정하는 데 필요한 문항 작성 지침서(specifications)를 개발하고 이를 활용하여 한국어 평가 문항을 개발하는 일련의 과정을 살피는 데 목적이 있다. 이를 위해 한국어 교육 현장의 평가 담당 한국어 교사들이 ...

1. 연구 내용

이 연구는 한국어 학습자의 한국어 능력을 측정하는 데 필요한 문항 작성 지침서(specifications)를 개발하고 이를 활용하여 한국어 평가 문항을 개발하는 일련의 과정을 살피는 데 목적이 있다. 이를 위해 한국어 교육 현장의 평가 담당 한국어 교사들이 직접 문항 작성 지침서를 구성하고 평가 문항 개발에도 참여하였다. 문항 작성 지침서 개발부터 평가 문항 개발에 이르기까지의 과정을 탐색하는 동안 한국어 평가 현장에서 문항 작성 지침서의 필요성과 역할을 논의하고 문항 작성 지침서의 항목과 내용이 실제 평가 문항 개발 과정에 어떠한 양상으로 관여하는가를 살피고자 하였다.
이 연구는 문항작성 지침서 개발에 필요한 항목을 설정하고 기술하여 그것을 실제 평가 문항 개발 과정에 적용하는 데 목적이 있다. 그리고 이러한 과정을 탐색하는 동안 한국어 평가 문항 개발에 필요한 문항작성 지침서의 필요성과 역할, 유용성 등을 살피고자 하였다. 한국어 능력 측정을 위해 평가 문항을 개발하고 제작하는 과정에 문항 작성 지침서가 어떻게 활용되고 있으며, 현장 교사들이 이에 대해 어떠한 생각을 가지고 있는가를 알아보기 위해서 지침서 활용 실태에 대한 설문 조사를 수행하였다. 그리고 언어 평가 전문가들이 제시하고 있는 문항 제작 지침서의 모형과 한국어 교사를 대상으로 실시한 설문 조사의 내용을 반영하여 문항 작성 지침서를 작성하였다. 그리고 두 차례 이상의 회의를 통하여 문항 작성 지침서를 수정하였으며, 최종 완성된 문항작성 지침서에 근거하여 평가 문항을 작성하였다. 그리고 문항 제작의 과정에서 문항 작성 지침서의 문제점과 개선점에 대해서 실험 참여자들 간에 지속적인 논의가 이어졌다. 3단계에서는 1차 문항 작성 지침서의 작성과 평가 문항 제작 과정을 바탕으로 문항 작성 지침서에 대한 2차 수정과 문항 제작이 진행되었다. 문항 작성 지침서의 문제점과 개선점, 문항 제작의 한계 등에 대해서는 연구 참여자들 간에 지속적인 논의가 있었다. 그리고 4단계에서는 이들이 작성한 문항 작성 지침서와 평가 문항에 대해서 연구 참여자들 간의 교차 확인 및 점검이 이루어졌다. 마지막 5단계에서는 실험에 참여한 참여자들에 대한 연구자의 사후 인터뷰와 설문 조사를 진행하였다.

2. 연구 방법
본 연구에서는 언어 평가 전문가들이 제시하고 있는 문항 제작 지침서의 모형과 한국어교사를 대상으로 실시한 설문 조사의 내용을 반영하여 문항 작성 지침서를 작성하였다. 그리고 이를 바탕으로 2단계에서는 문항 제작에 참여하는 실험 참여자들이 문항 작성 지침서를 수정한 후 완성된 문항 작성 지침서에 근거하여 문항을 제작할 수 있도록 하였다. 문항 제작의 과정에서 문항 작성 지침서의 문제점과 개선점에 대해서 실험 참여자들 간에 지속적인 논의가 이어졌다. 3단계에서는 1차 문항 작성 지침서의 작성과 평가 문항 제작 과정을 바탕으로 문항 작성 지침서에 대한 2차 수정과 문항 제작의 과정이 진행되었다. 문항 작성 지침서의 문제점과 개선점, 문항 제작의 한계 등에 대해서는 연구자와 연구 참여자들 간에 지속적인 논의가 이루어졌다. 그리고 4단계에서는 이들이 작성한 문항 작성 지침서와 평가 문항에 대해서 두 명의 검사자와 실험 참여자들이 교차 확인 및 점검을 하였다. 마지막 5단계에서는 실험에 참여한 참여자들에 대한 연구자의 사후 인터뷰와 설문 조사를 진행하였다.
① 1단계 : 문항 작성 지침서에 대한 인식 조사 및 초안 작성
연구자는 언어 평가 전문가가 제시한 문항 작성 지침서의 모형과 설문 조사를 바탕으로 문항 작성 지침서의 초안을 작성한다.
② 2단계 : 문항 작성 지침서 1차 수정 및 문항 제작
실험 참여자는 연구자로부터 제공 받은 문항 작성 지침서가 실제 문항 제작에 필요하다고 판단하는 항목을 추가하거나 삭제하고 이를 바탕으로 문항 제작을 진행한다.
③ 3단계 : 문항 작성 지침서 2차 수정 및 문항 제작
실험 참여자는 2단계에서 제작한 문항과 자신의 문항 작성 지침서의 일치도 여부를 판단하고 문항 작성 지침서를 수정한다. 그리고 이를 바탕으로 문항 제작을 진행한다.
④ 4단계 : 문항 검사
실험 참여자가 작성한 문항 작성 지침서와 문항을 수집하여 일치도와 신뢰도, 타당도 등을 검사하고 판단한다.
⑤ 5단계 : 사후 인터뷰 및 설문조사
사후 인터뷰와 설문 조사를 통하여 문항 작성 지침서 작성의 필요성과 유용성, 한계점, 문항 제작 과정에서 문항 작성 지침서의 역할 등을 논의한다.

A great number of teacher have difficulties in evaluating students due to the lack of practical training or education. Reflecting the circumstances, a lot of related literature points out that the teacher’ evaluation professionalism should be reconsid ...

A great number of teacher have difficulties in evaluating students due to the lack of practical training or education. Reflecting the circumstances, a lot of related literature points out that the teacher’ evaluation professionalism should be reconsidered. The purpose of this paper is to investigate general situations of the use of test specifications in Korean language education center settings, and finally to provide some suggestions for developing test specifications. Use of test specifications provides their developer and items writers with several advantages. First, through the process of developing item writing strategies, their developer will have chance to ponder the validity of test items. In addition, item writing strategies serve as guidelines for item construction, contributing to constructing homegeneous items. In spite of these advantages, item writing strategies are not used widely in Korean language education center settings, since use of them causes extra work for teachers. Thus we need to develop ways to minimize the burden on teachers, while increasing the applicability and practicality of test specification to real test item writing situations.

이 연구는 한국어 학습자의 한국어 능력을 측정하는 데 필요한 문항 작성 지침서(specifications)를 개발하고 이를 활용하여 한국어 평가 문항을 개발하는 일련의 과정을 살피는 데 목적이 있다. 이를 위해 한국어 교육 현장의 평가 담당 한국어 교사들이 직접 문항 작성 ...

이 연구는 한국어 학습자의 한국어 능력을 측정하는 데 필요한 문항 작성 지침서(specifications)를 개발하고 이를 활용하여 한국어 평가 문항을 개발하는 일련의 과정을 살피는 데 목적이 있다. 이를 위해 한국어 교육 현장의 평가 담당 한국어 교사들이 직접 문항 작성 지침서를 구성하고 평가 문항 개발에도 참여하게 된다. 문항 작성 지침서 개발부터 평가 문항 개발에 이르기까지의 과정을 탐색하는 동안 한국어 평가 현장에서 문항 작성 지침서의 필요성과 역할을 논의하고 문항 작성 지침서의 항목과 내용이 실제 평가 문항 개발 과정에 어떠한 양상으로 관여하는가를 살피고자 하였다. 연구 결과는 다음과 같다. 첫째, 문항 작성 지침서 사용 실태와 관련하여 응답자 중 80%가 현재 근무하고 있는 한국어 교육 기관에서 문항 작성 지침서를 사용하고 있지 않다고 응답하였으며, 20%가 사용하고 있다고 응답하였다. 둘째, 문항 작성 지침서 사용과 관련된 개방형 질문에 대하여 연구 참여자들은 문항 작성 지침서가 필요한 이유를 평가 문항 출제에 필요한 통일된 양식과 틀을 제공하는 일종의 안내서로서의 역할이라고 제시하였다. 즉, ‘문항 작성의 일관성’이나 평가 문항의 ‘타당도, 신뢰도’ 등과 관련된 점을 지적하였다. 셋째, 문항 작성 지침서 활용과 관련하여 연구 참여자의 66.7% 응답자가 문항 작성 지침서에 평가 목적과 평가 목표, 평가의 전반적인 방향에 대해서 명시적으로 기술하고 있어서 문항 개발에 도움이 되었다는 긍정적인 답변을 하였다. 그리고 6.6%가 문항 작성 지침서에 포함되어 있는 예시 문항이 실제 문항 개발에는 큰 도움이 되지 못했다는 부정적인 응답을 하였다. 문항 작성 지침서 활용에 대한 종합적인 평가로 평가 문항을 개발하는 데 문항 작성 지침서가 실제로 어떠한 역할을 하였는가에 대하여 80%가 긍정적인 응답을 하였으며, 20%가 부정적인 응답을 하였다. 넷째, ro발한 평가 문항에 대하여 종합적인 평가 내용을 살펴보면 긍정적인 응답의 비율이 높게 나타났다. ‘평가 문항 수가 적절하였는가’라는 질문에 대해 86.6%가 ‘그렇다’라고 응답하였다. ‘난이도’의 적절성 문제와 ‘지시문의 명확성’ 문제에 대해서 각각 26.7%, 20%의 응답자가 부정적인 응답을 하였다.

본 연구를 통해 문항 작성 지침서에 대한 이해와 필요성을 논의하고 구체적인 모형을 제시하여 한국어교육 현장과 한국어교사에게 필요한 실제적인 도움을 제공할 수 있을 것이다. 본 연구 결과에 대한 구체적인 활용 방안을 정리하면 다음과 같다.

○ 문항 작성 지 ...

본 연구를 통해 문항 작성 지침서에 대한 이해와 필요성을 논의하고 구체적인 모형을 제시하여 한국어교육 현장과 한국어교사에게 필요한 실제적인 도움을 제공할 수 있을 것이다. 본 연구 결과에 대한 구체적인 활용 방안을 정리하면 다음과 같다.

○ 문항 작성 지침 개발의 필요성과 이해를 위한 자료를 제시할 수 있을 것이다. 아직까지 한국어교육 분야에서는 문항 작성 지침서에 대한 인식과 필요성이 부족하다고 할 수 있다. 이는 문항 개발과 제작 과정에 대한 무관심과 비전문성의 일반화로 이어질 수 있다. 본 연구의 진행 과정에 대한 이해와 결과를 통해 문항 작성 지침서 개발의 필요성과 당위성을 설명하는 기초 자료로 활용될 수 있을 것이다.

○ 한국어 평가와 연구를 위한 자료를 제공할 수 있다. 지금까지 이루어진 한국어 능력 평가와 관련한 연구는 평가의 목적과 평가 범주, 평가 내용 선정과 평가 방법 등에 대한 숙달도 평가를 중심으로 한 연구가 주를 이루었다. 따라서 이 연구를 통하여 한국어교육 현장에 필요한 소규모 단위의 평가 계획과 시행을 위한 연구 자료를 제공할 수 있을 것이다.

○ 한국어교사 교육을 위한 자료로 활용할 수 있다. 현재 국내에는 한국어교사를 양성할 수 있는 다양한 과정이 개설되어 있다. 학위과정 뿐만 아니라 비학위과정에서도 매년 상당수의 한국어교사가 배출된다. 하지만 이들이 한국어교육 현장에서 평가의 업무를 담당하는 데 필요한 교육이나 훈련을 받을 수 있는 기회는 극히 제한적이다. “한국어평가론”과 같은 교과목 이수를 통하여 평가 이론에 대한 기본적인 지식을 학습하고 있지만 시험 문항 작성 방법이나 원리에 대한 구체적이고 실제적인 교육을 받는 데는 한계가 있다. 따라서 이 연구의 과정과 결과물을 토대로 한국어교사 교육에 필요한 기초 자료로 활용할 수 있을 것이다.

○ 한국어 능력 평가에 필요한 문항 개발과 제작을 위한 전문 인력 양성에 도움을 줄 수 있다. 한국어교사는 교육 현장에서 평가자로서의 역할을 수행할 수밖에 없다. 하지만 지금까지 대다수의 현장 교사들이 경험과 직관에 의존하여 평가를 시행하였다. 따라서 문항 작성 지침서 개발과 이를 적용한 평가 문항 개발에 참여 하는 과정을 통하여 전문적인 평가자로 훈련받을 수 있는 기회를 제공할 수 있을 것이다.