이 연구는 미국 NASPE (National Association for Sport and Physical Educatio)에서 제작하여 미국의 대다수 초등학교, 중학교, 고등학교에서 체육수업시간에서 사용되고 있는 "NASPE 평가 (NASPE assessment)" 검사와 관련하여 최근 제시된 확장된 Angoff 방법 (Extend ...

이 연구는 미국 NASPE (National Association for Sport and Physical Educatio)에서 제작하여 미국의 대다수 초등학교, 중학교, 고등학교에서 체육수업시간에서 사용되고 있는 "NASPE 평가 (NASPE assessment)" 검사와 관련하여 최근 제시된 확장된 Angoff 방법 (Extended Angoff method)을 이용하여 새로운 기준을 설정하여 체육학 분야 수행관련 평가 기준설정 방안을 제시하는데 목적이 있다.
이 연구를 수행하기 위하여 미국 일리노이주 (Illinois States) 초등학교 교사 연합에 가입되어 있는 체육교사 중 초등학교 체육수업을 5년 이상 담당한 체육교사 3명과 일리노이 대학 체육학과 체육교육학 전공 2명의 교수가 패널로 구성되었다. 또한 미국 전역의 15개 초등학교 5학년 학생 2260명을 대상으로 각 종목들의 실제 수행에 대한 평가가 이루어졌다. 이 평가 결과는 기준설정 과정에서 패널들에게 피드백으로 제시되었다.
패널들의 평정은 모두 2회에 걸쳐 이루어졌다. 패널들은 모두 11개 종목의 32개 하위요소에 해당하는 평정기준을 읽고 최소능력수준 (minimal competence level)의 학생이 성취할 수 있는 점수를 선택하였다. 2차 평정 (Round 2)을 위해 15개 학교에서 실제 수행을 평가한 자료와 각 패널 자신을 포함한 5명 패널 모두의 평정 결과를 피드백으로 제시하였다. 패널들은 제시된 피드백을 근거로 자신의 1차 평정에서 수정이 필요하다고 판단되면 점수를 수정하였다. 5명 패널들의 2회 평정 중 2차 평정 자료가 분석에 사용되었다. 각 하위종목별 평정자료의 중앙값을 최종 기준점수로 설정하였다.
연구결과 패널들은 전체 하위 종목의 60%에 해당하는 19개의 기준점수를 "2"로 평정하였고, 40% 에 해당하는 13개 하위요소의 기준점수는 "3"으로 평정하였다. 이 결과는 모든 종목의 모든 하위요소의 기준점수를 일률적으로 "3"으로 설정하였던 NASPE 위원회의 기준점수와 상당한 차이를 나타내므로 향후 NASPE 종목의 기준점수 타당성에 대한 지속적인 연구가 필요할 것이다.

Setting performance standards, known also as "cut-off scores," is one of the most important practice in test construction and practice. A number of standard-setting methods have been proposed and employed in testing and measurement practice over the p ...

Setting performance standards, known also as "cut-off scores," is one of the most important practice in test construction and practice. A number of standard-setting methods have been proposed and employed in testing and measurement practice over the past 30 years (Cizek, 2001; Looney, 1989; Safrit, 1989).
In educational testing practice, Extended Angoff method (Livingston & Zieky, 1982; Plake, 1998) has often been used to set standards for performance tasks. It has the following advantages: It is more holistic; can reduce the standard setting participant’s cognitive burden; can be used in variety kind of item and task formats (Cizek, Bunch, & Koons, 2004). Therefore, it is recommended for setting standards for complex performance assessment tasks (Cizek, Bunch, & Koons, 2004; James & Plake, 2000). Although the Angoff method has been introduced to the field of physical education (Yong et al., 2000), it has not been applied in practice.
Although no performance standard has been set up for the NASPE standard assessment tasks being developed, the competence level has been set as "3 = usually 75%" all grades (i.e., Kindergarten, 2nd, 5th, 8th grades and High school). Standard setting based on a percentage is no longer accepted, according to the Standards of Educational and Psychological Testing (AERA, APA, & NCME, 1999). The performance standards of NASPE assessment tasks should be set up using more appropriate methods.
The purposes of this study is to apply an appropriate methods, Extended Angoff method, to NASPE assessment tasks for their performance standard setting and evaluate its application utility.
Three elementary school teachers and two university faculty are recruited as the panel. The rating was consisted of round 1 and round 2. In round 1, panel members are asked to estimate the possible scores that students with a minimal competence level will likely to achieve at 32 subtasks which scored 0-4, in 11 tasks (Basketball: Dribble/ Pass/ Receive, Basketball: Defense, Basketball: Offense, Dance, Floor Hockey: Dribble & Shoot, Gymnastics, Inline skating, Soccer: Dribble/ Pass/ Receive, Soccer: Offense, Striking with a paddle, Overhand throw) in grade 5.
For round 2, panels are provided the result of other panel members’ judgment in round 1, and the summary of student’s actual performance data (e.g., % at each competence level), and asked to repeat their judging in round 1. After all ratings, the cut-off score are determined from the median of 5 panel members’ judgment scores based on the result of round 2.
In results, the cut-off score (level) are obtained at level 2 in 19 subtasks (60% of subtasks) and at level 3 in 13 subtasks (40% of subtasks).

이 연구는 미국 NASPE (National Association for Sport and Physical Educatio)에서 제작하여 미국의 대다수 초등학교, 중학교, 고등학교에서 체육수업시간에서 사용되고 있는 "NASPE 평가 (NASPE assessment)" 검사와 관련하여 최근 제시된 확장된 Angoff 방법 (Extend ...

이 연구는 미국 NASPE (National Association for Sport and Physical Educatio)에서 제작하여 미국의 대다수 초등학교, 중학교, 고등학교에서 체육수업시간에서 사용되고 있는 "NASPE 평가 (NASPE assessment)" 검사와 관련하여 최근 제시된 확장된 Angoff 방법 (Extended Angoff method)을 이용하여 새로운 기준을 설정하여 체육학 분야 수행관련 평가 기준설정 방안을 제시하는데 목적이 있다.
이 연구를 수행하기 위하여 미국 일리노이주 (Illinois States) 초등학교 교사 연합에 가입되어 있는 체육교사 중 초등학교 체육수업을 5년 이상 담당한 체육교사 3명과 일리노이 대학 체육학과 체육교육학 전공 2명의 교수가 패널로 구성되었다. 또한 미국 전역의 15개 초등학교 5학년 학생 2260명을 대상으로 각 종목들의 실제 수행에 대한 평가가 이루어졌다. 이 평가 결과는 기준설정 과정에서 패널들에게 피드백으로 제시되었다.
패널들의 평정은 모두 2회에 걸쳐 이루어졌다. 패널들은 모두 11개 종목의 32개 하위요소에 해당하는 평정기준을 읽고 최소능력수준 (minimal competence level)의 학생이 성취할 수 있는 점수를 선택하였다. 2차 평정 (Round 2)을 위해 15개 학교에서 실제 수행을 평가한 자료와 각 패널 자신을 포함한 5명 패널 모두의 평정 결과를 피드백으로 제시하였다. 패널들은 제시된 피드백을 근거로 자신의 1차 평정에서 수정이 필요하다고 판단되면 점수를 수정하였다. 5명 패널들의 2회 평정 중 2차 평정 자료가 분석에 사용되었다. 각 하위종목별 평정자료의 중앙값을 최종 기준점수로 설정하였다.
연구결과 패널들은 전체 하위 종목의 60%에 해당하는 19개의 기준점수를 "2"로 평정하였고, 40% 에 해당하는 13개 하위요소의 기준점수는 "3"으로 평정하였다. 이 결과는 모든 종목의 모든 하위요소의 기준점수를 일률적으로 "3"으로 설정하였던 NASPE 위원회의 기준점수와 상당한 차이를 나타내므로 향후 NASPE 종목의 기준점수 타당성에 대한 지속적인 연구가 필요할 것이다.

이 연구는 미국 NASPE (National Association for Sport and Physical Educatio)에서 제작하여 미국의 대다수 초등학교, 중학교, 고등학교에서 체육수업시간에서 사용되고 있는 NASPE 평가 (NASPE assessment) 검사와 관련하여 최근 제시된 확장된 Angoff 방법 (Extend ...

이 연구는 미국 NASPE (National Association for Sport and Physical Educatio)에서 제작하여 미국의 대다수 초등학교, 중학교, 고등학교에서 체육수업시간에서 사용되고 있는 NASPE 평가 (NASPE assessment) 검사와 관련하여 최근 제시된 확장된 Angoff 방법 (Extended Angoff method)을 이용하여 새로운 기준을 설정하고 기존에 NASPE에서 설정했던 기준과 차이를 확인하는데 목적이 있다.
연구결과 패널들은 전체 하위 종목의 60%에 해당하는 19개의 기준점수를 "2"로 평정하였고, 40% 에 해당하는 13개 하위요소의 기준점수는 "3"으로 평정하였다. 이 결과는 모든 종목의 모든 하위요소의 기준점수를 일률적으로 "3"으로 설정하였던 NASPE 위원회의 기준점수와 상당한 차이를 나타내므로 향후 NASPE 종목의 기준점수 타당성에 대한 지속적인 연구가 필요할 것이다.
이 연구 결과는 체육수업에서 학생들의 성취 및 기능검사, 대학입학 실기고사, 각종 자격검사 등 수행이 대부분을 차지하는 체육 분야의 다양한 검사에서 그 목적에 맞게 사용할 수 있는 기준설정방법을 제시하여 실제 현장에서 사용할 수 있는 기회를 제공할 수 있을 것이다. 또한 다양한 목적을 기반으로 한 다양한 수행관련 검사 자료를 이용하여 그동안 체육 분야에서는 비교적 소개되지 않았던 기준설정방법을 소개하는 것도 의미가 있을 것이다 .