본 연구는 우리나라에서 시․도 교육청 단위로 시행하는 학교평가를 양적 통계모형에 의한 학교평가로 전환하였을 때, 양적 통계방법으로서 다층모형을 응용한 학교평가 방법의 적절성을 검토하기 위한 것이다. 다층모형에 의한 학교평가 방법에서 통계모형에 포함되 ...

본 연구는 우리나라에서 시․도 교육청 단위로 시행하는 학교평가를 양적 통계모형에 의한 학교평가로 전환하였을 때, 양적 통계방법으로서 다층모형을 응용한 학교평가 방법의 적절성을 검토하기 위한 것이다. 다층모형에 의한 학교평가 방법에서 통계모형에 포함되는 변수의 선정은 학교효과이론에 기초하여 결정된다. 또한 다층모형에 의한 학교평가방법의 적절성은 현실적인 시․도 교육청의 학교평가 상황에서 다층모형이 제공하는 정보의 양호도에 의하여 평가하려는 것이다. 따라서 본 연구에서 다층모형의 적용조건은 학교평가의 현실적 상황이며, 모의실험 조건은 현행 시․도 교육청의 학교평가 상황으로서, 시․도 교육청별 초․중등 학교수(대, 중, 소)와 학생수(대, 소), 그리고 선행연구에서 밝혀진 각 교육성과변수별 집단내 상관(ICC)(대, 소)조건을 설정하여 총 18가지 조건이었다.
본 연구의 결과를 요약하면 다음과 같다. 첫째, 전체 18가지 모의실험 조건별로 총 600회 반복 추정한 고정효과와 집단내 상관(ICC) 추정치들에 대한 기술통계량을 살펴본 결과, 고정효과와 집단내 상관(ICC) 추정치들의 평균들은 설정된 모수치들과 ± .01 내외의 차이로 모수치에 근사하게 추정되었다. 둘째, 고정효과와 집단내 상관(ICC) 추정량의 양호도는 추정치 표준오차의 분포, 추정량의 편향성과 추정량의 효율성으로 살펴보았다. 그 결과, 고정효과와 집단내 상관(ICC) 추정치들의 표준오차는 매우 작아서 추정량의 정밀도는 높았으며, 편향성은 모든 조건에서 무시할 정도로 작았고, 추정량의 효율성은 높았다. 셋째, 고정효과와 집단내 상관 추정량의 효율성은 학교수와 학생수 크기의 실험조건에 따라 다르게 나타났다. 학교수와 학생수 크기에 따른 추정량의 효율성을 살펴보면, 모든 고정효과 추정량은 학교수와 학생수의 크기가 증가함에 따라 추정량의 효율성이 높아졌다. 넷째, 학교효과 추정량은 학교수와 학생수의 조합에 따라 효율성이 달랐으며, 학교수가 크고 (120 개교), 학생수는 작은(50명/학교) 조건에서 효율성이 가장 높았다. 다섯째, 모의실험 조건별로 산출한 학교효과 추정치들의 평균을 집단내 상관의 크기 조건을 독립변수로 하여 분산분석(Anova)한 결과, 통계적으로 유의미한 차이가 발견되지 않았다. 이는 교육성과 변수의 특징이 달라도 산출되는 학교효과 추정치 평균은 유의미한 차이는 없다는 것을 의미한다. 여섯째, 학교수와 학생수의 조건을 독립변수로 하여 학교효과 추정치들의 평균비교를 했을 때는 통계적으로 유의미한 차이가 있었다. 따라서 시․도 교육청별로 관내 학교수와 학생수가 다른 우리나라의 상황에서는 본 연구에서 설정한 모의실험 조건을 참조하여, 각 시․도 교육청내의 학교수와 학생수의 특징이 유사한 조건에서 산출된 결과를 참조할 필요가 있다. 즉, 서울이나 경기도 교육청과 같이, 관내에 많은 학교와 학생수가 있는 교육청들을 제외한 나머지 시․도교육청은 본 연구모형에서 설정한 학교수 크기 3개 조건과 학생수 크기 2개 조건의 조합으로 생성된 총 6개의 조건 중, 해당 교육청내 학교수와 학생수의 특징이 비슷한 조건에서 산출된 결과를 참조하여, 이 연구에서 제시한 다층모형에 의한 학교평가방법을 고려할 수 있다.
본 연구의 결과에 기초하여 다층모형에 의한 학교평가 수행시 시․도 교육청의 지역별 특성에 따라 고려하여야 할 조건으로서 학교수․학생수․집단내 상관의 크기에 대하여 논의하였으며, 후속 연구를 위하여, 추가적으로 검토해야 할 모의실험 조건에 대하여 제언하였다.

This study investigated the practical applicability of multilevel modeling as the statistical method for school evaluation under the theory of school effects. The criteria for judging the appropriate applicability were the information of precision, si ...

This study investigated the practical applicability of multilevel modeling as the statistical method for school evaluation under the theory of school effects. The criteria for judging the appropriate applicability were the information of precision, size of bias, and efficiency of the estimators that HLM uses. To examine the properties of the HLM estimators, this study designed 18 simulation conditions based on the number of schools, students, and the size of the intra-class correlation which depends on schooling outcome variables in cognitive and affective domains.
The study set up three objectives:
First, the study presents the quantitative model for school evaluation based on the theory of school effects. Second, the study presents the descriptive statistics of the estimates of multilevel modeling as the results of school evaluation given each of the simulation conditions. Third, the study evaluate the precision, the size of bias, and efficiency of HLM estimators in each of the simulation conditions as the situation of school evaluation.
The simulation data were generated by the SAS program, and analyzed by the batch program for HLM analyses. The HLM analyses were repeated 50 times in each of the simulation conditions. SPSS and Excel programs were used for the analyses of the estimates obtained by the simulation.
The results of the study were as below:
First, given the simulation conditions, all the estimates for fixed effects and ICC are very close to the value of parameters and the size of the error were within ±0.1. Second, the distribution of standard errors, and of the estimates for fixed effects showed that the HLM estimators showed high precision, negligible bias, and high efficiency. Third, the distribution of the estimates of fixed effects and of ICC showed differences across the simulation conditions. The findings showed the pattern that the efficiency of the estimators were getting higher as the size of the number of schools and of students. Fourth, the efficiency of the estimators for school effects was depends on the combination of the number of schools and of students. The optimal condition was the condition when there were 120 schools, which was the simulation condition of largest number of schools, and 50 students per schools, which was the condition of smallest number of students. Fifth, the results of Anova for comparing the means of the estimates of school effects between the conditions of simulation, there were no statistically meaningful differences. Sixth, the Anova results, however, showed differences among the means of the estimates of school effects.
The study suggested to consults the results of this study under the each of the simulation conditions especially when the number of schools and of students are similar to the simulation conditions this study employed. It also suggested more simulations under different conditions other than the ones this study employed.

본 연구는 우리나라에서 시․도 교육청 단위로 시행하는 학교평가를 양적 통계모형에 의한 학교평가로 전환하였을 때, 양적 통계방법으로서 다층모형을 응용한 학교평가 방법의 적절성을 검토하기 위한 것이다. 다층모형에 의한 학교평가 방법에서 통계모형에 포함되 ...

본 연구는 우리나라에서 시․도 교육청 단위로 시행하는 학교평가를 양적 통계모형에 의한 학교평가로 전환하였을 때, 양적 통계방법으로서 다층모형을 응용한 학교평가 방법의 적절성을 검토하기 위한 것이다. 다층모형에 의한 학교평가 방법에서 통계모형에 포함되는 변수의 선정은 학교효과이론에 기초하여 결정된다. 또한 다층모형에 의한 학교평가방법의 적절성은 현실적인 시․도 교육청의 학교평가 상황에서 다층모형이 제공하는 정보의 양호도에 의하여 평가하려는 것이다. 따라서 본 연구에서 다층모형의 적용조건은 학교평가의 현실적 상황이며, 모의실험 조건은 현행 시․도 교육청의 학교평가 상황으로서, 시․도 교육청별 초․중등 학교수(대, 중, 소)와 학생수(대, 소), 그리고 선행연구에서 밝혀진 각 교육성과변수별 집단내 상관(ICC)(대, 소)조건을 설정하여 총 18가지 조건이었다.
본 연구의 결과를 요약하면 다음과 같다. 첫째, 전체 18가지 모의실험 조건별로 총 600회 반복 추정한 고정효과와 집단내 상관(ICC) 추정치들에 대한 기술통계량을 살펴본 결과, 고정효과와 집단내 상관(ICC) 추정치들의 평균들은 설정된 모수치들과 ± .01 내외의 차이로 모수치에 근사하게 추정되었다. 둘째, 고정효과와 집단내 상관(ICC) 추정량의 양호도는 추정치 표준오차의 분포, 추정량의 편향성과 추정량의 효율성으로 살펴보았다. 그 결과, 고정효과와 집단내 상관(ICC) 추정치들의 표준오차는 매우 작아서 추정량의 정밀도는 높았으며, 편향성은 모든 조건에서 무시할 정도로 작았고, 추정량의 효율성은 높았다. 셋째, 고정효과와 집단내 상관 추정량의 효율성은 학교수와 학생수 크기의 실험조건에 따라 다르게 나타났다. 학교수와 학생수 크기에 따른 추정량의 효율성을 살펴보면, 모든 고정효과 추정량은 학교수와 학생수의 크기가 증가함에 따라 추정량의 효율성이 높아졌다. 넷째, 학교효과 추정량은 학교수와 학생수의 조합에 따라 효율성이 달랐으며, 학교수가 크고 (120 개교), 학생수는 작은(50명/학교) 조건에서 효율성이 가장 높았다. 다섯째, 모의실험 조건별로 산출한 학교효과 추정치들의 평균을 집단내 상관의 크기 조건을 독립변수로 하여 분산분석(Anova)한 결과, 통계적으로 유의미한 차이가 발견되지 않았다. 이는 교육성과 변수의 특징이 달라도 산출되는 학교효과 추정치 평균은 유의미한 차이는 없다는 것을 의미한다. 여섯째, 학교수와 학생수의 조건을 독립변수로 하여 학교효과 추정치들의 평균비교를 했을 때는 통계적으로 유의미한 차이가 있었다. 따라서 시․도 교육청별로 관내 학교수와 학생수가 다른 우리나라의 상황에서는 본 연구에서 설정한 모의실험 조건을 참조하여, 각 시․도 교육청내의 학교수와 학생수의 특징이 유사한 조건에서 산출된 결과를 참조할 필요가 있다. 즉, 서울이나 경기도 교육청과 같이, 관내에 많은 학교와 학생수가 있는 교육청들을 제외한 나머지 시․도교육청은 본 연구모형에서 설정한 학교수 크기 3개 조건과 학생수 크기 2개 조건의 조합으로 생성된 총 6개의 조건 중, 해당 교육청내 학교수와 학생수의 특징이 비슷한 조건에서 산출된 결과를 참조하여, 이 연구에서 제시한 다층모형에 의한 학교평가방법을 고려할 수 있다.
본 연구의 결과에 기초하여 다층모형에 의한 학교평가 수행시 시․도 교육청의 지역별 특성에 따라 고려하여야 할 조건으로서 학교수․학생수․집단내 상관의 크기에 대하여 논의하였으며, 후속 연구를 위하여, 추가적으로 검토해야 할 모의실험 조건에 대하여 제언하였다.

본 논문에서 학교효과 이론에 의한 학교평가 방법으로서 다층모형의 적용 가능성을 살펴보았다. 연구 결과를 토대로 학교평가 적용의 측면에서 논의하고자 한다.
첫째, 학교평가에 활용하기 위하여, 우리나라 시․도 교육청 학교평가에 적절한 학교효과 모형의 ...

본 논문에서 학교효과 이론에 의한 학교평가 방법으로서 다층모형의 적용 가능성을 살펴보았다. 연구 결과를 토대로 학교평가 적용의 측면에서 논의하고자 한다.
첫째, 학교평가에 활용하기 위하여, 우리나라 시․도 교육청 학교평가에 적절한 학교효과 모형의 조건을 탐색한 결과 집단내 상관(ICC) 크기에 따라서는 통계적으로 유의미한 차이를 나타내지 않았다. 이는 고등학생의 인지적 교육활동 변수나 중학생의 인지적 교육활동 변수․고등학생의 정의적 교육활동 변수를 산출변수로 하였을 때 학교효과 추정치 평균의 차이는 미세하다는 것을 의미한다. 따라서 학교평가에 사용되는 성과변수를 구별할 필요는 없다고 할 수 있다.
둘째, 학교수 크기와 학생수 크기에 따른 학교효과 추정치 평균의 차이는 유의미하였다. 그 의미는 각 시․도 교육청이 학교평가를 실시할 때 각각의 교육청의 실정에 맞는 학교수 조건, 학생수 조건을 설정하여 학교평가를 계획하는 것이 효과적임을 밝혀주는 것이다.
학교수가 가장 큰 경우는 학생수의 크기와 상관없이 학교효과 추정량의 양호도가 우수하였다. 그러나 학교수가 적은 교육청은 학생수가 많을 경우에 비해, 적은 경우에 추정량의 효율성이 높았으므로 학교평가를 위한 평가 계획 단계에서 적절히 학교수와 학생수의 크기를 정할 수 있다.