본 과제연구는 후광효과와 역후광효과 또는 상대평가와 관련된 두가지로 구분하여 연구하였다. 첫째는, 후광효과에 관한 연구이다.
공공부문 전반에 성과 평가가 확산됨에 따라 평가도구와 측정의 신뢰성과 타당성, 그리고 이에 따른 피평가자의 수용성에 대한 관심이 ...

본 과제연구는 후광효과와 역후광효과 또는 상대평가와 관련된 두가지로 구분하여 연구하였다. 첫째는, 후광효과에 관한 연구이다.
공공부문 전반에 성과 평가가 확산됨에 따라 평가도구와 측정의 신뢰성과 타당성, 그리고 이에 따른 피평가자의 수용성에 대한 관심이 높아지고 있다. 이에 따라 본 연구는 정부산하단체의 비계량 경영평가에서 발생할 수 있는 후광효과(Halo Effect)의 존재여부를 실증적으로 분석해 보고자 한다. 2007년 정부산하단체 평가결과를 대상으로 평가의 일관성과 주관성을 검증하는 Facets프로그램을 활용하여 75개 피평가기관을 기관유형별로 분석하였다. 평가기관유형별 그리고 평가분야별 후광효과 존재여부를 분석한 결과, 후광효과가 총 225개 평가팀 중 13개 평가팀으로 약 5% 평가팀에서에서 후광효과가 발생하고 있었으며, 기관별로 보면 75개 기관 중 11개 기관으로 약 15%의 기관이 후광효과에 영향을 받은 것으로 나타났다. 뿐만 아니라 종합경영이나 주요사업보다는 상대적으로 경영관리 부문에 후광효과가 집중적으로 나타난 것으로 분석되었다. 둘째는 역후광효과 또는 상대평가에 관한 연구이다. 본 연구는 2007년도 정부산하기관 경영평가결과를 대상으로 하여 평가과정에서 발생하는 상대평가의 오류가능성을 분석하였다. 자료는 75개 정부산하기관에 대하여 총 12개 지표에 각각 9등급으로 부여된 평가점수를 활용하였다. 상대평가의 오류가능성은 지표별 기관간 오류가능성과 기관별 지표간 오류가능성으로 구분하여, 특정기관 특정지표의 평균평점이 상대평가 요인, 즉 다른 기관들 또는 다른 지표들 평점의 분산 값으로부터 영향을 받는지 여부를 분석하였다. 분석결과, 지표별 기관간의 평가에 있어서 다른 기관들 평점의 분산정도와 실제 평가점수가 유의미한 관계가 있는 반면, 기관별 지표간 평가의 경우 다른 지표들 평점 분산값과 실제 평가점수와의 유의미한 관계로 나타나지 않았다. 상대평가로 인하여 다른 기관들 또는 다른 지표들 평점의 분산 값에 민감하에 반응하고 있으며, 특히 지표별 기관간 평가보다는 기관별 지표간 평가에서 더욱 뚜렷하게 나타났다. 본 논문은 상대평가의 오류가능성을 최소화하기 위하여 절대평가를 가미한 느슨한 형태의 상대평가를 운영하고, 평가총점순위 중심에서 평가지표순위 중심으로 전환 등 정책적 시사점을 제공한다.

The research was conducted with two kinds of effects: halo effect and reverse-halo or forced distribution effect. The first is whether oveall impression on ratees affect the result of evaluation, while the latter is whether the evaluation result is af ...

The research was conducted with two kinds of effects: halo effect and reverse-halo or forced distribution effect. The first is whether oveall impression on ratees affect the result of evaluation, while the latter is whether the evaluation result is affected by forced distribution. Data was collected from Year 2007 Performance Evaluation hosted by Ministry of Planning and Budget on 75 public entities. The results of analysis on the first effect was that 5 percent of evaluation was affected by halo effect. The evaluation error was founded in the process of evaluation on 11 of 75 public entities. Also, 'leaderhsip and strategy' area of the evaluation or 'major projects' area is more probable for the halo effect than 'general management' area.
The second analysis of the evaluation results shows that forced distribution significantly affects the evalution scoring of individual entity's performance. In other words, the degree of difference between average evaluation score by entity and standard diviation of the scores in the other rest of entities significantly affects the evaluation score of the focal ratee entity. Thus, both halo effect and forced distribution affect the performance evaluation on public entities. The paper recommends that ratees should be more cioncerned with halo effect and forced distribution to improve reliability and validity in performance evaluation.

본 과제연구는 후광효과와 역후광효과 또는 상대평가와 관련된 두가지로 구분하여 연구하였다. 첫째는, 후광효과에 관한 연구이다.
공공부문 전반에 성과 평가가 확산됨에 따라 평가도구와 측정의 신뢰성과 타당성, 그리고 이에 따른 피평가자의 수용성에 대한 관심이 ...

본 과제연구는 후광효과와 역후광효과 또는 상대평가와 관련된 두가지로 구분하여 연구하였다. 첫째는, 후광효과에 관한 연구이다.
공공부문 전반에 성과 평가가 확산됨에 따라 평가도구와 측정의 신뢰성과 타당성, 그리고 이에 따른 피평가자의 수용성에 대한 관심이 높아지고 있다. 이에 따라 본 연구는 정부산하단체의 비계량 경영평가에서 발생할 수 있는 후광효과(Halo Effect)의 존재여부를 실증적으로 분석해 보고자 한다. 2007년 정부산하단체 평가결과를 대상으로 평가의 일관성과 주관성을 검증하는 Facets프로그램을 활용하여 75개 피평가기관을 기관유형별로 분석하였다. 평가기관유형별 그리고 평가분야별 후광효과 존재여부를 분석한 결과, 후광효과가 총 225개 평가팀 중 13개 평가팀으로 약 5% 평가팀에서에서 후광효과가 발생하고 있었으며, 기관별로 보면 75개 기관 중 11개 기관으로 약 15%의 기관이 후광효과에 영향을 받은 것으로 나타났다. 뿐만 아니라 종합경영이나 주요사업보다는 상대적으로 경영관리 부문에 후광효과가 집중적으로 나타난 것으로 분석되었다. 둘째는 역후광효과 또는 상대평가에 관한 연구이다. 본 연구는 2007년도 정부산하기관 경영평가결과를 대상으로 하여 평가과정에서 발생하는 상대평가의 오류가능성을 분석하였다. 자료는 75개 정부산하기관에 대하여 총 12개 지표에 각각 9등급으로 부여된 평가점수를 활용하였다. 상대평가의 오류가능성은 지표별 기관간 오류가능성과 기관별 지표간 오류가능성으로 구분하여, 특정기관 특정지표의 평균평점이 상대평가 요인, 즉 다른 기관들 또는 다른 지표들 평점의 분산 값으로부터 영향을 받는지 여부를 분석하였다. 분석결과, 지표별 기관간의 평가에 있어서 다른 기관들 평점의 분산정도와 실제 평가점수가 유의미한 관계가 있는 반면, 기관별 지표간 평가의 경우 다른 지표들 평점 분산값과 실제 평가점수와의 유의미한 관계로 나타나지 않았다. 상대평가로 인하여 다른 기관들 또는 다른 지표들 평점의 분산 값에 민감하에 반응하고 있으며, 특히 지표별 기관간 평가보다는 기관별 지표간 평가에서 더욱 뚜렷하게 나타났다. 본 논문은 상대평가의 오류가능성을 최소화하기 위하여 절대평가를 가미한 느슨한 형태의 상대평가를 운영하고, 평가총점순위 중심에서 평가지표순위 중심으로 전환 등 정책적 시사점을 제공한다.

연구결과는 논문으로 작성하여 한국행정학회보에 제출하여 심사중이다. 후광효과와 상대평가는 독자적인 의미가 있는 것으로 별도 제출하였다. 금년중에 한국행정학회보 또는 행정학분야 다른 학회지에 게재할 예정이다.

1.이론적 활용 : 평가자의 내적 일관성 또는 ...

연구결과는 논문으로 작성하여 한국행정학회보에 제출하여 심사중이다. 후광효과와 상대평가는 독자적인 의미가 있는 것으로 별도 제출하였다. 금년중에 한국행정학회보 또는 행정학분야 다른 학회지에 게재할 예정이다.

1.이론적 활용 : 평가자의 내적 일관성 또는 평가자 상호간의 일관성을 유지함으로써 평가에 대한 신뢰성을 높일 수 있는 이론적 기반을 제공한다. 평가자나 평가 지표의 오류에 대한 연구를 연구하는 토대로 활용 가능하다.특히 평가자가 범할 수 있는 후광효과(halo effect)와 역후광효과 또는 상대평가의 개념을 정리하고 평가자 오류를 실증적으로 검증하는 연구함으로써 향후 이론적 실증적 연구에 활용 가능하다.
2. 방법론적 활용 : 평가자의 오류를 검증하는 통계적인 방법으로 Rasch 측정모형에 의한 FACET 통계프로그램을 활용하여 연구하였다. 이에 향후 행정학의 측벙 평가분야의 연구에 활용할 수 있을 것이다. 평가자 오류가능성을 측정하는 유용한 통계기법으로 공공기관의 다양항 평가작업 수행시에 발생할 수 있는 평가자오류를 분석할 수 있다.
3. 정책적 활용 : 1984년 이후 공기업 경영평가를 시작한 이래 평가결과 비중과 파급효과가 커지고 있는 상황에서 평가결과에 대한 수용성과 신뢰성을 높이기 위한 방안을 제시한다. 평가주관기관은 평가지표에 의한 오류 뿐만 아니라 평가자의 오류를 방지하는데 활용하고, 특히 평가자, 평가지표, 피평가자 상호간의 인과관계를 명확히 하는 제도적 개선에 활용하고, 연구결과를 토대로 평가자의 구성, 평가위원회, 평가방법, 평가시기, 평가자간의 관계 등에 대한 실질적인 보완작업을 진행할 수 있을 것이다.