연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > 연구과제 검색 > 연구과제 상세정보

연구과제 상세정보

설문조사 오류감소를 위한 실천적 방안연구 :통합조사오류 접근법
A Practical Alternative Study for Error Reduction in Public Opinion Survey : Total Survey Error Approach
  • 연구자가 한국연구재단 연구지원시스템에 직접 입력한 정보입니다.
사업명 중견연구자지원사업 [지원년도 신청 요강 보기 지원년도 신청요강 한글파일 지원년도 신청요강 PDF파일 ]
연구과제번호 2017S1A5A2A01026771
선정년도 2017 년
연구기간 3 년 6 개월 (2017년 07월 01일 ~ 2020년 12월 31일)
연구책임자 이현우
연구수행기관 서강대학교
과제진행현황 종료
과제신청시 연구개요
  • 연구목표
  • 여론조사 결과의 영향력이 커지는 만큼 조사의 정확성과 신뢰성에 대한 비판 역시 커지고 있다. 본 연구는 여론조사의 측정오류가 발생하는 원인들을 규명하고 실제 설문실험 방식을 통해 오류를 축소할 수 있는 현실적 방안제시를 목표로 한다. 이와 관련된 기존논의들은 대부분 이론적 방안제시에 그치고 있어 현실적 대안으로서 기여하지 못했다. 본 연구에서 제시한 ‘통합조사오류 접근법’은 각 오류요인의 영향력을 측정하고 오류감소를 위한 다양한 현실적 방안을 제시한다.
    본 연구는 여론조사에서 발생하는 오류원인을 파악하고, 이를 축소할 수 있는 경험적․현실적 방안을 제시하는 것을 목적으로 한다. 이 연구는 이론적 수준에 그치는 것이 아니라 실제 1,000명 이상의 표본을 대상으로 실험설문을 실시하여 오류수준을 파악하고 오류를 축소하기 위한 대안을 분석한다. 오류를 감소시키기 위한 방안을 모색하는 것 또한 설문조사의 경험적 결과를 바탕으로 대안 모색을 시도한다. 따라서 본 연구는 실천적이며 ‘조사오류의 최소화를 통한 조사의 질 향상’이라는 주제의식 하에 출발한다. 상업적 여론조사회사들도 오류문제를 인식하고 있지만 개선방안의 모색을 시도하지 못하고 상황과 통계학을 비롯한 여론조사 관련 학계에서는 외국의 연구결과 차용이나 이론적 비판에 그치고 있는 소극적 대처로 인해 여론조사의 질을 높이지 못한다는 판단에서 본 연구동기를 찾을 수 있다.
    여론조사의 중요성에도 불구하고 조사의 질이 향상되지 못한 까닭은 오류감소를 위한 학술적인 관점에서 경험연구가 부족했기 때문이다. 본 연구를 통해 거짓응답의 문제, 응답거부자의 특성, 선거여론 조사의 예측 부정확성, 응답자 선정편향성. 비구조화된 설문구성 등의 문제가 야기하는 오류수준을 직접 측정하고 이러한 오류들을 줄일 수 있는 다양한 대안을 실험설문 결과를 통해 제시하여 실제 여론조사의 질 향상에 기여하는 것을 목표로 한다.
  • 기대효과

  • ○ 설문조사가 필요한 학문연구에 양질의 정보제공
    : 선거나 여론 등 정치과정의 많은 연구주제가 설문조사 자료분석을 기초로 한다. 따라서 대중의 의견이 제대로 측정되지 못한다면 경험자료를 바탕으로 하는 연구결과는 타당성을 인정받지 못한다. 본 연구가 제시하는 개선방안은 응답자의 의사 및 태도를 이전보다 정확하게 측정할 수 있으며, 이를 이용한 학문연구의 완성도에 기여하게 된다.
    ○ 상업적 여론조사의 질 향상
    : 여론조사의 부정확성에 대한 사회적 비판이 높아짐에도 불구하고 획기적인 개선책이 마련되지 못하는 것은 상업적 여론조사 회사의 역량과 의지가 이에 부응하지 못하고 있기 때문이다. 본연구가 완성되어 응답자 접촉방식 및 설문항 구성의 표준적 매뉴얼이 제공되면 이전에 비해 훨씬 신뢰성 높은 자료산출에 도움을 받을 것이다.
    ○ 한국인에 의식에 맞는 설문어휘 모색과 개념틀 제공
    : 기존 설문항들은 서구국가에서 사용되던 어휘와 문항을 번역해서 사용하고 있다. 서구에서 통용되는 문항들이 연구자가 원하는 의도를 응답자에게 제대로 전달하고 있는지를 검증한 연구는 없다. 본 연구에서는 웅답자의 이념구분을 위한 이슈문항 선택, 응답자의 경제위치 파악에 서구와 다른 부동산의 비중 등 한국적 상황과 사고 및 정서에 조응하는 어휘와 문항구성에 기여한다.
    ○ 단절적 설문구조에 의한 현상묘사를 넘어 원인정보 제공에 기여
    : 기존의 설문항은 빈도분석 목적의 설문으로 ‘왜’라는 질문에 응답할 수 있는 구조화된 설문설계가 부족하다. 본 연구에서는 각 설문주제별로 다층적 문항구성을 통해 현상기술과 아울러 그 원인에 대한 일관적 분석이 가능하도록 설문설계의 모형을 제시하여 심도 깊은 설문분석에 기여한다.
  • 연구요약
  • 본 연구가 적용하는 통합조사오류 접근법은 조사의 제약요건을 고려하여 오류를 최소화를 목표로 한다. 이를 위해서는 조사의 각 단계에서 발생하는 오류에 대한 이론적 이해와 조사현장에서의 실제오류 발생에 대한 이해가 필수적이다. 과학적 조사의 원칙이 조사현장에서 지켜지지 않는 이유는 경제적․시간적인 제약 때문이기도 하지만 다른 한편으로는 조사환경의 변화에서 기인하기도 한다.
    오류라는 용어는 잘못(mistake)과 다른 개념이다. 설문조사는 모집단을 구성원 중 일부를 추출하여 그들을 표본대상으로 태도와 같은 추상적 부분에 대한 질문을 통해 응답을 취합한다. 그리고 통계처리 과정을 통해 모집단의 태도를 추정(inference)하는 것이다. 오류란 표본집단의 정보와 모집단의 정보 사이에 차이를 의미한다. 표본을 통한 모집단의 추정과정에서 필연적으로 오류가 발생한다. 따라서 설문조사에서 오류는 없애는 것이 아니라 줄이도록 노력해야 하는 것이다. 본 연구에서 제시하는 연구프레임인 ‘통합적 설문오류 접근법’은 다양한 형태의 오류발생을 구분하여 체계적으로 분석할 수 있는 시각을 제시한다.
    본 연구는 기존의 접근법에서 제시한 조사수행과 평가라는 개념을 변형하여 사용한다. 이는 ‘사용의 적절성’의 개념으로 규정된다. 실제조사에서 어떻게 오류를 축소할 수 있고, 자료의 질을 평가하기 위해서 오류의 어떠한 요인들이 규정되어야 하는가에 대한 연구를 확대한다. 자료생산자와 소비자는 서로 다른 관점에서 사용의 적절성을 규정한다. 생산자는 자료의 질을 가장 우선시하기 때문에 측정의 핵심이 되는 정확도를 강조한다. 반면에 자료사용자는 물론 정확도의 중요성을 인정하지만 자료산출의 시간, 접근성, 사용용이성 등 제약요인들에 관심이 크다. 다시 말해서 자료생산자가 갖는 조사의 결함제거 욕구와 사용자 요구수용 의무라는 두 가지 조건이 자료의 질을 결정한다. 이러한 새로운 내용의 접근법은 현실적으로 타협가능한 조사전략을 세우는데 도움이 될 것으로 기대한다.
결과보고시 연구요약문
  • 국문
  • 본 연구는 설문조사에서 나타나는 오류를 감소할 수 있는 방안을 모색하는 것이다. 특히 설문항 구성에 따른 오차를 감소시킬 수 있는 방안을 구체적인 연구대상을 선정하여 확인하였다. 1차 년도에 국회의원 평가에서 현직효과를 측정할 수 있는 새로운 방안을 제시하였다. 2차 년도 연구에서는 교차압력을 느낀 유권자를 선정하여 측정하고 이들의 투표의사를 확인하는 연구를 시도하였다. 그리고 3차 년도에는 심의공론조사라는 새로운 기법이 갖는 의미를 실증적으로 파악하였다.
  • 영문
  • The purpose of this research is to find ways of reduction of survey errors which cannot be eliminated totally. Especially this study focuses on the improvement of survey questions in that respondents are sensitive to answer according to the words of information provided by researchers. During the 1st year, I tried to find out incumbent effects in congressional elections by using new method to estimate the effect. In the 2nd years, I investigate the cases of voters who feel cross-pressure. Empirical evidence shows that they are more reluctant to participate in voting. In the last year, I introduce new method to conduct survey. That is, deliberative public opinion survey can be a renovation of the conventional survey.
연구결과보고서
  • 초록
  • 본 연구는 ‘조사오류의 최소화를 통한 조사의 질 향상’이라는 주제의식 하에 출발하였다. 연구목적은 설문조사의 각 단계에서 발생하는 오류원인을 줄일 수 있는 경험적․실천적 방안을 제시하는 것이다. 본 연구가 채용한 분석틀인 통합조사오류 접근법은 오류(errors)는 실수(mistakes)가 아니기 때문에 제거하는 것이 아니라 최소화하는데 목표를 두어야 한다는 생각에서 출발한다. 통합조사오류 접근법은 여러 원인에 기인한 오류들 사이의 관계를 규명하는 방법론을 사용함으로써 기존연구에서 오류들을 분절적으로 다루었던 접근법과는 차별적이다. 본 작업을 통하여 설문조사의 질을 향상시키기 위한 경험적 연구가 한국에서도 본격적으로 관심을 받게 될 것으로 기대한다.
    설문조사과정은 단계별 연속성을 가지며 이전단계의 조건이 다음단계를 구속한다. 오류발생을 단계별로 보면 표본추출 단계, 측정단계, 응답자 포함단계, 무응답자 발생단계 그리고 조사 후 분석단계 등으로 구분된다. 각 단계에서 발생하는 오류를 감소시켜 설문의 질을 향상시키기 위해서는 우선 오류발생의 원인파악과 심각성 정도의 측정이 선행해야 한다. 본 연구에서는 선행연구를 통해 오류분석틀을 구축하고 실험설문의 결과와 국내외 경험연구 결과를 비교할 때 현 시점에서 어떠한 변화가 나타났으며 과거연구결과가 적실성이 있는지 검증해본다.
  • 연구결과 및 활용방안
  • 본 연구는 기존의 여론조사의 부정확성으로 인한 오류를 여론조사를 호도하는 문제를 해결하기 위해 통합적 오류감소 방식 검토를 출발점으로 시작하였다. 기존 여론조사가 응답자들의 이슈태도 및 정치사회적 정향에 대한 설문으로 구성되어 있는 것에 의문을 제기하면서 본 연구의 가치를 확인하였다. 1년차 경험연구에서 확인한 바와 같이 상당수의 응답자들은 자신이 제대로 알지 못하는 설문에 대해서도 제한된 정보를 통해 찬성/반대의 입장을 표명하는 것으로 나타났다. 즉 여당/야당이라는 정치정향에 따라 허위이슈에 대해서도 찬반의견을 개진하는 것이다. 많은 경우 일반국민이 쉽게 파악하기 어려운 정치이슈를 설문으로 구성하고 언론에 찬반 비율을 소개하는 경우가 많았다.
    따라서 본 연구는 설문문항 구성단계에서부터 특정 이슈에 대한 응답자의 이해수준을 파악해야 하며, 아울러 응답자들이 추론을 통해 의견을 표출할 수 있는 정보를 제공하지 말아야 한다는 것을 실증적으로 보여주었다. 이러한 결과를 여론조사 실사기관과 공유하여 그동안 아무런 검증 없이 오랫동안 사용해왔던 설문항들에 대한 검토의 기회를 마련할 수 있을 것으로 기대한다.
    또한 2년차 연구에서 제시한 결과는 실험을 통해 응답자의 태도를 어떻게 측정할 수 있는가를 모범적으로 보여준 사례라 하겠다. 설문응답에서 가장 경계해야 하는 것이 사회적 규범성(social desirability)로 인해 응답자들이 솔직한 의사를 숨기는 경우다. 예를 들어 가정폭력이나 지역주의와 같이 명백히 사회적 지탄대상의 설문에 대해서 응답자들은 자신은 관련이 없는 것으로 응답하는 것이 일반적이다. 투표결정 요인에 대한 설문응답 분포를 보면 후보자 자질, 공약, 소속정당 등을 고려해서 투표했다는 응답이 절대다수이며 지역주의에 근거하여 투표결정을 했다는 답변비율은 극히 낮다. 그러나 지역별 정당득표율을 보면 지역주의가 선거결과를 결정했다는 것은 명백한 사실이다. 결국 응답자들이 지역주의의 부정적 가치를 알기 때문에 자신의 투표결정 요인으로서 지역주의를 택하지 않는 것이다.
    연구결과에서 밝힌 바와 같이 응답자들이 설문문항의 내용은 명백하게 이해하지만 설문의도를 파악하지 못함으로써 솔직한 답변을 할 수 있도록 문항을 구성하는 것이 중요하다. 특히 추상적 개념을 측정할 수 있는 다수의 적실성 있는 문항들을 구성한다면 단 한 개의 문항에 의존하는 것보다 훨씬 정확하게 여론을 파악할 수 있다는 것을 알 수 있다. 이러한 연구결과는 설문항 구성이 질문자 중심이 아니라 응답자 중심으로 짜여져야 한다는 것을 다시 한 번 강조하는 것이다. 설문조사의 질을 결정하는 중요한 요인 중 하나가 문항작성이라는 점에서 측정목표를 타당성 있게 측정할 수 있는 복수의 문항구성이 필요하다는 것을 알 수 있다. 이러한 발견은 여론실사 회사들에게 의미하는 바가 크다. 아울러 학문적 연구를 위한 의식조사에서도 마찬가지로 적용될 수 있는 내용이다.
    3년차 연구는 심의민주주의와 관련된 새로운 시도다. 응답자에게 충분한 정보를 제공한 경우에 응답자의 의사가 어떻게 결정되는지에 관한 과정을 볼 수 있었다. 심의공론조사는 기존의 여론조사에서 지적되는 많은 한계를 극복할 수 있다는 점에서 중요한 국가정책을 결정할 때 이용할 수 있는 적절한 방법이라는 것을 알 수 있다. 다양한 방식의 여론조사가 가능하다는 것을 본 연구를 통해 확인할 수 있었다. 물론 심의공론조사는 준비단계에서부터 대표성을 갖는 표본의 추출 등이 매우 어렵다는 점이 지적되지만 그럼에도 불구하고 이 조사방식의 장점에 대해서는 주목할 바가 있다는 것을 확인하였다.
  • 색인어
  • 설문조사, 설문오류 감소, 통합적 오류감소 방안, 설문항개선, 시뮬레이션 여론
  • 연구성과물 목록
데이터를 로딩중 입니다.
데이터 이용 만족도
자료이용후 의견
입력