지난 50여년간 통사론 연구에 있어 이론 및 가설의 증거로서 수용성판단 자료의 신뢰성에 대한 비판은 꾸준히 제기되어 왔으나, 최근 10여년간 그 비판의 강도가 점점 높아져왔다. 비판자의 한결같은 주장은 수용성판단에 대한 전통적인 수집방법(비형식적 방법)은 제1종 ...

지난 50여년간 통사론 연구에 있어 이론 및 가설의 증거로서 수용성판단 자료의 신뢰성에 대한 비판은 꾸준히 제기되어 왔으나, 최근 10여년간 그 비판의 강도가 점점 높아져왔다. 비판자의 한결같은 주장은 수용성판단에 대한 전통적인 수집방법(비형식적 방법)은 제1종오류(α-오류)뿐만 아니라 지나치게 높은 제2종 오류(β-오류)를 범할 수밖에 없어 통계적 검정력이 약할 수밖에 없으므로 이를 좀 더 체계적인 자료수집방법(형식적 방법)을 통해 극복하자는 것이다. 본 연구는 이들 주장의 타당성을 검토하고자 일련의 실험을 통해 수용성판단 수집에 대한 비형식적 방법과 형식적 방법을 비교할 것이다. 제1차년도에는 이산형 판단 자료인 가부판단법과 양자택일법을 이용하고 제2차년도에는 순서형/연속형 변수에 해당하는 리커트척도법과 강도측정법을 이용하여 형식적 방법과 비형식적 방법을 비교 분석할 것이다.
본 연구는 위의 목적을 달성하기 위해 제1차년도에는 대용량 무작위 추출법을 활용하여 생성문법학자 집단을 대상으로 연구를 수행하여 이 집단 내에서 형식적 방법과 비형식적 방법을 비교함으로써 이들 두 방법의 수렴 혹은 발산 여부 및 그 정도를 살펴볼 것이다. 이를 위해 한국생성문법학회에서 발간되는 󰡔생성문법연구󰡕 8년치(2003~2013년; 2004~2007년치는 제외)에 나오는 한국어 예문을 수집한 후 여기에서 무작위 추출법을 이용하여 121개의 문장의 쌍(문법적 문장 vs. 비문법적 문장), 총242개의 문장유형(조건)을 구성한 후 어휘적 외생변인을 제거하고자 각 문장에 7개의 문장을 더하여 총 1,936개의 문장을 구성하고 이들 각 문장에 대하여 수용성 판단 실험을 구성하게 될 것이다. 각 수용성 판단 실험은 강도측정법, 7분위 리커트척도법, 그리고 가부판단법, 양자택일법을 이용할 예정이며 이들 실험에 의해 얻은 결과를 4가지 통계적 기법(기술적 방향성, 단측 t-검정, 양측 t-검정, 혼합모형 분석)을 활용하여 형식적 방법과 비형식적 방법을 비교할 예정이다.

Native speakers’ introspective judgments of sentence acceptability have been an essential tool for linguistic research. However, this traditional method of data collection has been criticized in various respects, and the crucial criticism concerns its ...

Native speakers’ introspective judgments of sentence acceptability have been an essential tool for linguistic research. However, this traditional method of data collection has been criticized in various respects, and the crucial criticism concerns its methodological ‘informality’; Namely, such judgment data cannot evade inter- and intra-speaker variation since it is not gathered by means of objective and rigid procedures. A number of alternatives have been suggested such as utilizing corpus data, but judgment data still functions as the primary source of empirical evidence in syntactic research due to its efficacy.
Since the work of Bard et al. (1996) and Cowart (1997), more formal experimental methods have been gaining popularity in a trend known as ‘experimental syntax’. Our study first explores the utility of experimental syntax in the area of Korean linguistics via a direct comparison of the results of informal judgment collection methods with those of formal judgment collection methods. Secondly, we further investigate the utility of formal judgment collection methods, focusing on the issue of comparison between four formal judgment tasks (magnitude estimation, 7-point Likert scale, two-alternative forced-choice, and Yes-No task) and four statistical analyses (descriptive directionality, one-tailed null hypothesis tests, two-tailed null hypothesis tests, and linear mixed effects models). This research presents the first large-scale comparison based on a random sample of phenomena from a leading syntax journal in generative grammar (Studies in Generative Grammar). We tested 242 data points from the 7,964 Korean data points that were published in Studies in Generative Grammar between 2003 and 2013 (excluding 2005-2007 volumes). We tested this sample with 583 naïve participants using four formal judgment tasks and report four statistical analyses. The results show a low convergence rate between informal and formal methods. We discuss the implications of this low convergence rate with respect to judgment collection methods, and lay out a set of questions for future research into experimental syntax methodology.

본 연구에서는 모국어 화자의 언어 직관을 객관성 있고 타당성 있게 추출할 수 있는 방법이 무엇인지를 엄밀한 실험절차와 통계분석을 통해 살펴볼 예정이다. 이와 같은 취지에서 우리는 구체적으로 다음과 같은 연구 목적을 갖고 1-2차년도의 연구를 수행한다.
1차년도 ...

본 연구에서는 모국어 화자의 언어 직관을 객관성 있고 타당성 있게 추출할 수 있는 방법이 무엇인지를 엄밀한 실험절차와 통계분석을 통해 살펴볼 예정이다. 이와 같은 취지에서 우리는 구체적으로 다음과 같은 연구 목적을 갖고 1-2차년도의 연구를 수행한다.
1차년도: 본 연구는 일련의 실험을 통해 수용성판단 수집에 대한 비형식적 방법(informal method)과 형식적 방법(formal method)의 비교를 통해 각 방법의 우위성을 검증하고자 한다.
2차년도: 본 연구는 형식적 방법 중 이산형 판단 자료(discrete judgment data)와 순서형/연속형 판단 자료(ordered/continuous judgment data) 간의 수렴성 여부를 고찰함으로써 수용성판단 실험의 방법론적 우위성 차이를 검증할 것이다.
(1a)에서 말하는 비형식적 방법은 수용성판단에 대한 전통적인 연구방식을 말하는 것이고 형식적 방법은 최근 실험심리학적 방법을 수용성판단실험에 수용하고 있는 연구방법론(형식적 방법(formal method))을 일컫는다. 전통적인 연구방식(=비형식적 방법(informal method))은 그에 대한 비판으로 끊임없이 문제점이 지적되어왔으나 최근 이와 같은 전통적인 방식도 이를 대체한 새로운 방식, 즉 형식적 방법만큼 수용성판단을 신뢰성 있게 수집할 수 있는 또 하나의 방법이라는 논의도 전개되고 있을 뿐 아니라(Sprouse, 2007), 오히려 전통적 방식의 수용성판단수집 방법, 즉 비형식적 방법이 더 우월하다는 주장(Phillips, 2009)도 혼재한다. 이런 관점에서 본 연구의 첫 번째 연구목적은 연구방법론상 비형식적 방법으로 알려진 전통적 방식이 통사론 연구에 있어 신뢰할 수 있는 도구가 될 수 있느냐 하는 문제에 답을 하고자 한다. 다시 말해 실험심리학의 실험방법 및 분석도구를 이용한 방식(형식적 방법(formal method))이 전통적인 비형식적 방법보다 우월한가, 혹은 그 효과가 동일한가, 아니면 통사론 연구에 한계가 있는 것인가에 대해 본 연구는 한국어 수용성판단실험을 통해 이를 검증해 볼 것이다.
(1b)는 수용성판단실험의 방법론적 검토로서 이산형 판단 자료와 순서형/연속형 판단 자료 사이의 방법론적 우위성 여부를 검토하고자 하는 것이다. Bard et al. (1996)과 Keller(2000) 그리고 Featherston(2007)은 이산형 판단 자료 및 순서형 판단 자료(리커트 척도법)에 비해, 강도측정법으로 대표되는 연속형 판단 자료의 우위성을 주장하였다. 그러나 Sprouse(2007)은 강도측정법의 경우 엄밀한 의미에서 연속형 변수에 해당할 수 없으며 실제 실험 결과에 있어서도 이산형이나 순서형 자료에 비해 탁월한 효과를 보여주는 것은 아니라고 하였다. 이와 같은 점에서 Featherston(2008)에서는 온도계 측정법(thermometer task)을 제안하기도 하는 등 실험통사론 내에서 여전히 논쟁적인 이슈이다. 이런 점에서 수용성판단실험의 방법론적 우위성 문제에 대한 검증을 본 연구의 두 번째 연구목적으로 삼았다.
위와 같은 선행연구에 기초하여 본 연구는 그 동안 쟁점이 되어왔던 형식적 방법과 비형식적 방법 간의 비교 및 수용성 판단을 제공하는 하위집단 간 비교를 엄밀한 실험 절차와 타당한 통계 분석을 통해 한국어 통사론의 영역에서 검증해 볼 것이다.

본 연구에서 수행한 형식적 방법론, 즉 가부판단법, 양자택일법, 리커트척도법, 강도측정법의 실험 결과에 기초하여 형식적 방법과 비형식적 방법의 수렴률을 비교하면 다음과 같다.
기술적 방향성의 경우 형식적 방법과 비형식적 방법의 수렴률이 93.39~95.04% 사이로 높 ...

본 연구에서 수행한 형식적 방법론, 즉 가부판단법, 양자택일법, 리커트척도법, 강도측정법의 실험 결과에 기초하여 형식적 방법과 비형식적 방법의 수렴률을 비교하면 다음과 같다.
기술적 방향성의 경우 형식적 방법과 비형식적 방법의 수렴률이 93.39~95.04% 사이로 높게 나타난다. 반면 단측 검정과 양측 검정 그리고 혼합효과 모형 분석에서는 차이가 많이 나타남을 볼 수 있다. 발산(divergence)의 정도 측면에서 보면 기술적 방향성을 포함하면 4.96~37.19 범위에서 평균 17.61이고, 기술적 방향성을 제외하면 8.26~37.19 범위에서 평균 21.42였다. 기술적 방향성의 경우 93.39~95.04로서 높은 합치율을 보인다. 그러나 이와 같은 합치율은 β-오류(혹은 제2종오류)의 가능성을 높인다고 볼 수 있다. 이산형 자료의 경우 합치에 대한 기준을 50%로 잡았으나 이것이 과연 올바른 것인지 확인하기 어렵다. 연속형 자료의 경우에도 차이가 없다고 하여도 그 차이가 통계적으로 유의한 것인지는 알 수가 없기에 기술적 방향성의 결과를 신뢰하기는 어렵다고 본다. 특히 다른 통계적 검정의 경우에서는 발산의 정도가 높은 것으로 보았을 때 더욱 그렇다.
전반적인 합치율을 비교해 보았을 때 Sprouse et al.(2013)에 따르면 95%를 기준으로 하는데 기술적 방향성을 포함하여 모두 이 비율 아래에 있으므로 결론적으로 형식적 방법과 비형식적 방법은 서로 합치하지 않는다고 볼 수 있다. Sprouse et al.(2013)에서 다룬 영어 자료와는 달리 본 연구의 한국어자료의 수용성판단에 있어서 형식적 방법과 비형식적 방법의 수렴률의 차이가 어디에서 기인하는지 설명을 요한다. 크게 두 가지 방향에서 설명을 모색해 볼 수 있는데, 영어의 예에 기초하여 두 방법간 차이가 없다고 해석하게 되면 결국 제2종 오류(false negatives)의 가능성 상승으로 해석할 수 있고 한국어 예문들에 있어 수렴률의 차이는 학술지의 성격 차이로 볼 수 있다. 가령 원저자의 수용성 판단에 대한 저널 심사자들의 검증 실패가 한 원인이 될 수도 있다. 반면 영어와 한국어의 상반된 결과를 모두 실재하는 것으로 상정하는 경우 영어 통사자료에 비해 한국어 통사자료가 수렴률이 낮으므로 언어의 개별 특성이 수용성판단에 영향을 미쳤다고 볼 수도 있는데 이 경우 한국어의 수용성판단은 문장 외적인 요소가 더 작용했다고 볼 수도 있다. 이 경우 한국어의 예에 기초하여 두 방법간 차이가 있다고 해석하게 되면 결국 제1종 오류(false positives)의 가능성이 상승한다.
실험통사론 내에서 논쟁이 되고 있는 문제 중 형식적 방법과 비형식적 방법의 비교를 통해 이 둘의 수렴성 및 발산의 여부와 정도를 포착함으로써 통사론 연구에 있어 수용성판단를 수집하는 신뢰할 수 있는 연구방법론을 제시한다. 다양한 통계기법(기술적 방향성, 단측 t-검정, 양측 t-검정, 선형혼합모형 및 로지스틱 혼합모형)을 활용하여 다양한 실험방법(리커트척도법, 강도측정법, 양자택일법, 가부판단법) 중에서 어떤 실험방법이 비형식적 방법과의 수렴도가 제일 높은지를 검증해 봄으로써 수용성판단과제에 있어 어느 실험방법이 우수한지를 제시하여 통사론 연구에 방법론적 측면에서 기여할 수 있다.