● 본 논문에서는 문장에서 단어가 전달하는 정보의 양을 추측할 수 있는 LSTM 신경망 기반 언어 모델링 시스템을 제안하였다. 제안한 시스템을 이용하여 문장의 각 단어에 대한 읽기 시간이 써프라이절과 엔트로피 감소와 같은 정보 이론적 측정치에 의해 예측될 수 있는 ...

● 본 논문에서는 문장에서 단어가 전달하는 정보의 양을 추측할 수 있는 LSTM 신경망 기반 언어 모델링 시스템을 제안하였다. 제안한 시스템을 이용하여 문장의 각 단어에 대한 읽기 시간이 써프라이절과 엔트로피 감소와 같은 정보 이론적 측정치에 의해 예측될 수 있는지 비교 분석하였다. LSTM 기반 언어 모델은 영어 문장 말뭉치를 대상으로 심층 학습이 진행되었으며, 심층 학습된 모델을 통해 실험실에서 한국인 영어 학습자가 읽은 영어 테스트 문장의 각 단어에 대한 써프라이절과 엔트로피 감소 측정치를 계산하였다. 그리고 언어 모델의 문장 처리 결과는 선형 mixed-effect 통계 모델을 구축하여 정보 이론적 측정치와 읽기 시간을 비교 분석하였다. 실험 결과, LSTM 신경망 기반 언어 모델을 이용하여 예측한 문장에 대한 써프라이절과 엔트로피 감소 정보는 문장 이해 (즉, 읽기 시간)와 양의 상관관계가 있음을 써프라이절과 엔트로피 감소 가설을 검증하여 확인할 수 있었다. ● 이 논문은 한국어 L2 영어 학습자들이 문장 처리 중에 새로 받은 단어를 기반으로 다가오는 구문 구조에 대해 어떻게 예측하는지 조사합니다. Linzen 및 Jaeger(2016)와 같은 연구에 따르면 독자는 그들이 접한 언어에 대한 경험을 바탕으로 전개되는 가장 적절한 구문 구조를 예측하면서 확률적 추론을 사용합니다. 이 연구는 Linzen 및 Jaeger(2016)의 실험을 바탕으로 읽기 과정에서 L2ers의 예측 방법을 조사합니다. L1을 이해하기 위해 동사의 하위 범주화 프레임을 사용하여 구문 구조 언어 처리에 대해 이 논문은 문장 처리 중 처리 난이도를 반영하는 놀라움(surprisal)과 같은 정보 복잡성 메트릭을 사용합니다. 또한 복잡성 메트릭스로서 엔트로피 및 엔트로피 감소를 통해 주어진 항목의 불확실성/예기치 않음을 정량화합니다. 연구 결과로서 L2ers가 문장의 상이한 영역을 읽는 경향이 다양하다는 것을 보여줍니다. 읽기 시간의 측면에서 동사에서 더 길고 구조적으로 모호한 영역은 구조적으로 모호하지 않은 문장과 비교하여 읽기 시간은 놀라움이 증가하면 시간도 길어집니다. 그 결과 엔트로피 감소와 같은 정보 복잡성 메트릭스와 서프라이즈는 한국어 L2 영어 학습자의 문장 처리의 측면을 설명하는데 중요한 역할을 하다는 점을 입증하고 있습니다. ● 본 논문은 영어 학습량을 상이하게 훈련시킨 LSTM 언어모델이 섬 구조 구문에서 필러-갭 의존관계와 성-자질의 일치 여부를 잘 판단하는지를 살펴보면서 한국인 영어 학습자의 문장 처리 패턴을 탐구하였다. 이를 위해, 한국인 영어 학습자가 잠재적으로 학습할 수 있는 코퍼스에서의 문장들을 바탕으로 영어 문장들을 학습시켜 장단기기억순환신경망 언어모델을 구축하였다. 구축한 모델을 바탕으로, 필러-갭 의존 관계 구조를 위반하거나 성-자질이 일치하지 않은 구조에서의 놀람 효과를 계산하여 영어 학습자 언어모델의 문장처리 양상을 이에 상응하는 원어민 모델과 비교분석하였다. 결과적으로, 본 연구가 채택하는 통사론의 핵심구문을 바탕으로 원어민 언어모델과 영어 학습자 언어모델이 각각 어떻게 다른 특성을 보여주는지 규명하였다.

● We are to build a Long Short-Term Memory (LSTM) network-based language model which can estimate the amount of information that words in sentences convey. We are then to investigate whether reading-times on words in a sentence are predicted by inform ...

● We are to build a Long Short-Term Memory (LSTM) network-based language model which can estimate the amount of information that words in sentences convey. We are then to investigate whether reading-times on words in a sentence are predicted by information-theoretic measures such as surprisal and entropy reduction. Specifically, the proposed LSTM deep-learning model is first to be trained on the large dataset of learner English sentences and is then to be applied to estimate the two different information-theoretic measures on each word of the test data of English sentences. The reading times on the words in the test data are to be collected from the Korean English L2 learners reading the test sentences. A comparison between the information-theoretic measures and reading-times by using a linear mixed effect model reveals a reliable relationship between surprisal/entropy reduction and reading time. We conclude that both surprisal and entropy reduction are positively related to the processing effort (i.e. reading time), confirming the surprisal/entropy-reduction hypothesis. ● This paper investigates how Korean L2 learners of English predict upcoming syntactic structure based on a newly received word during sentence processing. Studies like Linzen and Jaeger (2016) suggest that readers use their probabilistic inference developed by their experience of the language to which they have been exposed to predict the most appropriate syntactic structure. This study replicates the experiment for L2ers following Linzen and Jaeger (ibid.), which investigates the way of predicting syntactic structure by using the subcategorization frame of a verb to understand L1 language processing. We employ the information-complexity metrics such as surprisal, entropy, and entropy reduction to quantify the uncertainty/unexpectedness of a given word that reflects the processing difficulty during sentence processing. The results show that L2ers’ tendency to read different regions of a sentence varies. Reading times are longer in the verb and the ambiguous regions of the structurally ambiguous than of the structurally unambiguous sentences. Likewise, reading times are longer in the disambiguating region of the unambiguous than of the ambiguous sentences. Reading times are also longer when the surprisal increases in the disambiguating region. Overall, the findings reveal that such information-complexity metrics as entropy reduction and surprisal play an instrumental role in accounting for the aspects of sentence processing by Korean L2 learners of English. ● In this paper, we investigate how well L2 language models learn about particular types of controlled contexts that indicate representation of syntactic dependencies (e.g., the filler-gap dependency and possessive pronoun gender expectation). Building the three language models, we assess LM’s knowledge by comparing the interaction in island configurations to that in non-island minimal paris. In so doing, we provide new evidence that L2 models cannot significantly maintain their expectations through island constructions while L1 model is able to thread expectations within islands. Furthermore, L2 models fail to correctly learn about empty syntactic positions while L1 model is able to generalize about them. Additionally, we control the amount of training data for L2 models to examine the correlation of the LM’s performances. However, we cannot investigate the correlation between the size of sentences that L2ers learn and their sentence processing patterns. Previous study is inconclusive about whether L2ers learn these linguistic constraints. Here, using new methodology, we show evidence about the characteristics of L2ers’ behavior.

● 본 논문에서는 문장에서 단어가 전달하는 정보의 양을 추측할 수 있는 LSTM 신경망 기반 언어 모델링 시스템을 제안하였다. 제안한 시스템을 이용하여 문장의 각 단어에 대한 읽기 시간이 써프라이절과 엔트로피 감소와 같은 정보 이론적 측정치에 의해 예측될 수 있는 ...

● 본 논문에서는 문장에서 단어가 전달하는 정보의 양을 추측할 수 있는 LSTM 신경망 기반 언어 모델링 시스템을 제안하였다. 제안한 시스템을 이용하여 문장의 각 단어에 대한 읽기 시간이 써프라이절과 엔트로피 감소와 같은 정보 이론적 측정치에 의해 예측될 수 있는지 비교 분석하였다. LSTM 기반 언어 모델은 영어 문장 말뭉치를 대상으로 심층 학습이 진행되었으며, 심층 학습된 모델을 통해 실험실에서 한국인 영어 학습자가 읽은 영어 테스트 문장의 각 단어에 대한 써프라이절과 엔트로피 감소 측정치를 계산하였다. 그리고 언어 모델의 문장 처리 결과는 선형 mixed-effect 통계 모델을 구축하여 정보 이론적 측정치와 읽기 시간을 비교 분석하였다. 실험 결과, LSTM 신경망 기반 언어 모델을 이용하여 예측한 문장에 대한 써프라이절과 엔트로피 감소 정보는 문장 이해 (즉, 읽기 시간)와 양의 상관관계가 있음을 써프라이절과 엔트로피 감소 가설을 검증하여 확인할 수 있었다. ● 이 논문은 한국어 L2 영어 학습자들이 문장 처리 중에 새로 받은 단어를 기반으로 다가오는 구문 구조에 대해 어떻게 예측하는지 조사합니다. Linzen 및 Jaeger(2016)와 같은 연구에 따르면 독자는 그들이 접한 언어에 대한 경험을 바탕으로 전개되는 가장 적절한 구문 구조를 예측하면서 확률적 추론을 사용합니다. 이 연구는 Linzen 및 Jaeger(2016)의 실험을 바탕으로 읽기 과정에서 L2ers의 예측 방법을 조사합니다. L1을 이해하기 위해 동사의 하위 범주화 프레임을 사용하여 구문 구조 언어 처리에 대해 이 논문은 문장 처리 중 처리 난이도를 반영하는 놀라움(surprisal)과 같은 정보 복잡성 메트릭을 사용합니다. 또한 복잡성 메트릭스로서 엔트로피 및 엔트로피 감소를 통해 주어진 항목의 불확실성/예기치 않음을 정량화합니다. 연구 결과로서 L2ers가 문장의 상이한 영역을 읽는 경향이 다양하다는 것을 보여줍니다. 읽기 시간의 측면에서 동사에서 더 길고 구조적으로 모호한 영역은 구조적으로 모호하지 않은 문장과 비교하여 읽기 시간은 놀라움이 증가하면 시간도 길어집니다. 그 결과 엔트로피 감소와 같은 정보 복잡성 메트릭스와 서프라이즈는 한국어 L2 영어 학습자의 문장 처리의 측면을 설명하는데 중요한 역할을 하다는 점을 입증하고 있습니다. ● 본 논문은 영어 학습량을 상이하게 훈련시킨 LSTM 언어모델이 섬 구조 구문에서 필러-갭 의존관계와 성-자질의 일치 여부를 잘 판단하는지를 살펴보면서 한국인 영어 학습자의 문장 처리 패턴을 탐구하였다. 이를 위해, 한국인 영어 학습자가 잠재적으로 학습할 수 있는 코퍼스에서의 문장들을 바탕으로 영어 문장들을 학습시켜 장단기기억순환신경망 언어모델을 구축하였다. 구축한 모델을 바탕으로, 필러-갭 의존 관계 구조를 위반하거나 성-자질이 일치하지 않은 구조에서의 놀람 효과를 계산하여 영어 학습자 언어모델의 문장처리 양상을 이에 상응하는 원어민 모델과 비교분석하였다. 결과적으로, 본 연구가 채택하는 통사론의 핵심구문을 바탕으로 원어민 언어모델과 영어 학습자 언어모델이 각각 어떻게 다른 특성을 보여주는지 규명하였다.

본 연구의 결과는 L2 학습자 혹은 이중언어(bilingual) 화자의 외국어 습득에 있어서, 이중 언어/통사/문법 구조와 기억을 관장하는 대뇌영역을 규명하여 언어 인지신경과학(cognitive neuroscience of language), (신경)생물학, (신경)의학 등, 각 분야의 학제간 연 ...

본 연구의 결과는 L2 학습자 혹은 이중언어(bilingual) 화자의 외국어 습득에 있어서, 이중 언어/통사/문법 구조와 기억을 관장하는 대뇌영역을 규명하여 언어 인지신경과학(cognitive neuroscience of language), (신경)생물학, (신경)의학 등, 각 분야의 학제간 연구를 활성화시킬 것으로 기대된다. 또한 이중언어 화자의 언어/통사/문법 구조와 기억의 상호작용에 대한 전산인지모형화(computational cognitive modeling)를 개발함으로써 전산분야와 기타 관련 분야와의 학제간 연구도 활성화시킬 뿐만 아니라, 영어교육 및 외국어학습에 대한 효과적인 교육방안을 모색하며 발전된 학습모델을 제시하고 외국어학습 현장에 적용하는데 일조할 것으로 본다.

1) 학문적 필요성
최근까지 이중언어 화자의 언어구조 및 정보처리 양상에 관한 연구가 언어학, 언어심리학, 전산언어학 등 다양한 분야에서 독자적으로 이루어져 왔었으나, 각각의 독립분야에서 제시한 이론들이 이중언어 화자의 언어구조와 기억의 상호작용이라는 주제에 대한 만족스러운 결과를 제공하지는 못하고 있는 실정이다. 따라서 본 연구에서는 각각의 연구분야에서 이루어진 결과를 기초로 하여 이중언어 화자의 언어구조와 기억에 대한 각 분야의 연구성과를 통합함으로써 향후 학제간 연구에 활용 가능한 상승효과를 가져올 것이다. 이와 동시에 다양한 분야에서 진행해 온 연구 결과를 상호 검증함으로써 연구 결과의 타당성을 배가시킬 수 있을 것으로 기대한다. 또한 학제간 융합을 기반으로 한 연구결과는 동일한 결과에 대한 새로운 해석을 가능하게 하며, 이 해석을 바탕으로 한 새로운 활용법을 모색 가능케 함으로써 학제간 연구의 수준을 향상시킬 수 있을 것으로 기대한다.
본 과제는 또한 한국인 피실험자가 습득한 L2 인공언어 지식의 처리과정의 규명을 통해 외국어 습득 및 처리과정에 대한 외국어 교육 관련 분야 연구자들의 정밀한 이해를 제고하고, 과학적 연구를 바탕으로 제안된 외국어 학습방안을 실제 외국어 학습 현장에 적용할 수 있을 것으로 기대한다.

2) 교육적 필요성
이중언어 화자의 언어구조와 기억의 상호작용 규명은 직접적으로 학교교육에 활용이 가능하다. 특히, 본 연구 성과를 바탕으로 외국어의 여러 세부분야에 대한 효과적이고 효율적인 교육 방안을 모색함으로써 무분별하게 지출하고 있는 외국어(특히, 영어) 사교육비의 낭비를 막을 수 있을 것이다. 또한 한국인들의 이중언어 사용에 대한 연구를 통해 얻어진 이중언어 화자의 언어구조와 기억의 상호작용에 대한 연구는 외국인을 대상으로 하는 한국어 교육에도 유용하게 쓰일 수 있을 것이다. 각기 다른 모국어를 기반으로 한 이중언어 화자의 언어지식 구조의 양상과 기억의 상호작용을 비교함으로써 L1과 L2의 간섭 및 전이를 규명할 수 있고 이를 기반으로 한 효율적인 교육 방법의 개발이 가능할 것으로 기대한다.
더 나아가, 이중언어 화자의 언어구조와 기억에 대한 연구는 해당 모국어에 따라 어떤 분야의 세부 지식이 어떻게 활용되는지 비교/대조함으로써 제2언어 교육을 시행할 때, 언어의 여러 세부 분야(음성∙음운, 어휘 형태, 통사, 의미∙화용)에서 어떠한 영역에 중점을 두고 학습/교육하여야 하는지 또한 파악하게 될 것이다.