대화에서 구두 행동을 인식하는 것은 상호 작용의 모든 순간에 중요하다. 그러나 대화의 표현은 언어적 행동 (또는 말 행동)과 관련하여 명시적으로 표시되지 않는 경우가 많으므로 청취자는 상황에 따라 행동을 인식할 것으로 예상된다. SAT (Speech Act Theory)는 언어 ...

대화에서 구두 행동을 인식하는 것은 상호 작용의 모든 순간에 중요하다. 그러나 대화의 표현은 언어적 행동 (또는 말 행동)과 관련하여 명시적으로 표시되지 않는 경우가 많으므로 청취자는 상황에 따라 행동을 인식할 것으로 예상된다. SAT (Speech Act Theory)는 언어 사용을 의도적인 의미로 설명하도록 제안한다.
본 연구에서는 한국인 영어학습자들이 인간의 인지 활동을 반영하는 시각 움직임을 조사하여 영어 회화에서 간접적인 발화를 어떻게 이해하는지 탐구한다. 참가자들은 높은 정확도를 보였으며 (p <0.01), 불특정 대화에서 발화 행위를 식별할 수 있음을 보였다. 전체 응답 시간은 참가자가 응답 조건보다 거부 및 사전 제공 조건을 인식하는 데 더 오래 걸리는 것으로 나타났다 (p <0.05). 또한 간접 발언 행위 인 Declination과 Pre-offer의 차이는 후자가 전자보다 식별하기 더 어렵다는 것을 보여주었다.
또한, ERP 연구에서는 결합된 언어 및 음성 단서에서 SA를 평가하는 청취자의 능력의 기초가 되는 시간에 따른 신경 반응을 조사했다. 본 연구에서는 선행연구 (Regel and Gunter, 2017; Steinhauer, 2003)에서처럼 참여자가 선행하는 담론 문맥에 바로 이어지는 세 가지 종류의 운율 또는 억양 패턴을 전달하는 세 가지 유형의 SA 발화를 들었을 때의 실시간 뇌 반응을 기록했다. 분석 결과는 다음과 같다. Type A에서는 D와 Q prosody 조건의 차이로 인해 250~500 ms에서 미미한 효과 (p = 0.06)를 보였는데, 이는 전두영역에서 미미한 N400 효과 (p = 0.08)를 보인 것에 기인한다. Type B형에서는 전두부에서 감소 된 N400 효과 (p <0.01)를 보이는 Q 및 D prosody 조건의 차이로 인해 250-500 ms에서 유의미한 효과 (p <0.05)를 보였다. 또한, 500-700 ms에서 Q와 D prosody 조건의 차이로 인해 현저한 효과를 보였고 (p <0.01), 감소된 늦은 N400 효과 (p <0.01)를 산출했다. Type C에서는 RC와 D prosody 조건의 차이로 인해 오른쪽 영역에서 미미한 감소된 P200 효과 (p = 0.056)와 그 차이로 인해 150-250ms에 미미한 효과 (= 0.057)를 보였다. RC와 Q prosody 조건에서는 전두부에서 감소된 P200 효과 (p = 0.05)를 보였다.
언어모델 연구에서는 c-command 관계의 구문 효과는 라이센스 유형 (예 : 정량화 바인딩) 및 주제의 읽기 이해 패턴 (예 : 언어 환상)에 따라 크게 영향을 받는다. 본 연구는 관계형 정보 (즉, X c-commands Y)의 구문 처리가 필요할 때 언어 모델 BERT의 읽기 동작을 조사하였다.
언어 모델의 실험 연구 방법으로 언어 모델 (LM)의 의미 또는 구문 능력을 진단하는 방법인 목표 평가 접근 방식으로 정원 길 구조를 다룰 때 Transformer 네트워크를 사용하여 사전 훈련된 언어 모델이 어떤 과정을 거치는 지 탐구한다. 본래 인간 언어 처리를 연구하도록 설계된 제어 구성된 문장을 처리 할 때의 방법이다. 실험 결과는 다음과 같다: (i) 세 가지 모델 모두 쉼표가 없는 정원 경로 구조를 잘못 해석하고, (ii) ALBERT 및 LSTM이 동사의 전이성에 민감하며, (iii) ALBERT만이 오해를 거부 할 수 있음을 보여준다. 이러한 결과는 LM이 전반적으로 인간과 유사한 구문 출력을 표면적으로 보여 주었지만 사용 된 모델에 따라 성능이 달랐음을 시사한다.
BERT 모델인 기본 BERT 및 대형 BERT는 일련의 단어에서 단어를 만날 때 모델이 얼마나 '놀랐는지'를 측정하는 데 사용되는 평가 메트릭 인 Surprisal을 사용하여 테스트 스위트 항목의 수용 가능성을 판단하여 평가된다. 즉, 결과는 방향성과 반발의 두 가지 프레임 워크에서 분석된다. 방향성의 결과는 BERT의 두 가지 버전이 비문법적 문장과 문법적 문장을 구별하는 데 전반적으로 유능함을 보여주었다. 반감과 방향성의 통계 결과는 BERT의 두 변형이 크게 다르지 않음을 보여주었다. 반감과 관련하여 올바른 판단과 잘못된 판단은 크게 달랐다. 또한 학습자의 문법 판단 시험 항목에서 발췌 한 첫 번째 테스트 의 반감은 구문 교과서 및 출판 문헌에서 발췌한 다른 테스트 데이터보다 높았다.

Recognition of verbal actions in conversation is important for every moment of the interactions. However, utterances in conversation are often not explicit to label regarding the verbal actions (or speech acts), and thus it is expected that listeners ...

Recognition of verbal actions in conversation is important for every moment of the interactions. However, utterances in conversation are often not explicit to label regarding the verbal actions (or speech acts), and thus it is expected that listeners depend on the context to recognize the actions. Speech Act Theory (SAT) proposes to account for language use as its intentional meaning.
In the experimental study we aim to explore how Korean-English learners comprehend indirect speech acts in English conversation by examining their eye movements which are reflections of the human cognitive activities. The participants showed higher accuracy rates (p<0.01), indicating that they were able to identify the speech acts in underspecified conversations. The overall response times revealed that it took longer for the participants to recognize the Declination and the Pre-offer conditions than the Answer condition (p<0.05). Besides, the difference between the Declination and the Pre-offer, being indirect speech acts, showed that the latter was more difficult to identify than the former.
Futhermore, in our ERP-based study we investigated the time-course and neural responses underlying a listener's ability to evaluate SA from combined verbal and vocal cues. We recorded real-time brain responses as listeners heard three different types of SA utterances conveying three kinds of prosodic or intonation patterns, which follow immediately after the preceding relevant discourse contexts; Regel and Gunter, 2017; Steinhauer, 2003). The results of the overall analysis of 3 conditions in each type are as follows. In Type A, there was a marginal effect (p=0.06) in the 250-500 ms, due to the difference between D and Q prosody conditions which yielded a marginal N400 effect (p=0.08) at anterior regions. In Type B, there was a significant effect (p<0.05) in the 250-500 ms, due to the difference between Q and D prosody conditions which yielded a reduced N400 effect (p<0.01) at anterior regions. Furthermore, in the 500-700 ms there was a significant effect (p<0.01), due to the difference between Q and D prosody conditions which yielded a reduced late N400 effect (p<0.01). In Type C, there was a marginal effect (=0.057) in the 150-250 ms, due to the difference between RC and D prosody conditions which yielded a marginal reduced P200 effect (p=0.056) at right regions, and also the difference between RC and Q prosody conditions which yielded a reduced P200 effect (p=0.05) at anterior regions.
In the study based on language models, the syntactic effects of the c-command relation are greatly affected by the types of licensing (e.g. quantificational binding) and reading comprehension patterns of subjects (e.g. linguistic illusion). The present study investigates the reading behavior of the language model BERT when the syntactic processing of relational information (i.e. X c-commands Y) is required.
Another study using language models explores what process pre-trained language models using the Transformer network go through when dealing with the garden-path structure with a targeted evaluation approach, the way of diagnosing a language model’s (LM) semantic or syntactic capacity, by observing its behavior when it processes carefully constructed sentences which are originally designed to study human language processing. The experiment showed that (i) all three models misinterprets garden-path structures with no comma, (ii) ALBERT and LSTM are sensitive to the transitivity of the verb, and (iii) only ALBERT is able to reject the misinterpretation in the transitive condition. These results suggests that LMs overall demonstrated human-like syntactic output on the surface, but the performance was different depending on the models used.
The BERT models, base BERT and large BERT, are assessed by judging acceptability of items in the test suites with an evaluation metric, surprisal, which is used to measure how ‘surprised’ a model is when encountering a word in a sequence of words, i.e., a sentence. The results are analyzed in the two frameworks: directionality and repulsion. The results of directionality reveals that the two versions of BERT are overall competent at distinguishing ungrammatical sentences from grammatical ones. The statistical results of both repulsion and directionality also reveal that the two variants of BERT do not differ significantly. Regarding repulsion, correct judgments and incorrect ones are significantly different.

본 연구는 영어학습자의 대화에서 대화 참여자들이 어떻게 화행(speech act)을 인식하는가를 탐구한다. 이를 위하여, 전기생리학적 (뇌)반응(electrophysiological (brain) response)을 이용한 뇌과학 연구 방법(Event-related brain potential (ERP) paradigm; Electroe ...

본 연구는 영어학습자의 대화에서 대화 참여자들이 어떻게 화행(speech act)을 인식하는가를 탐구한다. 이를 위하여, 전기생리학적 (뇌)반응(electrophysiological (brain) response)을 이용한 뇌과학 연구 방법(Event-related brain potential (ERP) paradigm; Electroencephalogram (EEG) paradigm)과 정성적으로 분석하는 대화분석 연구 방법(Conversation Analysis, CA)을 채택한 혼합 연구 방법(mixed research methods)을 적용한다. 먼저, 대화 과정 중 사용되는 특정한 화행의 문장을 듣고 이해하는 과정에서 발생하는 뇌파(neural wave) 반응의 변화를 조사하고 분석한다. 이를 토대로 실제 자연스러운 대화 과정의 화행을 대화분석 방법과 뇌파 분석 방법을 통합·사용하여 정교하게 분석하는 것이 본 연구의 목표이다.
본 연구의 1차 년도에서는 대화 중 화행 문장을 이해하는 과정을 조사하기 위하여, 통제 상황에서의 사건관련전위(ERP) 실험을 통하여 자극으로 준비된 화행 문장을 듣고 화행을 인식할 때의 뇌파를 파악한다. 1차 년도 실험에서 수집된 뇌파 데이터를 토대로, 언어 사용이 자연스럽게 이루어지는 환경인 대화에서 발생하는 뇌파를 EEG 주파수 분석 방법을 통하여 실시간으로 기록하고, 문장 대화를 전사하여 대화분석(CA) 연구를 병행한다. 이 과정에서 관찰된 화행을 대화분석-뇌파 데이터를 문장/절 단위로 분절화하여 화행의 특징적 뇌파 패턴을 규명한다.
2차 년도 연구는, 언어 모델 (LM)의 의미 또는 구문 능력을 진단하는 방법인 목표 평가 접근 방식으로 Transformer 네트워크를 사용하여 사전 훈련된 언어 모델이 어떤 과정을 거치는 지 탐구한다. 통사 현상을 조사하기 위한 유용한 도구로 딥 러닝을 사용하는 가능성을 평가하는 것을 목표로 하고 (i) 딥 러닝이 구문적으로 부적절한 구성을 감지 할 수 있는지, (ii) 딥 러닝의 수용 가능성 판단이 책임이 있는지, (iii) 딥 러닝의 수용 가능성 판단 측면이 인간의 판단과 유사한 지 여부의 세 가지 연구 질문에 관한 것이다. 이 연구는 딥 러닝 언어 모델의 프록시로 BERT를 선택하였다. 또한 LSTM을 채택하여 비교 분석한다.

■ 학문적 기여도
● 제2언어 학습자의 언어적 기능과 관련된 고차 인지과정에 대한 이해를 높이고, L2 화행 인식 처리와 관련된 인지신경과학적 기제를 밝힘으로써 교육학, 언어학, 심리학, 인지과학 등의 인접 학문 분야에 실시간 화행 인식에 대한 뇌 신경과학적인 기제 ...

■ 학문적 기여도
● 제2언어 학습자의 언어적 기능과 관련된 고차 인지과정에 대한 이해를 높이고, L2 화행 인식 처리와 관련된 인지신경과학적 기제를 밝힘으로써 교육학, 언어학, 심리학, 인지과학 등의 인접 학문 분야에 실시간 화행 인식에 대한 뇌 신경과학적인 기제를 제공할 수 있다.
● 또한 L1 영어 모국어화자와 L2 영어 학습자의 화행 인식 처리 양상을 비교한 결과를 토대로 제2언어 학습자들이 어려움을 갖고 있는 L2 화행의 종류에 대한 뇌 신경과학적 근거를 제공해 줄 수 있다.
● 본 연구결과를 통해 제2언어 학습자 및 이중언어화자의 L2 의사소통 능력의 성과를 예측할 수 있는 신경생리학적 지표(neurophysiological marker)에 대한 기초 지식을 제공할 수 있다.
● L2 학습자가 주어진 문맥적인 상황에서 직접 산출한 결과물을 구체적으로 전사하고 분석함으로써 뇌파지표를 이용하여 보여준 학습자의 인지과학적인 능숙도를 보다 더 구체적으로 설명 할 수 있다.
● 연구자들이 관측하고자 하는 화행을 유추하기 위한 특정 상황을 제시하기는 하나, 구체적인 스크립트 없이 진행된다는 점, 그리고 문맥만을 이용한 학습자들이 개별적으로 산출한 직접발화를 연구한다는 점에서, 그간 대화분석 초반 연구에서부터 (cf. Schegloff, 2007; Sacks, Schegloff, & Jefferson, 1974; ten Have, 1999) 중요시되어온 자연발화 (natural/authentic discourse)를 실험실 내 환경에서 가장 가깝게 실현시킨다는 점에 의의가 있다.

■ 교육적 기대효과
● 그 동안 주로 이뤄진 L2 학습자들에 대한 연구는 듣기, 말하기, 읽기, 쓰기에 치중되어 왔다. 그에 반해, 최근 연구 동향으로써는 이 네 가지 항목 이외에도 학습자의 화용 능력(pragmatic competence)와 함께 상호작용 능력 (interactional competence)이 중요하다는 점이 부각되기 시작했다 (Burch, 2014; Burch & Kasper, 2016; Hall, Hellerman, & Doehler, 2011; Theodorsdottir, 2011; Van Compernolle, 2011). 본 연구에서는 실험 참가자들이 역할극(role play) 내에서의 순서 교대(turn-taking)를 통해 역할극 상대방과 직접적으로 교류하며 산출하는 상호작용을 대화분석(CA)을 이용하여 구체적으로 전사하고 분석함으로써, L2 학습자들의 화행인지와 발화에 대한 연구뿐만 아니라, 지금까지는 이뤄지지 않았던 L2 학습자들의 L2 상호작용 능력(interactional competence)을 분석 연구 한다는 점에 의의가 있다.
● 특히 교육학 분야에서는 한국인 영어 학습자가 영어 의사소통 능력 향상을 위해 어떠한 화행 인식 교육을 제공하는 것이 효과적인지에 대한 새로운 단초를 제공할 수 있고, 영어 의사소통을 향상을 위한 프로그램의 활용과 새로운 화용론적 학습 패러다임 개발에 선도적인 역할을 할 수 있을 것으로 기대된다.

■ 인력 양성 방안
● 본 연구는 목표로 하는 연구 과제를 성공적으로 수행하기 위하여 다음과 같은 전문인력을 필요로 한다. 본 연구가 다소 최첨단의 연구 과제를 추진할 예정이라는 점에서 이들 석사 및 박사 과정의 전문인력은 과제 수행과정에서 훈련과 경험을 통하여 보다 높은 전문성을 갖추게 될 것이며, 향후 신경언어학, 뇌과학 등 관련 분야의 전문 교육 및 연구 인력으로 역할하게 될 것으로 기대한다.

▶신경언어학 연구의 학문후속세대 양성
● 본 연구에 석·박사과정의 연구보조원을 참여시킴으로써 학문후속세대의 신경언어학 연구를 실질적이며 철저하게 훈련시킬 계기가 될 것이다. 이번에 참여하는 석·박사과정생들은 이미 2-3년 전부터 이 분야 작업의 경험을 가지고 있고, 앞으로 2년 동안 이 과정을 거치면 이들은 향후 뇌과학과 언어 관련 사업과 자료의 활용에 중추적인 역할을 수행할 학문후속세대로 성장할 것이다.

▶ 언어학과 뇌공학을 접목하는 학문후속세대 양성
● 뇌파 분석 작업에 참여하는 연구보조원은 물론 인지신경과학과 언어학의 학제연구 작업의 성과를 접한 학문후속세대들은 기존의 연구자들보다 더 방대하고, 체계적으로 정리된 자료를 바탕으로, 보다 정치하면서도 세련된 연구 결과를 도출할 수 있을 것이다. 이로써 향후 뇌과학과 언어 연구에 새로운 돌파구가 마련될 것으로 기대된다.

▶ 인력 양성 비전
● 대화분석 및 담화분석을 위한 코퍼스 자료를 구축하고, 이를 기계적으로 자동화한 시스템을 개발하는 전문인력 양성
● 글과 말로 사용된 문장을 언어 행위(즉 화행)로 평가하고, 이를 자동화할 수 있는 시스템을 개발하는 전문인력 양성
● 기계학습 혹은 딥러닝 등을 바탕으로 EEG 분석 알고리즘을 선진화하고 이를 구현한 EEG 분석기를 개발하는 전문인력 양성
● EEG 분석기를 활용하여 기록·수집된 EEG를 분석하는 전문인력 양성