본연구의 목적은 대인커뮤니케이션 심문 상황에서 나타나는 시선행위(눈깜빡임, 시선회피, 시선마주침)의 차이를 비교분석하고 이러한 시선행위가 거짓말의 단서가 되는지를 탐색했다. 본 실험은 2017년 3월부터 5월까지 부산에 위치한 4년제 대학교의 학부생과 대학원생 ...

본연구의 목적은 대인커뮤니케이션 심문 상황에서 나타나는 시선행위(눈깜빡임, 시선회피, 시선마주침)의 차이를 비교분석하고 이러한 시선행위가 거짓말의 단서가 되는지를 탐색했다. 본 실험은 2017년 3월부터 5월까지 부산에 위치한 4년제 대학교의 학부생과 대학원생 100명(남자: 41명, 여자: 59명)을 대상으로 진행되었다. 실험참여자들은 교내 모집 공고문 및 수업시간의 공지를 통해 모집되었다. 실험참가자들은 남녀 구분 없이 2개의 실험조건(진실: 50명, 거짓:50명)에 무작위로 할당되었다. 실험참여자에게는 실험참여의 대가로 1만원 상당의 상품권이 제공되었다. 실험참가자의 연령은 20세에서 38세까지 분포되었고 이들의 평균 연령은 23.39(SD = 2.55)이었다. 100명의 실험참여자 중 82명이 오른손잡이, 10명이 왼손잡이, 8명이 양손잡이였다. 실험참여자에게는 시나리오에 따라 10만원의 현금을 절취할 수 있는 기회가 제공되었다. 이어서 실험참여자는 면대면 심문을 받게 되는데 일상생활을 묻는 기준질문(baseline questions)과 현금절취와 직접적으로 관련된 핵심질문(critical questions)로 구성되었다. 실험참여자는 기준질문에 대해서는 진실을 진술하고 핵심질문에 대해서는 현금절취와 관계없이 현금을 절취하지 않았다고 진술하도록 요구되었다. 심문은 최대 7분가량 소요되었다. 심문은 동영상으로 녹화되어 코딩되었으며 실험참여자의 시선은 대화의 단계(듣기, 생각, 대답, 관찰) 별로 프레임단위(1/30초)로 분석되었다. 전체 17개의 문항 중 한 개의 기준질문과 한 개의 핵심질문에 대해 피험자가 응답할 때 나타나는 시선행위가 분석되었다. 피험자가 신문자의 얼굴을 응시하고 있으면 시선응시로, 신문자의 얼굴이 아닌 다른 곳을 응시하고 있으면 시선회피로 코딩된다. 피험자가 눈을 깜빡이면 눈깜빡임으로 코딩되지만, 그 길이가 0.5초 이상이면 시선회피로 코딩된다. 시선행위는 대화단계별로 코딩된다. 듣기단계는 신문자가 질문을 하는 동안이며, 생각단계는 신문자가 질문을 마치고 피험자가 대답하기 전까지의 동안이다. 대답단계는 피험자가 질문에 대한 대답을 하는 동안이며, 관찰단계는 피험자가 대답을 마치고 신문자가 다음 질문을 시작하기 직전까지의 동안이다.
시선행위는 각 단계에서 각각의 시선행위(시선응시, 시선회피, 눈깜빡임)가 차지하는 점유율로 계량화된다. 즉 각 점유율은 대화단계에서 시선응시, 시선회피, 눈깜빡임이 나타난 프레임수를 각각 구한 후 이를 각 대화단계의 전체 프레임수로 나눈 후 여기에 곱하기 100을 해 도출된다. 따라서 각 대화단계에서 시선응시 점유율 + 시선회피 점유율 + 눈깜빡임은 항상 100이 된다. 분석결과는 다음과 같다. 각 단계별로 진실과 거짓 간 통계적으로 유의미한 차이는 나타나지 않았지만, 생각단계에서 진실과 거짓 간 시선행위는 다르게 나타났다. 즉, 생각단계에서 진실을 말할 때 보다 거짓을 말할 때 시선회피가 감소하는 경향이 나타났다. 본 연구의 결과는 거짓말의 단서로서 시선행위가 활용될 수 있는 가능성을 보여 주고 있다.

The experimental study examines whether gaze behavior(blinking, eye aversion, eye contact) which has been universally believed to a deception cue is a reliable deception indicator in an interpersonal interrogative situation. This experiment was conduc ...

The experimental study examines whether gaze behavior(blinking, eye aversion, eye contact) which has been universally believed to a deception cue is a reliable deception indicator in an interpersonal interrogative situation. This experiment was conducted from March through May in 2017. 100 college and graduate students (41 males and 59 females) enrolled in a large-size university located in Busan were participated in this experiment. All participants were recruited through both a recruiting poster and class announcement. All participants were randomly assigned to the two conditions (truthtelling vs. lying) without gender balance. They were given a $10 value gift card as reward of their participation. The age of the participants ranged from 20 to 38 years with an average of 23.39 (SD = 2.55). Most participants were right-handed (n = 82), left-handed (n = 10), and ambidextrous (n = 8). Participants were told that first participants would have an opportunity to take $100 value bills. They were then interrogated about their casual life and their behaviors associated with money theft. During the interrogation, participants must convince the interrogator that they did not take the cash regardless of whether they had taken the bills or not. The interrogation took about 7 minutes. All interrogations were recorded in facial (from upper chest to head) using a camera, each capturing 30 frames per second and analyzed by the conversational phases (e.g., listening, thinking, answering, and monitoring) and frame by frame. Of the 17 questions for the interrogation, two questions were selected for coding and analysis. One open ended question from the baseline set where the participants were asked questions unrelated to the crime served as a measurement for normal eye behavior of the participants. Another open question that was directly related to the money theft was designed to provide absolute truth or lies. Gaze behavior includes eye contact, eye aversion, and blinking. When participant looked at the interrogator straightly, it was scores as eye contact. The position of the eye looking at the interrogator was established and any movement that deviated from that position was scored as gaze aversion. When participants blinked in less than 15 frames (1/2 second), it was scored as blink. However, if they blinked more than 16 frames, it was included in gaze aversion (Ekman, FACS manual reference) since blinking exceeding 1/2 second is an eye closure which is part of gaze aversion. The amount of time of each eye behavior was calculated on the conversational phase. The amount of time of each eye behavior during the listening phase, and the answering phase is the period the interrogator asked the question, and while the participant answered the question respectively. The amount of time for the thinking phase was measured from the period when the interrogator stopped asking the question until the participants started the response, and included pauses, hesitations, and requests. The amount of time for observing was measured from the point when the participant stopped answering until the interrogator started asking the next question. The dependent variable was the proportion of gaze aversion, which is calculated by the number of frames of gaze aversion divided by the number of total frames multiplying 100 during the listening, thinking, speaking, and observing phase for interrogation respectively. Results reveal that there was no statistic significance between gaze behavior and deception. However, the results found that when lying than when telling the truth, participants are more likely to maintain less gaze aversion during the thinking phase of the critical period. The findings of this study implicate that gaze behavior as a deception cue might be used for lie detection.

본 연구는 대인커뮤니케이션 상황에서 나타나는 시선행위의 차이를 비교분석하고, 이러한 시선행위가 거짓말의 단서가 되는지를 탐색했다. 전체 100명의 대학생(남자: 41명, 여자: 59명)이 실험에 참여했으며, 실험참여자에게는 시나리오에 따라 10만원의 현금을 절취할 ...

본 연구는 대인커뮤니케이션 상황에서 나타나는 시선행위의 차이를 비교분석하고, 이러한 시선행위가 거짓말의 단서가 되는지를 탐색했다. 전체 100명의 대학생(남자: 41명, 여자: 59명)이 실험에 참여했으며, 실험참여자에게는 시나리오에 따라 10만원의 현금을 절취할 수 있는 기회가 제공되었다. 이어서 실험참여자는 면대면 심문을 받게 되는데 일상생활을 묻는 기준질문(baseline questions)과 현금절취와 직접적으로 관련된 핵심질문(critical questions)로 구성되었다. 실험참여자는 기준질문에 대해서는 진실을 진술하고 핵심질문에 대해서는 현금절취와 관계없이 현금을 절취하지 않았다고 진술하도록 요구되었다. 심문은 동영상으로 녹화되어 코딩되었으며 실험참여자의 시선은 대화의 단계(듣기, 생각, 대답, 관찰) 별로 프레임단위(1/30초)로 분석되었다. 분석결과는 다음과 같다. 각 단계별로 진실과 거짓 간 통계적으로 유의미한 차이는 나타나지 않았지만, 생각단계에서 진실과 거짓 간 시선행위는 다르게 나타났다. 즉, 생각단계에서 진실을 말할 때 보다 거짓을 말할 때 시선회피가 감소하는 경향이 나타났다. 본 연구의 결과는 거짓말의 단서로서 시선행위가 활용될 수 있는 가능성을 보여 주고 있다.

후 정밀한 분석이 요구되지만 1차 분석을 통해 나온 결과를 종합해 보면 시선행위와 거짓말과의 관련성은 나타나고 있지 않다. 다만, ‘생각하기’ 단계에서 거짓을 말할 때 시선회피가 줄어드는 양상은 나타난 것으로 확인된다. 추후 2차 분석을 통해 생각단계에서의 시선 ...

후 정밀한 분석이 요구되지만 1차 분석을 통해 나온 결과를 종합해 보면 시선행위와 거짓말과의 관련성은 나타나고 있지 않다. 다만, ‘생각하기’ 단계에서 거짓을 말할 때 시선회피가 줄어드는 양상은 나타난 것으로 확인된다. 추후 2차 분석을 통해 생각단계에서의 시선행위와 거짓말의 관련성을 정밀하게 분석할 필요성이 제기된다. 만약 2차 분석을 통해 시선행위와 거짓말의 관련성이 발견된다면, 이러한 결과는 앞서 당초 연구목표에서도 언급되었듯이, 업무상 거짓말 탐지를 해야 하는 현업(경찰, 검찰, 세관 등)에서 유용하게 활용될 수 있을 것으로 판단된다.
본 연구를 통해 100명의 실험참가자들의 시선행위가 녹화되었다(실제 녹화된 동영상은 가슴위를 촬영한 바스트샷이며 따라서 실험차여자의 얼굴도 함께 녹화되었다). 녹화된 동영상은 동아대학교 기관윤리생명위원회의 규칙에 따라 3년 동안 보관되는데, 이 기간 동안 거짓말과 관련된, 혹은 거짓말과 관련되지 않더라도 대인커뮤니케이션에서 신호채널 중의 하나인 비언어행위를 분석할 수 있다. 예를 들어, 화자전환(turn-taking)에서 시선마주침과 시선회피의 역할, 감정 유발 시 나타나는 시선행위 패턴, 특정 감정표현(기쁨, 분노, 경멸, 놀람, 슬픔, 공포, 혐오)과 시선행위의 관계 등은 저자가 아는 범위에서 아직은 한국인을 대상으로 연구가 진행되지는 않았다. 따라서 본 연구의 산출물 중의 하나인 실험참여자의 동영상 분석을 통해 아직 연구가 되지 않은 영역에 대한 탐구가 가능하리라 판단된다.
또한 본 연구를 통해 시선코딩툴이 개발되었다. 앞서 언급했듯이 시선코딩툴은 외주전문업체를 통해 범용성 있는 자바언어로 개발하고자 했으나 비용과 시간 상의 제약으로 연구책임자가 과거 개발 중이었던 코딩툴을 보완해 코딩해 활용했다. 코딩툴은 비주얼베이직(Visual Basic)으로 개발되었으며 따라서 윈도우 환경에서만 사용되는 한계가 있다. 추후계획으로는 현재의 코딩툴을 바탕으로 플랫폼 간 호환성이 있는 자바언어로 개발할 예정이다. 개발과 테스트를 통해 제품의 안전성이 확인되면 시선행위를 연구하는 학자들에게 무료 혹은 유료 배포하고자 한다. 이에 앞서 시선코딩툴 개발에 관심 있는 학자가 있다면, 코딩 툴과 관련된 설계 관련 정보를 공유하고자 한다.