연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > 연구과제 검색 > 연구과제 상세정보

연구과제 상세정보

딥러닝 기반의 초서 인식 서비를 위한 프레임워크 개발 및 검증
A Development and Verification of Framework for Deep Learning-based Chinese Cursive Characters Recognition Service
  • 연구자가 한국연구재단 연구지원시스템에 직접 입력한 정보입니다.
사업명 학제간융합연구사업 [지원년도 신청 요강 보기 지원년도 신청요강 한글파일 지원년도 신청요강 PDF파일 ]
연구과제번호 2018S1A5B6070175
선정년도 2018 년
연구기간 1 년 (2018년 09월 01일 ~ 2019년 08월 31일)
연구책임자 구지현
연구수행기관 선문대학교
과제진행현황 종료
공동연구원 현황 김봉재(선문대학교)
허경진(연세대학교)
김정동(선문대학교)
과제신청시 연구개요
  • 연구목표
  • 우리 연구의 목표는 딥러닝 기반의 초서 인식 서비스를 위한 프레임워크을 개발하고 검증하는 것이다. 초서 해독능력은 오랜 기간을 거쳐야 몸에 익힐 수 있다. 딥러닝 기술은 기계에게 학습을 시켜 단시간에 초서를 해독하여 사용자가 이를 편리하게 이용할 수 있게 하는 방식이다. 그러나 한자 해독 능력과 딥러닝을 활용한 영상인식 기술은 완전히 다른 분야이기 때문에, 단일 분야에서 독자적으로 개발하여 문제를 해결하기에는 어려움이 있다. 이미 많은 성과를 내고 있는 딥러닝 기술과 인문학에서 요구되는 초서 인식 서비스의 개발을 위해서는 두 분야의 전문가들이 공조하여 융합적인 연구를 할 필요가 있다. 우리 연구팀은 딥러닝 기술을 초서 인식에 도입함으로써, 기술 발전에 맞추어 인문학 연구의 질적 도약을 제공하게 될 것이다.
  • 기대효과
  • 우리 연구의 결과물을 기반으로 한다면 다음과 같은 효과를 기대할 수 있다.
    첫째, 초서 인식 프로그램이 시급한 연구자들에게 실질적인 도움을 줄 수 있을 것이다. 한국사, 한국 철학, 한국문학, 서지학, 서예, 서화, 고건축, 고문화 등 다양한 분야의 연구에서 초서 텍스트를 접할 수밖에 없다. 딥러닝 방식을 통한 프로그램이 이들에게 초서 판독을 제공해 준다면, 많은 연구자들이 자신의 전공 분야에 더 많은 시간을 집중하면서도 정확한 택스트 해석이 가능해질 것이다. 결과적으로 연구의 질적 제고를 가져올 것이다.
    둘째, 동아시아 한자문화권의 선도 기술이 될 것이다. 현재 중국이나 일본에는 이런 방식의 프로그램이 존재하지 않는다. 딥러닝 방식은 최신 기술이고 여전히 업그레이드되고 있다. 우리가 먼저 이를 활용해 초서인식 프로그램을 개발하고 갑골문, 전서, 예서 등까지 데이터베이스를 확대시킨다면 모든 한자문화권의 연구자들이 사용하게 될 것이고, 더 나아가 사용하면 할수록 데이터베이스는 더욱 확충될 것이다. 우리나라의 인문학적 역량이 세계 학문에도 공헌하게 될 것이다.
    셋째, 후속 연구의 한 전범을 제시하게 될 것이다. 4차 산업혁명이라는 제언이 공공연히 쓰이고 있으나 그 방법은 아직도 탐구 중이다. 그런데 가장 아날로그적인 교육 방식을 고수해왔던 한문에서 최신 머신러닝 기술을 도입하고 인공지능을 활용하는 것은 인문학에서 혁명적인 일이라 할 수 있다. 이런 방식이 불가능하리라 생각하는 일부 인문학자들에게 디지털 방식을 도입하는 인문학 교육에 대한 화두를 던져주게 될 것이다.
    넷째, 지식공유를 통한 워크숍 상시화하여 연구참여자들이 상대 전공에 대한 이해도를 높인다면 교과과정에 다양한 방식으로 도입할 수 있을 것이다. 현재 우리 연구진이 소속된 학교에서는 S/W 교과목이 교양과목으로 진행되고 있다. 그러나 인문학 전공 학생들에게 특화된 커리큘럼 개발은 요원한 일이다. 교수자이기도 한 우리 연구진이 과제를 진행하면서 터득한 방식을 실제 과목에 적용하고, 커리큘럼 개발에도 반영한다면, 융합연구가 가능한 인력을 배양할 수 있는 기초가 마련될 수 있을 것이다.
  • 연구요약
  • 우리 연구의 목적은 다른 사물을 인식하고 분별하는 것에 사용되고 있는 인공지능의 딥러닝 초서 글자 인식에 활용하기 위해 프레임워크 개발하고 검증하는 것이다.
    추진 전략은 크게 4가지 업무 프로세스 (기초 자료 수집 단계, 초서 분석 단계, 초서 선별 및 데이터베이스 구축 단계, 그리고 딥러닝 기반 초시 인식 플랫폼 구축 및 알고리즘 개발 단계)와 10단계의 작업 프로시저로 구성된다.
    첫 번째 단계에 궁극적인 데이터베이스의 확립을 위해서 자료 풀을 조성한다. 대상이 될 수 있는 중국과 일본에서 간행된 초서 사전, 역대 초서 비첩(碑帖), 지금까지 탈초가 된 한국 고문서의 목록을 포함시킨다. 공동 워크숍을 통해 한자 서체에 대한 기본적인 지식과 딥러닝 기술의 기초 지식을 교환하고 앞으로의 과제 추진 과정에 대한 이해를 도모한다.
    두 번째 단계에서 초서가 어떻게 이미지로 구현될 수 있는지 프로그램에 적용 가능한지 검토한다. 씨앗형 예산에 맞추어 표본이 될 수 있는 백여 개의 글자를 선별, 서예가에 따라 어떻게 쓰였는지, 역대 서첩과 자전, 비첩 등에서 용례를 분석한다.
    세 번째 단계에서 구상한 프로세싱이 따라 초서 인식 서비스 프레임워크를 개발하기 위해 딥러닝 환경을 구축하고, 영상처리(이미지) 프로세스인 OpenCV 및 딥러닝 알고리즘을 개발하고 이를 통한 앱 기반의 프로토타입을 설계한다. 또한 딥러닝 기반의 초서체 인지 및 이를 학습하기 위한 학습 데이터 수집 및 초서체 데이터베이스 구축을 통한 앱 환경의 프로토타입을 개발한다. 한편 개발한 알고리즘에 대한 성능을 평가하고 초서 인식 학습이 가능한 지 검증을 한다. 또한 초서 인지 모델을 제공하여 학습 과정을 반복하여 딥러닝 성능을 검증한다. 이 결과를 프로토타입의 개선에 반영하여 다시 평가한다.
    네 번째 단계에서는 프로토타입 설계가 확정된 이후 이를 구현하고 이에 대한 단위 테스트 및 통합 테스트를 진행하여 개발한 프레임워크에 대한 초서 인지 인식률에 대한 평가와 검증을 실시한다.
    우리 연구의 프레임워크의 핵심은 크게 3가지(“User Interface”, “Image Processing Module”, 그리고 “Deep Learning Module”)로 구성된다. “User Interface”에서는 사용자가 초서를 인지하기 위한 방법으로 스마트 폰이나 태블릿 PC를 이용한 초서 사진을 입력 값으로 넣을 수 있는 안드로이드 기반의 앱을 개발한다. 또한 “Image Processing Module”에서는 다양한 초서를 수집‧분류하고 저장하며, OpecCV를 통해 초서 이미지의 전처리를 수행한다. 그리고 “Deep Learning Module”에서는 초서 이미지를 텍스트로 추출하기 위한 방법으로 이미지 식별과 이를 텍스트로 인지하기 위한 분석기를 개발하며, 또한 이미지를 텍스트로 변환하기 위한 알고리즘을 개발하고 턴서플로우(또는 욜로)의 딥러닝 엔진을 통해 초서에 대한 학습을 진행한다.
    우리 연구진은 초서 자료 수집을 위한 초서 팀과 초서 인지 프레임워크 개발을 위한 딥러닝 개발 팀으로 구성되어 두 팀이 유기적으로 협동‧교류하여 연구를 진행할 것이다.
결과보고시 연구요약문
  • 국문

  • 우리 연구의 목표는 딥러닝 기반의 초서 인식 서비스를 위한 프레임워크를 개발하고 검증하는 것이다. 초서 해독능력은 오랜 기간을 거쳐야 몸에 익힐 수 있다. 딥러닝 기술은 기계에게 학습을 시켜 단시간에 초서를 해독하여 사용자가 이를 편리하게 이용할 수 있게 하는 방식이다.
    우리 연구팀은 가장 많이 사용되는 초서 익힘책인 <초결가>에 나오는 글자 527개를 대상으로 하여 초서 이미지를 디지털화하고 데이터셋으로 구축하여 인식할 수 있도록 하였다. 제안하는 초서 인식 모델은 최적화된 컨볼루션 신경망모델이다. 초서 인식을 위한 모델의 최적화한 방법은 DenseNet기반의 모델을 재구성하고 5-Fold 교차 검증 기법으로 학습 매개변수인 초매개변수(Hyper parameter)를 최적화한다. 또한, 초서 인식 성능을 개선하기 위하여 이미지의 크기 변경, 채널 변환과 데이터 확장기법을 적용하고 실험 및 비교하였다. 초서 인식 모델 평가방법은 학습에 관여하지 않은 새로운 초서 데이테셋에 대해 모델을 F1 Score로 평가하였다. 교차 검증 기법에서 높은 성능을 보인 데이터 확장 기법을 적용한 학습모델에 대해 평가하였다.
    마지막으로 인공신경망 기반의 초서 인식 응용은 연구자가 비교적 편하게 사용할 수 있도록 안드로이드 앱으로 개발하였다. 앱 결과화면은 인식된 결과의 정서 이미지와 높은 확률로 분류한 5개의 초서 클래스로 표출하는 기능을 제공할 수 있다. 따라서 초서 인식 응용으로 인식한 결과와 연구자가 해독과 해석한 결과를 비교하여 검증할 수 있다. 이를 통해 초서로 기록된 고문헌을 효율적으로 해독하고, 역사적 가치를 가진 고문헌의 연구를 증대시킬 수 있을 것으로 기대한다.
  • 영문
  • In this study, a dataset containing Caoshu images was used to allow the recognition of 527 Caoshu. The proposed recognition model is an optimized convolutional neural network. The optimization method of this recognition model was proceeded by the reconstruction of a DenseNet- based model, and the further optimization of the hyper-parameter, which is the learning parameter using the five-fold cross-validation technique. Furthermore, to improve the recognition performance of Caoshu, image size change, channel conversion, and data augmentation techniques were applied to perform an experiment and compare the obtained results. As the evaluation method for the proposed Caoshu recognition model, this study evaluated the model with a new Caoshu dataset that was not used during learning. The learning model, in which the data augmen- tation technique showing a high performance in the cross-validation method was applied, was evaluated. Finally, this study developed an Android app convenient for research- ers as an application of the Caoshu recognition model based on artificial neural networks.
연구결과보고서
  • 초록
  • 우리 연구의 목표는 딥러닝 기반의 초서 인식 서비스를 위한 프레임워크를 개발하고 검증하는 것이다. 초서 해독능력은 오랜 기간을 거쳐야 몸에 익힐 수 있다. 딥러닝 기술은 기계에게 학습을 시켜 단시간에 초서를 해독하여 사용자가 이를 편리하게 이용할 수 있게 하는 방식이다.
    우리 연구팀은 가장 많이 사용되는 초서 익힘책인 <초결가>에 나오는 글자 527개를 대상으로 하여 초서 이미지를 디지털화하고 데이터셋으로 구축하여 인식할 수 있도록 하였다. 제안하는 초서 인식 모델은 최적화된 컨볼루션 신경망모델이다. 초서 인식을 위한 모델의 최적화한 방법은 DenseNet기반의 모델을 재구성하고 5-Fold 교차 검증 기법으로 학습 매개변수인 초매개변수(Hyper parameter)를 최적화한다. 또한, 초서 인식 성능을 개선하기 위하여 이미지의 크기 변경, 채널 변환과 데이터 확장기법을 적용하고 실험 및 비교하였다. 초서 인식 모델 평가방법은 학습에 관여하지 않은 새로운 초서 데이테셋에 대해 모델을 F1 Score로 평가하였다. 교차 검증 기법에서 높은 성능을 보인 데이터 확장 기법을 적용한 학습모델에 대해 평가하였다.
    마지막으로 인공신경망 기반의 초서 인식 응용은 연구자가 비교적 편하게 사용할 수 있도록 안드로이드 앱으로 개발하였다. 앱 결과화면은 인식된 결과의 정서 이미지와 높은 확률로 분류한 5개의 초서 클래스로 표출하는 기능을 제공할 수 있다. 따라서 초서 인식 응용으로 인식한 결과와 연구자가 해독과 해석한 결과를 비교하여 검증할 수 있다. 이를 통해 초서로 기록된 고문헌을 효율적으로 해독하고, 역사적 가치를 가진 고문헌의 연구를 증대시킬 수 있을 것으로 기대한다.
  • 연구결과 및 활용방안
  • 우리 연구진은 527개의 글자에 대한 데이터베이스 구축하였다. 이미지의 총 개수는 38,585개이며 해상도는 224 × 224 & RGB이다.
    모바일 운영체제인 안드로이드로 구현하였으며, 안드로이드 버전은 안드로이드 파이 9.0에 최적화하여 구현하였다. 앱의 화면 구성은 로딩화면, 로그인 화면, 회원 등록화면, 메인 화면으로 구성되어 있다.
    실험 결과 이미지 데이터의 양을 증가시킨다면 앞으로 상용화가 가능할 것으로 기대된다. 따라서 다음과 같은 활용이 가능할 것이다.
    첫째, 초서 인식 프로그램이 시급한 연구자들에게 실질적인 도움을 줄 수 있도록 한문이나 연구 관련 기관에서 요청할 경우 소스를 제공하고 적극 협력할 것이다. 한국사, 한국 철학, 한국문학, 서지학, 서예, 서화, 고건축, 고문화 등 다양한 분야의 연구에서 초서 텍스트를 접할 수밖에 없다. 딥러닝 방식을 통한 프로그램이 이들에게 용이한 초서 판독을 제공해 준다면, 많은 연구자들이 자신의 전공 분야에 더 많은 시간을 집중하면서도 정확한 텍스트 해석이 가능해질 것이다. 결과적으로 연구의 질적 제고를 가져올 것이다.
    현재 연구책임자와 공동연구원 1인은 번역자로 참여하고 있는 (사) 전통문화연구회에 후속 공동 연구를 제안한 상태이다. 후속 연구가 지원된다면 90% 이상의 인식률을 보이는 프로그램으로 상용화시킬 수 있을 것이다.
    둘째, 지식공유를 위해 성과발표회에 적극 참여할 것이다. 우리 연구팀은 1년간의 연구기간 동안 시행착오를 거듭하였고, 워크숍을 통해 과정을 공유하여 왔다. 현재 모델링을 마치고 결과물을 낸 상태이다. 이를 공개하여 지식이 확산될 수 있도록 학술대회 및 성과발표회에 참여할 것이다.
    셋째, 우리 연구진은 이번 융합연구를 통해 인문학과 공학 연구자들이 굳건한 연구 네트워크를 형성하였다. 이후 교차 연구 및 융합연구 교육에서도 지속적인 협력을 하여 인문학 콘텐츠를 활용한 프로그램을 개발할 것이다.
  • 색인어
  • 초서 인식, 디지털 인문학, 필기체 인지, 한자 서체, 딥러닝, 머신러닝, 영상처리
  • 연구성과물 목록
데이터를 로딩중 입니다.
데이터 이용 만족도
자료이용후 의견
입력