확률 접속표를 이용한 일본어 형태소 분석 결과의 후처리 기법

박철제, 이종혁, 이근배 et al. · Open Access System for Information Sharing (Pohang University of Science and Technology) · 1997

본 논문에서는 말뭉치로부터 얻은 통계정보를 이용한 일본어 형태소 분석 결과의 후처리 기법을 제안한다. 형태소 분석 과정은, 사전 검색을 통해 가능한 모든 형태소 분석 후보를 얻는 분할 단계와 확률 접속표를 이용하여 형태소 간의 결합 타당성 검사 및 분석 후보의 우선 순위를 결정하는 선택 단계로 구성된다. 확률 접속표는 단순히 형태소 간의 접소가능 유무만을 나타내던 기존의 접속정보표와는 달리 형태소 간의 접속강도를 확률값으로 나타냄으로써 형태소 간의 강한 접속 뿐만 아니라 문절과 문절 간의 약한 접속도 세밀하게 표현할 수 있다. 이는 띄여쓰기를 하지 않아 문장 단위의 처리가 불가피한 일본어 형태소 분석시 더욱 정확한 우선 순위 결정을 가능하게 한다. 형태소 간의 접속확률은 대상 언어에 대한 확률 모델로서 통계 정보 추출기를 통해 약 24만 단어의 일본어 말뭉치로부터 추출하였다. 확률 접속표를 이용한 일본어 형태소 분석기는 95.73%의 정확도를 보였으며, 그 결과는 기존 방식과 비교하여 문장의 길이 및 단어 품사별로 기술, 평가하였다.

Cited by 0 works.

Authors