남기춘(고려대학교 심리학과) 임희석(천안대학교 정보통신학부) 인지신경기반 언어정보처리 시스템 개발 남기춘(고려대학교 심리학과) 임희석(천안대학교 정보통신학부) Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 차 례 연구 필요성 및 목적 추진 방법 한국어 형태소정보처리 연구 ERP와 한국어정보처리 한국어 용언의 정보처리 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 연구 필요성 인간 언어정보처리 원리 규명을 위한 언어학 및 언어심리학, 신경언어학, 의학, 전산언어학 등의 다학문적 접근(문제의 복잡성) 학제간 연구팀 육성에 필요(장기적 속성) 언어정보처리시스템 개발의 기반 제공 언어장애인의 평가와 재활치료 시스템 개발의 기반 제공 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 연구 목표 최종 연구 목표 인지신경과학 연구에 따른 형태소와 구문정보처리 자료를 기반으로 정상뇌와 손상뇌 모형을 규명하고, 한국어정보처리시스템, 언어교육, 언어장애재활 개발을 위한 한국어 형태소 및 구문 분석/생성 시스템 개발 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 연구방법 1: 학제적 접근 정보처리론 접근 전산학 접근 한국어 형태/구문 정보처리모형 한국어 형태/구문 지식표상 규명 컴퓨터 시뮬레이션 한국어정보처리시스템 한국어정보처리 대뇌신경회로망 규명 언어장애 분류 및 DB 구축 손상 뇌 접근 신경해부학 접근 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 연구방법 2: 추진전략 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 한국어 형태소정보처리 연구 1. 구조(architecture) - 이중경로 모형 -> 평행(parallel) vs. 순차(serial) 2. 표상(representation) - (용언류/체언류), (굴절어/파생어), (우리말/한자어/ 외국어) (내용어/기능어), (구어/문어), (규칙/불규칙 활용), (표면적/심층적), (이해/설명/산출), (기능어미의 위계) ->전체목록모형(full-list) vs. 분석모형(decomposition) 3. 처리(processing) - 자동적 처리 vs. 의식적처리 - 처리방향(좌-우/우-좌), 내용어/기능어의 처리 방향, Korea University Cog. Neuro. Lab

Nam Kichun, Lee Hongjae, Lee Donghoon The Auditory ERP Pattern of the Syntactic and Semantic Processing of Korean Sentences Nam Kichun, Lee Hongjae, Lee Donghoon Psychology Department Korea University Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab LANGUAGE COMPREHENSION PROCESS 1) Form Processing 2) Morphological Processing 3) Word Recognition 4) Sentence Processing 5) Discourse Processing We focus on sentence processing in this study. Korea University Cog. Neuro. Lab

EVENT-RELATED POTENTIALS(ERP) Korea University Cog. Neuro. Lab ERP – brain potentials evoked by sensory stimuli ( visual, auditory, tactile, gustatory, etc) Advantages of ERP 1) able to see continuous changes occurred during cognitive effort 2) able to measure brain potentials without requiring task 3) provide abundant measures, like component, amplitude, latency 10-20 system Korea University Cog. Neuro. Lab

ERPS REFLECTING LANGUAGE Korea University Cog. Neuro. Lab SEMANTICS SYNTAX dotted line : semantically abnomal solid line : semantically normal dotted line : syntactically abnomal solid line : syntactically normal N400 P600 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab IMPORTANCE Speaking and listening are common functions in language processing in human species  It is known that language studies using spoken input is more ecologically valid than those using written input.  However, ERP studies of language functions have more often used in the written than spoken input. Korea University Cog. Neuro. Lab

OBJECTIVE OF THIS STUDY Korea University Cog. Neuro. Lab To investigate Korean sentence processing with auditory ERP To find the evidence of dissociation between semantic and syntactic processing To compare the modality effects of the visual and auditory stimuli Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab METHOD SUBJECT : college students (12, male, female); Right-handed, without neurological defect PROCEDURE : to listen and understand the stimuli presented in the center of monitor Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab METHOD STIMULI Semantic-related sentences normal “abeojiga geosileseo sinmooneul igneunda” [father] [in the living room] [newspaper] [read] abnormal “ eomeoniga anbangeseo zzazangmyeoneul igneunda” [mother] [in the room] [zzazang noodle] [read] Syntactic-related sentences normal " benchie anza dambaeleul piuda” [on the bench] [sit] [tobacco] [smoke] abnormal “urizip madange kkodchi piuda” [our home] [at our court] [flowers] [make blossom] Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 시각 문장의미관련 ERP 결과(1) Korea University Cog. Neuro. Lab

의미처리(400)은 대뇌피질 전체적인 영역에서 활성화됨 Korea University Cog. Neuro. Lab 시각 문장의미관련 결과(2) 의미처리(400)은 대뇌피질 전체적인 영역에서 활성화됨 이후에 전두엽 중심부에서 재분석 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 청각 문장의미관련 결과(1) ERP pattern in seven sites Cz F3 F4 P3 C3 C4 P4 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 청각 문장의미관련 결과(2) Significant (P<.05) ERP time course in normal/abnormal sentences Grand ERP pattern The effect of semantic anomality Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab DISCUSSION : SEMANTIC PROCESSING The semantic processes were recorded by N400 component P600 component was also activated These components were activated at all recording sites in our experiments. In our previous experiments with visual ERP, P600 component was not so clear. The existence of P600 can be from the difference of modality. Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 시각 통사관련 ERP 결과(1) Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 시각 통사관련 ERP 결과(2) 전두엽, 중심부에서 통사영역을 담당 초기 처리(기존의 LAN)과 반대적 현상 후기 재분석 처리(P600) Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 청각 통사관련 ERP 결과(1) ERP pattern in seven sites Cz F3 F4 P3 C3 C4 P4 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 청각 통사관련 ERP 결과(2) Significant (P<.05) ERP time course in normal/abnormal sentences Grand ERP pattern The effect of syntactic anomality Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab DISCUSSION : SYNTACTIC PROCESSING The syntatic processes were recorded by P600 components N400 components were also activated These components were activated at all sites. In our previous experiment with visual ERP, N400 components were not so clear. The existence of N400 can be from the difference of modality. Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 종합 논의 (1) 한국어 문장처리의 특정성 확인 1) 어휘처리는 어휘형태의 시각적 속성이 후두엽에서 활성화되고 두정엽부위에서 재분석될 수 있음 2) 통사처리는 p600 성분의 활성화 신호가 전두엽에서 가장 크고 후두엽쪽으로 갈수록 줄어든다는 사실( 전두엽신호에 활성화를 보여주는 fMRI결과와 상관있음) 3) 기존연구는 문장의미처리시 중심부와 두정부에서 활성화신호가 가장 크다는 결과가 많지만 본 연구에서는 문장의미 정보처리를 위해서는 대뇌 전반적인 영역에서 골고루 활성화된다는 것 확인 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 종합논의 (2) 한글문장의 정보처리 순서 초기통사처리-> 어휘와 의미처리-> 통사재분석, 의미재통합 의미처리과정에서 ERP와 fMRI의 차이는?  단기간 처리, 의미처리의 종결 결과물간의 차이가능성 어휘형태, 통사, 문장의미 각각에 주도적으로 관여하는 단원적 특성이 나타나지만, 이들 세가지 기능들은 대부분 공통적인 처리기전에 의하여 처리된다고 보는 것이 타당할 것 같음 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 한국어 용언의 정보처리 남기춘, 권유안, 정재범, 황유미 고려대학교 심리학과 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 연구배경(1) 목적: 용언의 기능어미 연구를 통하여 각 수준에서 이용되는 정보처리를 분석하여 어절 정보처리 모형을 구현 1. 형태(form) 수준: 철자적 수준(초-중-종성) 2. 음성(phonological)/형태(morphological) 수준: 음성적 투명성, 형태적 투명성 3. 의미(semantic) 수준: 의미적 투명성 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 연구배경(2) 형태소 처리 방법 Full list hypothesis :어절을 형태소 분석 전에 전체적으로 심성 어휘집에서 검색. 형태소로의 분석은 어휘 접근 후 과정 Decomposition hypothesis - 형태소로 분석 후 각각의 형태소를 심성 어휘집에서의 검색과 검색된 형태소들의 결합에 의해 어절 이해. - 따라서 형태소 분석은 어휘 접근 전에 일어남 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 실험 방법 실험방법: Primed lexical decision task 150ms/1000ms 먹을 붓 단어/비단어반응 * 집은 물건 1500ms Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 실험 1: 한국어 어절정보처리 피험자 고려대학교에 재학중인 일반인 피험자 90명 실험재료 점화자극 용언으로만 해석이 가능한 어절 예) 쥐어, 집어, 길어, 낮고, 배우니... 실험자극 쌍 ( 점화자극 - 목표자극 ) 관련 : 쥐어 - 고양이 , 쥐어 - 주먹 무관련 : 실천 - 고양이 , 밝어 - 주먹 실험과제 : Primed lexical decision task Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 실험 1 결과(1) Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 실험 1 결과(2) Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 논 의 한국어의 경우 decomposition model을 따른다면 체언과 용언모두에서 점화효과가 있어야함 체언의 점화효과 없었음 Full list 가설 지지(어절 전체로 처리) SOA가 길어지면 체언에도 촉진적 점화효과 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 실험 2: 선어말어미 정보처리 실험논리 - decomposition hyphothesis라면, prime의 선어말어미와 target의 선어말어미가 기능적으로 같은 경우 통제조건에 비해 촉진효과가 있을 것임. 실험재료 실험조건 prime Target 선어말어미 일치조건 덜었니 감았다 선어말어미 이형태조건 졸았니 통제조건 달아라 선어말어미무관,형태일치조건 감식초 Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 실험 2: 결과 150SOA 선어말어미일치조건과 통제조건간 차이 없음. 750SOA Korea University Cog. Neuro. Lab

Korea University Cog. Neuro. Lab 논의 단어의 형태가 겹치는 경우에서 억제적인 효과  만약 decomposition hypothesis가 옳다면 촉진적 점화효과가 있어야 함. 단어재인과정에서 Full-list hypothesis가 지지됨. 향후 과제는 어떤 조건에서는 Full-list 표상 구조를 가지고 있고 어떤 경우에는 Decomposition 표상 구조를 밝히는 것이 필요. Korea University Cog. Neuro. Lab