《中文未知词侦测浅释-首页2015COSCUP.ppt》由会员分享，可在线阅读，更多相关《中文未知词侦测浅释-首页2015COSCUP.ppt（42页珍藏版）》请在三一文库上搜索。
1、,Presented in COSCup 2006, 3rd FSCI Workshop,國立交通大學資訊工程學系 分散式系統實驗室 Distributed Computing Systems Lab,中文未知詞偵測淺釋,2006.10.28.,葉秉哲,http:/william.cswiz.org,2.,3.,詞,獨立語意或語法功能的單位,4.,中文分詞技術的兩大問題,歧義 台灣大學生 台灣大學生 台灣大學生 台灣大學生 未知詞 王英雄是一個典型的台灣大學生 王英雄是一個典型的台灣大學生,5.,Agenda,詞典比對法的缺點 未知詞 未知詞偵測：戰略 & 戰術 後續議題 Backup sli
2、des 由詞談起,6.,參考資料,中研院 CKIP 中文斷詞系統 http:/ckipsvr.iis.sinica.edu.tw/ 謝國平: 語言學概論, 三民書局, 1998. 交大外文劉美君老師的句法學/構詞學課堂講義。 Second International Chinese Word Segmentation Bakeoff 網頁資料 http:/sighan.cs.uchicago.edu/bakeoff2005/,詞典比對法, from the study of language, that will bring to light inherent properties of hu
3、man mind. - Chomsky,8.,Word Segmentation (分詞、斷詞),C1C2C3Cn 理論上共有 2n-1 種分詞可能,9.,基本方法：辭典比對法,實例 電子計算機 vs. 電子計算機 國家政治 vs. 國家政治 研究生命起源 vs. 研究生命起源 颱風眼看著就要來了 vs. 颱風眼看著就要來了 輔助經驗法則 長詞優先 平均詞長 機率模型 e.g., HMM (hidden Markov model),10.,辭典比對法：理論性缺點,實詞的開放性 (content/lexical word) 名詞、動詞、形容詞、副詞 實詞的靈活構詞律 詞綴：老虎、胖子、罐頭、小明
4、 衍生：綠化、溼度、醫師、可看性、業務部 並列：春夏秋冬、輕重緩急、男女、花草、輕重 偏正：微笑、小便、書桌、球桌、飯桌、牌桌、談判桌 疊字：坐坐、說說、慢吞吞 略語：北約、國科會、中研院、交大 借代、轉品、鑲嵌、析字,11.,辭典比對法：技術性缺點,電腦語言 多半是 context-free grammar 可 bottom-up、pipeline 運作 自然語言 Context-sensitive grammar and above 諸層次交互影響 構詞 (morphology) 句法 (syntax) 語意 (semantics) 話語 (discourse),12.,中文分詞技術的兩大
5、問題,歧義 台灣大學生 台灣大學生 台灣大學生 台灣大學生 未知詞 王英雄是一個典型的台灣大學生 王英雄是一個典型的台灣大學生,未知詞,A man is known by the company he keeps. A word is known by the company it keeps.,14.,最常見的未知詞：構詞律觀點,縮寫 中油、台汽 專有名詞 陳壽、香檳城、微軟 衍生詞 電腦化、可看性 複合詞 轉赴、獲准、書桌 數值 三千、一九八四年、十五巷,白明弘 et al, 1998,15.,最常見的未知詞：詞類觀點,Chen & Bai, 1998,16.,未知詞造成的問題,導致分詞錯
6、誤 通常會將完整的詞誤斷成更短的單字詞或多字詞 誤斷成單字詞者佔 98.70% Chen & Bai, 1998 造成搶詞,筑波大學延請七三年諾貝爾物理學獎得主江崎出任校長,17.,未知詞的困難點,Without (or even with) syntatic or semantic checking, it is difficult to tell whether a character in a particular context is a part of an unknown word or whether it stands alone as a word.,筑波大學延請七三年諾貝爾
7、物理學獎得主江崎出任校長,戰略,以迂為直 以地方包圍中央,19.,大構想, 正常份子,20.,Two approaches,Identification Exact boundary,Detection Any suspected pattern,21.,Identification vs. Detection,Identification: exact boundary of unknown words 要根據各種不同的 content 或 context 相依規則 難! Detection: occurrence of unknown words If any one of its com
8、ponents is detected as an “improper character” Chen & Bai, 1998 專門探討 “detection”,戰術,A man is known by the company he keeps. A word is known by the company it keeps.,23.,靈感其一,未知詞導致分詞錯誤 通常會將完整的詞誤斷成更短的單字詞(約佔 98.70%) 或多字詞 可疑份子最常出沒之處！,24.,第一步：初步分詞,目的：可疑份子現形！ 結果：單字詞 & 多字詞,25.,(順便) 初步 POS tagging,目的 以 cont
9、ext 角度偵測單字詞正常與否 POS 的資訊較豐富 此階段的 tagging 未必需要 100% 正確,筑(BOUND)波(Nf)大學(Nb)延請(VC)七三年(DM)諾貝爾(Nb)物理學(Na)獎(Na)得主(Na)江(Na)崎(BOUND)出任(VG)校長(Na),26.,靈感其二,格言 A man is known by the company he keeps. A word is known by the company it keeps. 切入點 Positive or negative examples?,27.,乖乖牌特質,1. 不可是附著詞素 2. Context 必須合乎
10、語法,28.,1. 不可是附著詞素,附著詞素 (bound morpheme) 不可自由獨立使用的詞素 in-, un-, dis-, pro-, -s, -en, -er, -est -們, -了, -過, -著, -兒, -頭, -子 自由詞素 (free morpheme) 可自由獨立使用的詞素 boy, book, ripen 我、你、人 但中文是很靈活的,29.,2. Context 必須合乎語法,30.,第二步：訓練規則,Machine learning 步驟 X 已正確分詞過的語料庫 X 把 X 還原成未分詞過的原始語料 Y 用自己的程式及規則將 X 分詞過,B,比對 X 和 Y
11、 的差異 調整規則， 設法 CB,precision: B / (C+B) recall: B / (A+B),31.,第零步：規則 Bootstrapping,X 已正確分詞過的語料庫 據以產生初始規則之正例 D 選定的詞典 W X 中的詞，但未收錄於詞典 D 中 Y 用 D 將 W 分詞，產生 improper chars 根據 Y 產生初始規則之反例,32.,規則選取,33.,實驗結果,後續議題,35.,CKIP 中文斷詞系統,初步斷詞 未知詞偵測 中國人名擷取 歐美譯名擷取 複合詞擷取 bottom-up merging algorithm 重新斷詞 http:/ckipsvr.iis
12、.sinica.edu.tw/,36.,我們學到了什麼？,自然語言處理技術 中文的特殊性 轉化問題的技巧,Any Questions?,Backup Slides,詞, from the study of language, that will bring to light inherent properties of human mind. - Chomsky,40.,什麼是詞(word) ?,MrClintonwantedtoplayguitar. Mr. Clinton wanted to play guitar. 柯林頓先生想彈吉他。 柯林頓先生想彈吉他。 語言基本單位 字 詞 (word)：獨立語意或語法功能的單位 詞素 (morpheme)：具語意或語法功能的最小單位,41.,中文特性,詞與詞的界線不明 書寫層次 認知層次 白話文大多是雙字詞 語料庫 辭典,柯林頓先生想彈吉他,42.,詞界不明，造成歧義現象,下雨天留客天天留我不留 留我不留 留我不留 數大便是美 數大便是美 數大便是美 教育性知識 教育性知識 教育性知識,這場球我看完了 大富大貴沒有大災難要小心 不可移動,