大规模现代汉语标注语料库的加工规范

热度1891票  浏览1038次 【共0条评论】【我要评论 时间:2011年6月28日 14:50

大规模现代汉语标注语料库的加工规范[1]

!OV6v;z ~8i9q9\0

 

!q5v~4r,n#s7C w0

俞士汶 朱学锋 段慧明

2k.JIE'U\1Qa0

 

V$r F\ H6Y}0

摘要:北京大学计算语言学研究所在开发了《现代汉语语法信息词典》等语言资源的基础上,又在实施另一项大型语言工程,即对大规模的现代汉语原始语料进行多级加工,目前的加工项目包括词语切分、词性标注(包括动词和形容词的特殊用法),并标出专有名词以及短语型的地名、机构名称等等。

$_JB%r,t0

   规划中的语料库规模约为2700万字。现在已经完成了1400万字的任务,而且质量很高。

#U8{3fp}b0

   要建成高质量的标注语料库,必须制订出完备的加工规范。本文介绍制订加工规范的原则和执行加工规范的经验。

yR%xZ(yW(w0

关键词现代汉语标注语料库 词语切分 词性标注 现代汉语语法信息词典 加工规范自然语言处理与信息检索共享平台 z1r7U+AS,g)VN2D

 

Vu1EA&ne WY0

The Guideline for Segmentation and Part-Of-Speech Tagging

\W~b7K hY~5\0

on Very Large Scale Corpus of Contemporary Chinese

8oEd+C.C'x Z4M0

 自然语言处理与信息检索共享平台+g B{d9UBS1Cp i;t

Yu Shiwen  Zhu Xuefeng  Duan Huiming

w/gQ0hf!J6kgG+vX0

 自然语言处理与信息检索共享平台3v1^ g/mc j|nG

Abstract:The Institute of Computational Linguistics of Peking University is developing a very large-scale contemporary Chinese corpus segmented and with many tags based on the owned resources, e.g. the Grammatical Knowledge-base of Contemporary Chinese. There are about 40 tags in the tag set. It contains common Part-Of-Speech tags, special usage tags of verbs and adjectives, proper noun, place name of phrase type, organization name of phrase type and so on.

y'KF^2|w0

The scale of the corpus is about 27 millions Chinese characters. The Institute of Computational Linguistics of PKU has completed the task of 14 millions characters and the processing quality is very high.

%LS _9R5X\ad3KU+n9p0

It is necessary to work out a complete guideline of corpus processing to obtain high quality tagged corpus. This paper introduces the principles of making out the guideline and the experiences of carrying out the guideline.    

;QA1yFy$I)Yy0

Keywords:Contemporary Chinese Tagged Corpus, Segmentation, Part-Of-Speech Tagging,

3v'N u-o%cL%`0

      The Grammatical Knowledge-base of Contemporary Chinese, processing guidline

[4OYV |!TV!eR0

h,PO^+fd$o0 大规模现代汉语标注语料库的加工规范.doc(50.5 KB)自然语言处理与信息检索共享平台^7AW/d%\ kuL)l(q

TAG: 词语切分 词性标注 加工规范
顶:121 踩:132
对本文中的事件或人物打分:
当前平均分:-0.38 (569次打分)
对本篇资讯内容的质量打分:
当前平均分:-0.27 (514次打分)
【已经有555人表态】
97票
感动
71票
路过
63票
高兴
57票
难过
58票
搞笑
66票
愤怒
69票
无聊
74票
同情
上一篇 下一篇
发表评论
换一张

网友评论仅供网友表达个人看法,并不表明本网同意其观点或证实其描述。

查看全部回复【已有0位网友发表了看法】