中文新闻分类语料库

热度2337票  浏览7316次 【共1条评论】【我要评论 时间:2011年5月11日 13:49

V O3|F}0X_9~0语料库下载地址: http://download.cnblogs.com/finallyliuyu/corpus.rar自然语言处理与信息检索共享平台Wn)p/C;AGzQ'd&} J

-Rm Z0首先说明一下,(1)本语料库是可用的。本语料库 最初公布在我的个人博客里,我本人以及一些网友都下载并使用过这份语料库进行文本分类聚类的实验。更多信息可以参考我的博客主页 http://www.cnblogs.com/finallyliuyu/自然语言处理与信息检索共享平台6F U\_ Sn5s+Ka S{

$Xn"l7}h!k F1qx a02)本语料库由完整的新闻内容组成,由我个人利用业余时间搜集和整理。新闻网页的解析算法主要依据于我本科毕业设计中实现的算法,又适当予以改进(算法相关的内容可参考《新闻网页正文提取》)。自然语言处理与信息检索共享平台+F'L,Z'P}o

8z&E1y wt*Q$Rx0免责声明:此语料库仅供自然语言处理的业余爱好者研究和交流,禁止用于任何商业用途(包括在资源内部链接广告等行为)。自然语言处理与信息检索共享平台zm0my-M{yg&Y

;@"D/` H%?o~8y0感谢网易新闻中心、腾讯新闻中心、凤凰新闻中心以及新浪新闻中心等新闻门户网站提供新闻素材。新闻著作权归以上网站所有,任何人未经上述公司允许不得抄袭。

Br/gx$GJ7U(OP;M)g0 自然语言处理与信息检索共享平台.W{Vt)f,Z Y;}&O \#~

说明:自然语言处理与信息检索共享平台RJCL#@b'M

自然语言处理与信息检索共享平台&l4c5ig ]y

1、此语料库非职务作品,由本人在业余时间搜集整理,免费提供给对NLP狂热的业余爱好者学习研究使用;本人是自然语言处理的业余爱好者,可能在新闻类别定义等方面都可能存在一些欠缺,欢迎大家提出宝贵意见和建议;

O&z9lSb u(OK0

oIg2rsYy$y02、下载地址提供的是MS SQL2000数据库文件(MSSQL2005也可以使用)。使用此数据库,您需要安装 MS SQL2000 server(或MSSQL2005Server),然后将CNewsCorpusliuyu解压并直接附加到数据库即可。压缩包大小为113M,共包含39247篇新闻,分为历史、军事、文化、读书、教育、IT、娱乐、社会与法制等八个类别。历史类、文化类、读书类新闻来自于凤凰网,IT类的新闻全部来自tech.qq,教育类的新闻来自edu.qq,娱乐类的新闻来自网易。社会与法制类的新闻来自于新浪和腾讯的几个版面;

W LR/gT }0 自然语言处理与信息检索共享平台G X%mi^

3、需要特别注意的是,有的新闻在开头处有大量空白,因此在查询数据库ArticleText字段中有大片空白的,不是空新闻,是整个新闻体截断显示的缘故。另外,本语料库中有少量的空新闻,大家可以自行整理一下。自然语言处理与信息检索共享平台VJczfC

ANx3U9QS*{+C04、如果您使用这份语料库进行实验,或者二次传播此份资料,请您标明作者和出处。也算是对我个人劳动成果的一点尊重,尽管这份劳动成果尚存在很多不足之处。

@I6T5z)i(yv0 自然语言处理与信息检索共享平台 o*Lw-S/] mH`

语料库作者: 刘禹 中国科学院自动化研究所综合信息中心 电子邮件y.liu@ia.ac.cn自然语言处理与信息检索共享平台&N zstO%Y

 下载地址:http://download.cnblogs.com/finallyliuyu/corpus.rar自然语言处理与信息检索共享平台FR[+g{6k{2G

&b1hFd!S4|BbU0信息来源: http://www.cnblogs.com/finallyliuyu/archive/2010/09/11/1824091.html

niay9t%r"n0
TAG: 新闻 语料库 中文
顶:177 踩:151
对本文中的事件或人物打分:
当前平均分:-0.56 (654次打分)
对本篇资讯内容的质量打分:
当前平均分:-0.21 (656次打分)
【已经有699人表态】
146票
感动
76票
路过
66票
高兴
77票
难过
83票
搞笑
79票
愤怒
99票
无聊
73票
同情
上一篇 下一篇
自然语言处理与信息检索共享平台北京市网通网友 [张华平] ip: 123.116.*.*
2011-05-13 11:04:18
感谢刘禹的分享,已经将你的会员级别提升为高级会员,可以直接发帖不用审核。
发表评论
换一张

网友评论仅供网友表达个人看法,并不表明本网同意其观点或证实其描述。

查看全部回复【已有1位网友发表了看法】