NLPIR 500万条twitter内容语料库

热度2259票  浏览9427次 【共2条评论】【我要评论 时间:2013年4月25日 09:57
NLPIR twitter内容语料库说明
1.NLPIR twitter内容语料库由北京理工大学网络搜索挖掘与安全实验室张华平博士,通过公开采集抽取从twitter中获得。为了推进微博计算的研究,现通过自然语言处理与信息检索共享平台(www.nlpir.org)予以公开共享其中的500万条数据(目前已有数据接近1亿,已经剔除了大量的冗余与机器信息)
2.本语料库在公开过程中,已经最大限度地采用技术手段屏蔽了用户真实姓名和url,如果涉及到的用户需要全面保护个人隐私的,可以Email给张华平博士kevinzhang@bit.edu.cn予以删除,对给您造成的困扰表示抱歉,并希望谅解;
3.只适用于科研教学用途,不得作为商用;引用本语料库,恭请在软件或者论文等成果特定位置表明出处为:NLPIR twitter内容语料库,出处为自然语言处理与信息检索共享平台(http://www.nlpir.org/)。
4.字段格式说明:
语料为mongodb导出的json格式,大约500万条Twitter数据(其中过滤了部分敏感的Twitter状态,占7%左右),每行为一个json对象,对象中一共有三个字段,分别是
自然语言处理与信息检索共享平台|#d'BIKkKO/F
user_id      用户的id,我们对语料包中Twitter的用户名进行隐藏操作,取而代之的则是一个标记用户的int值id
text         这条Twitter状态的内容
created_at   此条Twitter状态所发布的时间,为距离格林尼治时间1970年1月1日0时开始所经过的秒数
自然语言处理与信息检索共享平台 x Dq1j&yVl
可以运行以下命令,直接使用mongodb自带的导入程序导入到mongodb
mongoimport -d <数据库名> -c tweets tweets.utf8
自然语言处理与信息检索共享平台8\!b9?3[(^ ~q~)}3o
下载地址:http://yunpan.cn/cfSCPQDGvpR8r   (提取码,请关注微博 NLPIR官方微博 http://weibo.com/bigdatasearch,私信获取。)

"m5X(kG8U\0
展示:

v)P'QS%E LIR.Qm0
顶:180 踩:164
对本文中的事件或人物打分:
当前平均分:-0.44 (661次打分)
对本篇资讯内容的质量打分:
当前平均分:-0.51 (635次打分)
【已经有619人表态】
137票
感动
65票
路过
53票
高兴
65票
难过
60票
搞笑
74票
愤怒
85票
无聊
80票
同情
上一篇 下一篇
自然语言处理与信息检索共享平台IANA网友 [Coheaseiox] ip: 36.63.*.*
2016-06-23 08:14:29
3 Essenti <a href="http://www.oldtvshowondvd.com/Vera-Seasons-1-5-DVD-Boxset-FREE-SHIPPING-14016.php">vera</a> ally Prohibition in the early 20th century drama sometimes there <a href="http://www.oldtvshowondvd.com/Hawaii-Five-0-Season-6-DVD-Boxset-FREE-SHIPPING-13993.php">Hawaii Five-0 Season 6 dvd boxset sale</a>  are several Chinese translation mode it will get renewal for the next season Eg PB is cut after season 4 marked the opening of the new broadcasting gambli <a href="http://www.oldtvshowondvd.com/Masters-of-Sex-Season-3-DVD-Boxset-FREE-SHIPPING-13897.php">Masters of Sex Season 3 dvd Australia</a> ng and some contain not meet the" Internet audio-visual program service
自然语言处理与信息检索共享平台IANA网友 [Coheaseiox] ip: 36.63.*.*
2016-07-05 00:32:28
13. Later  <a href="http://www.oldtvshowondvd.com/The-Night-Shift-Seasons-1-2-DVD-Boxset-FREE-SHIPPING-13332.php">The Night Shift dvd set 1-2</a> Yu <a href="http://www.oldtvshowondvd.com/The-Fugitive-The-Complete-Series-DVD-Boxset-FREE-SHIPPING-14013.php">The Fugitive The Complete Collection Boxsetdvd set</a> e Ting VOA more feel slow, of course,The Night Shift dvd set 1-2,8 pm "Loser" (The Biggest Loser) (NBC) only low ratings on China to assert American TV audience unattractive,Fro <a href="http://www.oldtvshowondvd.com/Suits-Season-5-DVD-Boxset-FREE-SHIPPING-13753.php">suits</a> m the successful experience of watching American TV domestic drama Problems and Solutions  [Abstract] This pa
发表评论
换一张

网友评论仅供网友表达个人看法,并不表明本网同意其观点或证实其描述。

查看全部回复【已有2位网友发表了看法】