关键词扫描过滤系统上线发布 – NLPIR自然语言处理与信息检索共享平台

自然语言处理与信息检索共享平台 自然语言处理与信息检索共享平台

关键词扫描过滤系统上线发布

近日,在北理工大数据实验室张华平博士的带领下,通过不断技术创新研发了LJKeyScanner关键词扫描过滤系统并成功上线,对互联网敏感关键词的挖掘、整理、过滤等操作将起到重要的作用。

在网络日益发达的现在,互联网技术及应用得到了快速的发展,同时也产生了大量的有益信息与造成不稳定因素的信息,并有日益泛滥的趋势,为了网民的思想健康,也为了社会的和谐,在许多对外公共场合下,有些内容是要经过审查才能显示的。在网络审查初期,都是通过人工审核,这种审核方式虽然准确且智能,但与网络文字产生的速度相比,其效率就显示微不足道了!因此,自动化的系统处理方式的需求越来越强烈……

我实验室根据互联网的发展需求研发了LJKeyScanner关键词扫描过滤系统,它是针对互联网关键词敏感搜索的需求,融合了自然语言理解、网络搜索和文本挖掘的技术,具有专业精准、高扩展性和高通用性的特点。可支持文字、数字、特殊符号、繁体字等各种文本关键词的敏感扫描,支持各类数据库实时搜索服务,并支持多语言。

LJKeyScanner关键词扫描过滤系统特点

1、强大的数据资源

LJKeyScanner关键词扫描过滤系统有十大类型的敏感关键词词典,其中包括FLG、民运、色情、涉毒、涉赌、涉领导人、涉日、政治反动、涉恐怖主义等敏感词典,并包含数十万敏感关键词。这些词典几乎囊括了所有行业里面的敏感关键词,从而可以净化互联网文章环境。

2、先进的技术支持

LJKeyScanner关键词扫描过滤系统采取先进的NLPIR大数据搜索与挖掘系统,可以针对原始文本关键词集进行处理和加工,提供了中间件处理效果的可视化展示,也可以作为小规模数据的处理加工工具。同时,组件可以无缝地融合到客户的各类复杂应用系统之中,可以供Java,C,C#等各类开发语言使用,分词扫描平均速度单机可达20MB/s。

3、广泛的应用场景

LJKeyScanner关键词扫描过滤系统可以运用到广泛的场景,如公安、广播、电视、报刊杂志以及广泛的网络信息内容安全服务;如新闻网站、信息网站文章过滤筛选服务;如虚假新闻、诈骗信息传播的实时过滤服务。

LJKeyScanner关键词扫描过滤系统功能:

1、全文关键词识别及扫描

支持文字、数字、特殊符号、繁体字等各种文本关键词的敏感扫描,对文章全文关键词可以进行繁简体、变形文字、文章标引等要素进行识别。可以设置一组关键词,可实现实时高效的关键词扫描出来。设置一个关键词,可以自动识别扫描各类敏感词的变体,如繁体形式、中间加各类干扰噪音。例如:法轮大法 可以自动匹配 _轮*大-法 及繁体形式。

2、关键词提取

能够对单篇文章或文章集合,提取出若干个代表文章中心思想的词汇或短语,可用于精化阅读、语义查询和快速匹配等。

3、多类别标签

对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中,导入用户定义的词典。

4、自定义的导入用户词表+内置的敏感词库

支持客户自定义导入用户词典,能够提供不同行业的敏感扫描结果。同时,组件内置有十大类型的敏感关键词词典,其中包括FLG、民运、色情、涉毒、涉赌、涉领导人、涉日、政治反动、涉恐怖主义等敏感词典。能够满足不同的客户需求。

You May Also Like

nlpir

About the Author: nlpir

发表评论