NLPIR智能语义平台实现大数据文本语义深度挖掘 原创

　　今社会是一个信息化社会的时代，同时又是一个大数据时代。随着互联网、物联网、云计算和人工智能等信息技术和计算机产业的不断发展和进步，使得数据的处理成为一个亟待解决的问题。因此在大数据的背景下,如何高效地从大量包含有用数据的库获得有用信息已成为企业和科研工作重点关注的点，而这一工作涉及的关键技术就是数据挖掘技术。总得说，数据处理的需要既给数据挖掘技术带来了机遇，于此同时带来了一系列的挑战。

　　数据挖掘简单的说就是一个从大量、不完全、有干扰和随机的数据库中去获取隐藏在它们当中的、我们事先不知道的、但是包含大量潜在的有用信息和知识的过程。它是能够实现智能化和自动地把数据转变成有用信息和知识的一种技术和辅助工具,又是我们对数据库技术进行研究和改善的结果。数据挖掘，它又是一门非常广义的交叉学科, 它汇聚了各个不同领域的研究人员, 特别是数据库、人工智能、数理统计、可视化、并行计算等相关方面的专家和技术人员。

　　数据挖掘的应用领域十分广泛，大概的可以这样说只要有数据存在的地方，就会存在数据挖掘的使用价值。当前国内数据挖掘的研究领域主要分布在:数据挖掘方法的研究、数据挖掘应用的研究、Web挖掘研究这三大块。

　　  国内数据挖掘的研究与国外研究状况相比较，我国对于数据挖掘知识的发现整体研究态势比较晚，而且没有形成统一的、比较完整的研发力量。20世纪前，也只有国家的自然科学基金第一次提供项目资金支持中科院对于数据挖掘的研究。当前，从事数据挖掘的研究和应用开发的人员主要是高校的教授，也有一部分研究力量是公司员工或者国家研究院所的研究人员;比方说，阿里巴巴集团的数据挖掘研发团队以及百度、腾讯等大型互联网集团的从事数据挖掘研究的职工。并且，在大多数情况下，数据挖掘研究的领域主要集中在挖掘算法的研究、数据挖掘相关理论的研究以及数据挖掘的实际应用等方面。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。

　　在现今社会，数据挖掘技术已经可以被应用与所有的领域和行业中。在人们生活里的各个方面几乎都可以用到数据挖掘技术数据挖掘技术不但给我们的日常生活带来了巨大的改变和影响，并且这种影响还深深的改变着我们的生活方式。在各个领域的应用也会越来越广泛和深入，相关的研究也会越来越全面和深入，综合应用数据挖掘技术和人工智能技术，为各个行业提供更多帮助。