当前位置: 主页 > 社会实践 >

文本挖掘

来源:云南财经大学商学院 作者:董朵朵

文本挖掘,是指抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识,并且利用这些知识更好地组织信息的过程。具体说来,文本挖掘以文本型信息源为分析对象,利用智能算法,如神经网络、基于案例的推理等,并结合文字处理技术,分析大量的非结构化文本源(如文档、网页、企业管理日志等),从中寻找信息的结构、模型、模式等各种隐含的知识。

在现实世界中,知识不仅以传统数据库中的结构化数据的形式出现,还以诸如书籍、研究论文、新闻文章、WEB页面及电子邮件等各种各样的形式出现。面对以这些形式出现的、浩如烟海的信息源,人类的阅读能力、时间精力等等往往不够,需要借助计算机的智能处理技术来帮助人类及时、方便的获取这些数据源中隐藏的有用信息。因此,文本挖掘技术就在这种背景下产生和发展起来的。

文本挖掘的根本价值在于能把从文本中抽取出的特征词进行量化来表示文本信息。将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息,即对文本进行科学的抽象,建立它的数学模型,用以描述和代替文本。使计算机能够通过对这种模型的计算和操作来实现对文本的识别。

文本挖掘的作用在于提高了海量非结构化信息源的利用价值,使得人们能够更加方便地从海量文本中发现隐含的知识。因此,文本挖掘广泛应用于以下领域:①网上有害信息监测、过滤和跟踪

②科技文献分析

③网上论坛/社交媒体的实时监控

④电子邮件分类与过滤

文本挖掘的一般步骤:

一、获取文本

一般来说网络文本的获取,主要是网页的形式。我们要把网络中的文本获取形成一个文本数据库(数据集)。利用爬虫技术抓取到网络中的信息。爬虫可以有主题爬虫和通用爬虫之分,主题爬取主要是在相关站点爬取或者爬取相关主题的文本,而通用爬虫则一般对此不加限制。

二、对文本进行预处理

由于网页中存在很多不必要的信息,比如说一些广告,导航栏,html、js代码,注释等等,接下来还需要对文本中的信息进行筛选,也就是对文本进行预处理。

三、分词系统

经过上面的步骤,能得到比较干净、可用的文本信息。我们知道,文本中起到关键作用的是一些关键词,这些关键词决定着文本的取向。这里就会用到一个分词系统或者说分词工具。现在常见分词的算法有最大匹配法、最优匹配法、机械匹配法、逆向匹配法、双向匹配法等。目前国内普遍用到的是中科院的分词工具ICTCLAS,该算法经过众多科学家的认定是当今中文分词中最好的,并且支持用户自定义词典,加入词典。对新词、人名、地名等的发现也具有良好的效果。

四、特征选择

经过上面的步骤,基本能够得到有意义的一些词。但是这些所有的词都有意义吗?显然不是这样的,有些词会在这个文本集中大量出现,有些只是出现少数几次而已。他们往往也不能决定文章的内容。还有一个原因就是,如果对所有词语都保留,维度会特别高,矩阵将会变得特别特别稀疏,严重影响到挖掘结果。那么对这些相对有意义的词语选取哪一本分比较合理呢?针对特征选择也有很多种不同的方式,但是改进后的TF*IDF往往起到的效果是最好的。tf-idf模型的主要思想是:如果词w在一篇文档d中出现的频率高,并且在其他文档中很少出现,则认为词w具有很好的区分能力,适合用来把文章d和其他文章区分开来。

五、利用算法进行挖掘

经过上面的步骤之后就可以把文本集转化成一个矩阵。然后再利用各种算法进行挖掘,比如说如果要对文本集进行分类,我们可以利用KNN算法、贝叶斯算法、决策树算法等等。文本挖掘的结果可以通过各种可视化的技术展现出有意义的图表,比如:人物关系图、力导向布局图、和弦图等,这些带有业务意义的、表现力丰富的图表能帮助人们对文本挖掘结构的理解。

http://www.dxsbao.com/shijian/643282.html 点此复制本页地址

相关内容

蓝色引航调研团顺利完成2024年寒假阶段性调研任务

2月19日,蓝色引航团队调研组成员依据初期选题展开了调研。团队成员丁和在山东青岛市与青岛鲁海丰海洋牧场运营负责人进行访谈,团队成员邵佳坤在山东青岛与区海洋发展局工作人员进行访谈…… 蓝色引航调研团 山东大学(威海)查看全文 >>

蓝色引航调研团赴山东多个水产企业开展蓝色金融调研

为了深入了解水产企业对于蓝色金融的实行情况,探究蓝色金融未来的发展态势,2024年2月,山东大学(威海)蓝色引航调研团两位成员前往山东省烟台、荣成等沿海城市的水产企业调研蓝色金融的…… 蓝色引航调研团 山东大学(威海)查看全文 >>

蓝色引航调研团赴锦州市农业农村局开展调研活动

为深入了解碳汇渔业在全国各地的发展应用和前景,探究锦州市渔业养殖的现状,助力团队对碳汇养殖模式的研究,1月29日,蓝色引航调研团成员许帆赴辽宁省锦州市农业农村局对渔业渔民渔船管…… 许帆 蓝色引航调研 山东大学(威海)查看全文 >>

蓝色引航调研团赴黄骅市农业农村发展局开展调研活动

为了进一步加深对河北省沧州市现有养殖模式的理解,巩固团队碳汇养殖模式研究的实践基础,1月20日,蓝色引航调研团成员董佳文赴沧州渤海新区黄骅市农业农村发展局对副局长李庆津进行采访…… 蓝色引航调研团 山东大学(威海)查看全文 >>

蓝色引航调研团完成在中海工业有限公司的访谈调研

为探究舟山市渔业养殖现状和碳汇渔业的状况,1月19日下午,蓝色引航调研团成员王羽卓前往中国远洋海运集团旗下公司中海工业有限公司荻港船厂采访了总经理王永清先生。并且通过与王经理交…… 王羽卓 蓝色引航调研团 山东大学(威海)查看全文 >>

蓝色引航调研团完成在东营市的访谈调研

为深入了解各地市海洋渔业碳汇实施情况,宏观把握各地政策,了解碳汇市场的相关信息。1月18日,蓝色引航调研团成员对山东省东营市生态环境局东营港经济开发区分局局长康兆河进行了访谈调…… 郭睿扬 蓝色引航调研团 山东大学(威海)查看全文 >>

蓝色引航调研团连线海洋碳汇研究中心进行访谈

发展碳汇渔业是渔业绿色发展和拓展渔业碳汇的重要方式,对服务双碳目标具有巨大意义。1月14日下午,蓝色引航调研团成员吴官泰,对山东省海洋碳汇研究中心秦华伟主任和张明亮博士进行了线…… 吴晟男 蓝色引航调研团 山东大学(威海)查看全文 >>

蓝色引航调研团完成在海南省海洋与渔业科学院的调研

为了解海南省对碳汇渔业的实施程度及政策支持,探究当地碳汇渔业市场发展情况,蓝色引航调研团成员于1月11日在海南省海洋与渔业科学院海水渔业研究所对梁计林展开访谈调研。“十一五”以…… 郭睿扬 蓝色引航调研团 山东大学(威海)查看全文 >>

推荐内容

新乡工程学院外国语学院开展“全球视野,文化使命”春季开学思政第一课

为加强新工学子对两会精神及自身文化底蕴的深入思考,3月13日晚,外国语学院于树人楼103教室开展以“全球视野,文化使命”为主…

公管院正新传媒企划部3月部门例会顺利召开

(通讯员房科序祖若汐胡桂焱)为了调动部门成员的工作积极性,以及提高工作的质量和效率,湖南师范大学公共管理学院青年传媒…

湖南农业大学经济学院开展“弘扬雷锋精神”主题微宣讲活动

为深刻把握雷锋精神的时代价值,激励青年学子传承榜样力量,湖南农业大学经济学院于3月9日晚在十教北203组织开展以“弘扬雷锋…

爱心进社区志愿服务活动圆满结束

本网消息为了丰富居民的精神文化生活,提升社区文化氛围,2025年3月7日14:00-18:00,由湖北理工学院师范学院实践部联合澄月社区组…

蓝天为证,壮志同行:实践队探寻总理民航情,续写传承新篇

在新中国的发展长河中,周恩来总理的功绩如熠熠星辰,永不磨灭。为深入学习周恩来总理心怀天下、情系苍生的伟大精神,“周恩…

最新发布

沐浴在伟大光辉里——三下乡实践活动
为贯彻习近平新时代中国特色社会主义思想,发扬红色精神,东北大学秦皇岛分校的张家口党史学习教育实践团于7月18日前往董存瑞纪念馆和新保安战役纪念馆学习相关历史,于7月21日前往张家口市怀来县融爱养老院拜…
“翰墨飘香,文韵悠扬”书法活动
书法是中华文化的瑰宝,不仅承载着汉字独特的造型符号和笔墨韵律,更融入了中国人们特有的思维方式、人格精神与性情志趣。开展书法教育,对于培养学生的书写能力、审美能力、文化品质具有重要作用。西南石油…
中国妇女发展基金会
一、基金会简介(一)基本信息中国妇女发展基金会,简称“中国妇基会”英文名称:ChinaWomen‘sDevelopmentFoundation,缩写:CWDF。1988年12月由全国妇联发起成立。中国妇基会是全国性公募基金会,其面向公众募捐的地域是…
志愿精神,生生不息
今年暑假我参加了假期社区服务活动,虽然这段时间的活动让我觉得很累很辛苦,但我从中锻炼了自己,并且学到许多社区服务和人际交往的技能。俗话说:“赠人玫瑰,手有余香”。这不仅可以丰富自己的大学生活也…
菁菁者莪点星辉 奖助政策助学梦
如《诗经·小雅》中所言“菁菁者莪,乐育材也”,学校永远把育英才放在第一位。为深入贯彻落实国家和学校对困难学生家庭的资助政策,在实践中受教育、长才干、做贡献,争做习近平新时代中国特色社会主义思想…
湖北学子三下乡:空巢老人心理健康
与“志远”同行,播撒爱心阳光,为了加强对农村空巢老人的关爱保护工作和维护老年人合法权益,湖北第二师范学院经济与管理学院“志远”调研服务队于7月27日在黄冈市英山县温泉镇百丈河村开展一系列调研活动,…
乡村文化的魅力:三下乡感悟之旅
三天时间如白驹过隙般划过。暑期三下乡社会实践活动已经结束了,但社会实践给我带来的巨大影响却远没有结束。说起我们这些大学生,空有书本知识。我们到基层锻炼的机会是非常少的,但是基层的确可以锻炼人,…
合肥学院教育学院三下乡个人感悟:青春三下乡,实践在路上
和煦的朝阳,温柔的晚风,小路上是学子们奋斗的背影;欢乐的课堂,温暖的笑容,教室里是学子们奉献的背影。2023年7月3日,我有幸作为一名志愿者参与了由合肥学院教育学院“七彩童年,‘育’你相伴”社会实践团…
合工大外国语学院学子赴河南新县探寻大别山精神
为响应二十大精神号召,弘扬中国共产党人精神,2023年7月17日至7月21日,合肥工业大学外国语学院组建的“赴大别山革命根据地传承红色精神暑期社会实践团队”前往河南新县开展社会实践活动,感悟历史文化,追寻…
广东生态工程职业学院“穿山越岭,甲行天下”之“乡”遇龙川
“乡”遇龙川(作者:施俊涛)响应国家号召,深入学习贯彻习近平新时代中国特色社会主义思想、党的二十大精神,充分落实“百千万工程”。2023年广东生态工程职业学院大学生暑期“三下乡”社会实践活动正式启…