基于Python的自然语言数据处理系统的设计与实现
打开文本图片集
摘要
随着云时代的来临，大数据技术将具有越来越重要的战略意义，很多组织通常都会用一种领域特定的计算语言，像Python、R和传统的MATLAB，将其用于对新的想法进行研究和原型构建，之后将其移植到某个使用其他语言编写大的系统中去，如Java、Python等语言慢慢经验的积累人们意识到，Python对于科研和产业两者都适用，这使得即thon变得流行起来，因为研究人员和技术人员使用同一种编程工具将会带来非常高的效益。本文基于Python语言通过对旅游游记的文本数据的处理分析，来预测大众游客的旅游趋势，并进行个性化推荐。这样工作有利于了解旅游网站的运行情况，分析游客的需求，以便更加有效地对网站和产品进行改进和升级。该工作涉及到数据采集、数据挖掘等关键技术。本文介绍一个基于Python的自然语言数据处理系统，系统通过对旅游游记文本数据进行探索，让人们能更加深入了解文本数据获取和处理的流程和一些实用方法技巧。
【关键词】Python 自然语言 数据处理系统设计
1 自然语言数据处理系统的设计
自然语言数据处理是目前非常重要的一个科研和产业任务，自然语言处理被划分为3个阶段，分别是数据爬取，数据预处理和数据分析。本设计基于Python语言进行具体阐述得。因为，Python既是一门编程语言，又是一款十分好用的数据处理、统计分析与挖掘的软件框架。与其他编程语言相比Python具有简单，易学习的特点，通过对Python的学习，能够快速开发统计分析程序。Python擁有丰富强大的扩展库和成熟的框架特性很好地满足了数据分析所需的基本要求。
1.1 自然语言数据处理系统框架
本系统框架基于一般产业和科研的自然语言处理方法归纳总结而成，见图I。
1.2 数据爬取
数据爬取任务通常是基于Robots协议进行，再分析网站DOM树爬取所需要的数据，在解析过程中主要使用正则表达式进行筛选和匹配，针对网站的反爬取机制采取一些措施和手段。
本系统基于Python的爬取了途牛网及马蜂窝的旅游游记数据包括元数据和文本型两种数据，共计3000余篇。其中元数据包括：文章标题，发表时间，浏览量和点赞等信息。文本型数据包括文字和游记图片数据。
1.3 数据清洗
现有数据中，文本是最...
|
== 试读已结束，如需继续阅读敬请充值会员 ==
|
|
本站文章均为原创投稿，仅供下载参考，付费用户可查看完整且有格式内容！
(费用标准：38元/2月，98元/2年，微信支付秒开通！) |
| 升级为会员即可查阅全文 。如需要查阅全文，请 免费注册 或 登录会员 |
|
