社交网络中舆情数据的精准实时抓取与实证应用

舆情监控是整合互联网信息采集技术及信息智能处理技术通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦，实现用户的网络舆情监测和新闻专题追踪等信息需求，形成简报、报告、图表等分析结果，为客户全面掌握网民思想、行为动态，做出正确舆论引导，提供分析依据。图1 整体架构西安交通大学大数据分析技术与算法国家工程实验室舆情大数据分析研究小组在舆情监控领域进行了大量的研究工作，在数据方面构建了包括 Facebook、Twitter、微博、贴吧、门户网站、论坛在内的100 余处主流站点的数据，构建了包括文本、图片、视频等在内的跨模态舆情大数据。该项目团队拥有完整独立自主的知识产权，实现了技术的自主可控，并且能够提供一站式社交网络信息处理方案和技术支持，如更广的数据采集扩展、丰富的数据分析、多样的舆情报告、多端的平台应用。目前该系统已应用于教育部考试舆情监控系统、榆林舆情监控系统、丝路学院知识中心，用户涵盖国家部委、公安、宣传、军队、高校等领域，并获得了用户的一致认可和高度评价。r图2 教育部对该系统的评价

【产品性能优势】1. 该系统能够通过对不同用户的不同需求，不同舆情监控对象、范围内的信息进行定制化设计，满足用户的个性化需求。 2. 系统的开发周期短。基于成体系的系统架构，针对不同用户的系统开发周期大约在半年时间。 3. 系统具备在宽范围的网络覆盖面下进行数据信息的实时监控，能够高度灵敏的完成信息识别和抓取任务。 4. 系统按照云端结合，分布存储方式，通过并行计算，助力系统数据的多维度分析。 5. 通过基于WEB页面结构的网络爬虫技术，系统 API的数据获取技术以及黑客技术手段的数据获取技术实现系统面向网络公开域和网络受阻域两个方面数据的收集。