21 世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。社交媒体时代,通过互联网平台表达社情民意,体现用户的意愿,评论和态度。从古代的“防民之口甚于防川”,到如今的网络时代,“人人都有了自己的麦克风”。
舆情,就是一个风向标。舆情分析,就是针对民众态度的收集和整理,发现相关的意见倾向,客观反映舆情状态。
海量的数据隐含着巨大的信息。例如亚马逊上的用户对某商品的评论,商家可以根据用户的评论和反馈为用户提供定制性的服务,甚至可以预测用户的需求,从而达到更加准确的销售目的;例如新浪微博上粉丝过万的大型零售商等,也可以根据用户发表的微博,微话题,签到地点为用户定制性的推送优惠及新品信息。这些看似庞大无规则的数据,包含着大量的用户标签及潜在的用户肖像。
存储与分析中文文本数据也是技术上的关键,如何能够存储并分析海量数据,生成精确的用户标签,依赖于数据存储系统和文本分析系统的技术。本文的数据存储运用 DB2 BLU Acceleration,利用 DB2 BLU 速度快、与 Cognos 无缝结合的特性来存储和分析数据。中文文本分析基于 Hadoop 的文本分析平台,快速进行中文分词和建立标签词典。
随着中国互联网的快速发展,舆情监测工作已经成为政府、企业工作内容的一部分。政府和企业实施舆情监测,首要的意义就是提前发现舆情危机,及时处理危机公关。
对于有些网络舆论,有些舆情会对政府的形象产生影响,进行舆情监测,可以及时的了解事件的动态,对这些错误、失实的舆论进行正确的引导。政府实施舆情监测还可以掌握社会民意,通过了解社会各个阶层民众的情绪、态度、看法以及意见和行为倾向,然后对事件做出正确的决定。
对企业来说,有效地监测,第一时间了解,及时地处理企业在网络上的相关负面信息就显得尤为重要,特别是利用企业舆情监测,第一时间最快速预警负面舆情,及时发现和处理企业的负面信息,保持企业的健康良好形象。舆情监测系统对全网信息进行抓取和搜集,将信息分为正面、中性、负面。通过对数据分析和整理可以了解企业产品动态、用户需求 ,然后企业做出正确的解决办法。