互联网时代 企业如何从网络大数据中挖掘市场新需求

2014年新春，百度迁徙图与春运的完美“联姻”使得大数据又借势火了一把，大数据再次以风靡之势席卷舆论，一股大数据热正在不断扩散。其实，提起大数据，相信大多数人并不陌生，但对于大数据的有效应用大家更多的是处在摸索和尝试阶段。特别是一些中小企业往往把大数据建设想象得过于庞大，而对大数据望而却步。这种假象这很大程度掩盖了中小企业依靠数据来挖掘市场潜力的机会。

图1 大数据在百度迁徙图上的应用

大数据拓展企业的商业机遇

根据IDC研究，2012年全球使用了超过2.8兆GB的数据，然而只有1%数据中的一般进行了有意义的分析。但这微不足道的比例，也足以让大家注意到大数据的重要性和潜力。事实证明，大数据的迅速增长及相关技术的发展正在给企业带来全新的商业机遇。

据《麻省理工学院斯隆管理评论》和IBM商业价值研究院联合举行的2011年新智能企业全球高管调查和研究项目指出，绝大多数企业都已抓住了这些机遇。2011年，58%的企业已经将分析技术用于在市场或行业内创造竞争优势，而2010年这一比例仅为37%。值得注意的是，采用分析技术的企业持续超越同行的可能性要高两倍。

面对大数据可能带来的商业机遇，中小企业为什么会望而却步呢？其实这是把大数据广义化的结果。从广义的大数据建设来讲，其涉及的技术要求、耗资成本、人力匹配等要素对一般中小企业来讲存在很大的挑战性。即使有大数据建设意愿，因为没有成熟的系统架构理念，也使得老板们无从下手。

其实，企业的数据可以分为结构化数据、半结构化数据和非结构化数据3种类型。而其中，85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。在这些数据中，仅依托社交网络而存在的数据对企业开拓新的市场需求就是一个巨大的机遇。如果企业能够从这些依托社交网络的数据（如网民对某行业的议论、某种需求诉求、某产品功能吐槽、电子网站上价格、媒体上的某新产品发布会等等）中获取新的洞察力，并将其与已知业务的各个细节相融合，挖掘用户需求点，创新产品，这就是机遇，也是竞争力。

以房产行业为例。假如房企有效采集到论坛、微博、博客、贴吧、新闻跟帖上网关于住房话题议论数据，如民对房屋设计、小区环境、家居质量、交通情况、个人住房需求偏好以及用户账号的个人注册信息等，就可以从中分类分析不同年龄段、性别、地区的客户消费偏好、消费能力，以此为依据去了解区域市场的需求，肯定会有别样的收获。

大数据在挖掘市场新需求上的应用

虽然，大数据在国内应该还处在探索和尝试阶段，但是一些行业巨头进军大数据的步伐从未停滞。从阿里巴巴到腾讯，从无印良品到海尔和小米，他们都在通过各种不同的方式或形式投身于大数据应用中。虽然这些企业分布在不同行业，但它们都有一个共同的特点，那就是在利用互联网思维和大数据有效地为客户提供更符合需求的产品。

拿房地产巨头之一的万科来说。万科在客户行为数据调查中发现，移动互联时代家里的网络WiFi必不可少，但经常会出现每个房间WiFi信号强度有别的尴尬，因此在其楼房中统一配备了WiFi增强系统；同时，因为现在很多年轻人变得很宅，习惯在沙发上坐一整天，于是设计了“土豆位”的概念，迎合3C时代年轻人的生活习惯。而在社区配套服务上，万科更尝试让业主、客户可以在社区建设之初就参与到社区配套的设计和运营上来，引入时下最新的互联网概念 “众筹”，根据业主需求未来有可能实现“众筹”健身房、超市、美容院等。

同样，这种从网络数据中挖掘新的市场需求的做法也适用于婚恋公司。比如，作为一家婚恋网站，百合网不仅需要经常做一些研究报告，分析注册用户的年龄、地域、学历、经济收入等数据，即便是每名注册用户小小的头像照片，这背后也大有挖掘的价值。百合网研究规划部李琦曾经对百合网上海量注册用户的头像信息进行分析，发现那些受欢迎头像照片不仅与照片主人的长相有关，同时照片上人物的表情、脸部比例、清晰度等因素也在很大程度上决定了照片主人受欢迎的程度。例如，对于女性会员，微笑的表情、直视前方的眼神和淡淡的妆容能增加自己受欢迎的概率，而那些脸部比例占照片1/2、穿着正式、眼神直视没有多余pose的男性则更可能成为婚恋网站上的宠儿。

网络信息数据的特点及存在形式

抛开以其他形式存在的结构化数据和半结构化数据不说，单单以基于社交及新闻媒介存在的信息数据而言，其就表现出以下三个特点。

第一，数据呈现类型繁多。拜互联网和通信技术近年来迅猛发展所赐，如今的网络数据类型早已不是单一的文本形式，还包括办公文档、文本、图片、XML、HTML、各类报表、图像、音频、视频、数字等等各种丰富的数据信息，这对对数据的抓取及处理能力提出了更高的要求。

第二，数据量巨大。大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）。一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……

第三，“碎片化”传播。自媒体时代的社交媒介。没有任何的组织目标和指导方针，它的“碎片化”信息数据传播迎合了社会信息化的进程，反应了信息数据的时效性、即时性、反馈性。散布在世界各地的微博主随时传播着产品信息和评论，见证着企业各种活动，评论产品的好坏等，以一种旁观和参与兼顾的姿态记录对自己接触的所有事物的认知、建议、诉求、情绪。

随着网络社交在线的互动性、便捷性增强，在社会化媒体进行评级、撰写点评、博文、点赞，产生大量的非结构性数据和碎片化数据，那么这些流传于网络的信息数据会是以什么样的形成存在呢？就拿上文中谈到的房地产数据来说，这些数据完全可以来源于网络房产类话题的网友议论内容，比如微博上网友在讨论住房是提到的对wifi的信号的诉求；论坛上房产频道网友住房不布置设想；贴吧上网友对住房小区配套设施的吐槽等等。这些网友的诉求、吐槽、设想信息数据分析结果，将指导产品的设计和社区配套的建设，包含户型、景观、住宅性能和邻里空间等方面。

网络大数据信息的采集和抓取

有人说，发现知识正是大数据的真正价值，仅仅存储数据而不去挖掘内在信息并没有意义。但是，作为发现知识的必要条件，如何获取这些支撑我们去挖掘内在信息的数据，是企业建设大数据的基石。

Web是一个巨大的资源宝库，目前页面数目已超过800亿，每小时还以惊人的速度增长，里面有你需要的大量有价值的信息，例如潜在客户的列表与联系信息，竞争产品的价格列表，实时金融新闻，供求信息，论文摘要等等。可是由于关键信息都是以半结构化或自由文本形式存在于大量的HTML网页中，很难直接加以利用。

面对类型繁多、数量巨大以及碎片化的网络信息数据，如何能对这些数据的有效、准确、全面采集是企业大数据战略的一个重要组成部分之一。以乐思网络信息采集系统的功能为例，系统可以根据用户自定义的任务配置，批量而精确地抽取因特网目标网页中的半结构化与非结构化数据，转化为结构化的记录，保存在本地数据库中，用于内部使用或外网发布，快速实现外部信息的获取。

通过自定义任务配置，实施目标网站信息自动抓取，实现HTML页面内各种数据的采集，如文本信息，URL，数字，日期，图片等；对每类信息自定义来源与分类；下载图片与各类文件；对于登陆网友实现用户名与密码自动登录，并可以Windows任务计划器配合，定期抽取目标网站；智能替换去除与内容无关部分如广告；实现多页面，多篇、多段文章内容自动浏览及自动抽取与合并；实现数据直接进入数据库而不是文件中，直接或模拟提交表单；实现所有主流数据库：MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase, MS Access数据匹配。

广义的大数据建设我们力不从心，但这并不能阻挡我们应用网络大数据挖掘企业新的市场需求的步伐。通过收集企业外部信息，包括与本公司相关的信息，与竞争对手相关的信息，行业信息，价格信息，与合作伙伴相关的信息，用户网上反馈的各种信息，科研技术信息，用户家庭月收入、存款及还款信息，来自于零售商业、服务业的个人消费开支结构信息，从而先于行业、竞争对手锁定客户的需求，加快销售节奏，实现销售目标。

推荐阅读

负面舆情应对中的“三要”、“三不要”
突发事件中政府该如何应对舆情危机？
网络舆情监测系统在打击网络色情上的应用
如何实现网络舆情信息的快速准确抓取
上市公司如何运用有效的舆情危机管理转危为“机”