大数据时代：大数据是什么？

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。通过大量的统计了解大家的喜好，想要的东西，从而得到他们想要的，比如精准营销，征信分析，消费分析等等

大数据是什么？是一种运营模式，是一种能力，还是一种技术，或是一种数据集合的统称？今天我们所说的“大数据”和过去传统意义上的“数据”的区别又在哪里？大数据的来源又有哪些？等等。当然，我不是专家学者，我无法给出一个权威的，让所有人信服的定义，以下所谈只是我根据自己的理解进行小结归纳，只求表达出我个人的理解，并不求全面权威。先从“大数据”与“数据”的区别说起吧，过去我们说的“数据”很大程度上是指“数字”，如我们所说的客户量，业务量，营业收入额，利润额等等，都是一个个数字或者是可以进行编码的简单文本，这些数据分析起来相对简单，过去传统的数据解决方案（如数据库或商业智能技术）就能轻松应对；而今天我们所说的“大数据”则不单纯指“数字”，可能还包括“文本，图片，音频，视频……”等多种格式，其涵括的内容十分丰富，如我们的博客，微博，轻博客，我们的音频视频分享，我们的通话录音，我们位置信息，我们的点评信息，我们的交易信息，互动信息等等，包罗万象。用正规的语句来概括就是，“数据”是结构化的，而“大数据”则包括了“结构化数据”“半结构化数据”和“非结构化数据”。关于“结构化”“半结构化”“非结构化”可能从字面上比较难理解，在此我试着用我的语言看能否形象点地表达出来：由于数据是结构化的，数据分析可以遵循一定现有规律的，如通过简单的线性相关，数据分析可以大致预测下个月的营业收入额；而大数据是半结构化和非结构化的，其在分析过程中遵循的规律则是未知的，它通过综合方方面面的信息进行模拟，它以分析形式评估证据，假设应答结果，并计算每种可能性的可信度，通过大数据分析我们可以准确找到下一个市场热点。 基于此，或许我们可以给“大数据”这样一个定义，“大数据”指的是收集和分析大量信息的能力，而这些信息涉及到人类生活的方方面面，目的在于从复杂的数据里找到过去不容易昭示的规律。相比“数据”，“大数据”有两个明显的特征：第一，上文已经提到，数据的属性是包括结构化、非结构化和半结构化数据；第二，数据之间频繁产生交互，大规模进行数据分析，并实时与业务结合进行数据挖掘。解决了大数据是什么，接下来还有一个问题，大数据的来源有哪些？或者这个问题这样来表达会更清晰“大数据的数据来源有哪些？”对于企业而言，大数据的数据来源主要有两部分，一部分来自于企业内部自身的信息系统中产生的运营数据，这些数据大多是标准化、结构化的。（若继续细化，企业内部信息系统又可分两类，一类是“基干类系统”，用来提高人事、财会处理、接发订单等日常业务的效率；另一类是“信息类系统”，用于支持经营战略、开展市场分析、开拓客户等。）传统的商业智能系统中所用到的数据基本上数据该部分。而另外一部分则来自于外部，包括广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成，其产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。具体包括了：如，呼叫详细记录、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。由于来源不同，类型不同的数据透视的是同一个事物的不同的方面，以消费客户为例，消费记录信息能透视客户的消费能力，消费频率，消费兴趣点等，渠道信息能透视客户的渠道偏好，消费支付信息能透视客户的支付渠道情况，还有很多，如，客户会否在社交网站上分享消费情况，消费前后有否在搜索引擎上搜索过相关的关键词等等，这些信息（或说数据）从不同的方面表达了客户的消费过程的方方面面。因此，一般来说，企业用以分析的数据来源越广越全面，其分析的结果就越立体，越接近于真实。因此，大数据分析意味着企业能够从不同来源的数据中获取新的洞察力，并将其与企业业务体系的各个细节相融合，以助力企业在创新或者市场拓展上有所突破。针对“数据量”这个话题，亚马逊CTO Vogels曾经说过，“在运用大数据时，你会发现数据越大，结果越好。为什么有的企业在商业上不断犯错？那是因为他们没有足够的数据对运营和决策提供支持。一旦进入大数据的世界，企业的手中将握有无限可能。”可以预料，在不远的未来，企业如何通过抓住用户获取源源不断的数据资产将会是一个新的兵家必争之地。在这个层面上，Facebook、Twitter、Google、Amazon，包括电信运营商等领先企业具有无可比拟的优势。在大数据的领域里是否数据量越大越好？很多时候我们写文章，并不是想要去重复某一个众所周知的事实，而更多的是想从另外一个角度试图去质疑那些已成事实的事实，并不是想要去推翻，而只是去看这个事实是否存在另外的可能性，虽然很多时候我的那些质疑会漏洞百出，并显得幼稚可笑，但我觉得一个事物的健康发展需要不同的声音，而这正是我们写文章的意义所在。所以，我现在问题是，在大数据的领域里是否数据量越大越好？对于这个问题，我觉得应该分两个层面来看，第一个层面是，对大数据这个整体而言，数据肯定是越大越好的，多元的数据能让不同行业，不同组织都可以从大数据中寻找到解决问题的方法，也是基于此，现在越来越多的企业组织通过不同的终端、应用或者其他手段去疯狂地收集多元的数据，大数据让人们能有足够的能力和视野将地球（包括地球上的一切）作为一个整体去看待，这是在从前无法想象的。第二个层面是，对于大数据的具体应用而言，数据量是否越大越好，我却有不同的看法。我的理解是，在大数据的实际应用中你用以分析的数据量越大，你能得到的东西就越多，而至于得到的那些东西是否是你所需要的，或者对你是否有价值的，没有人能保证。就如同树林里有100条路，每条路上都有一些你觉得有意思的东西，如果你有足够的时间，你可以走遍这100条路，收获很多有意思的小东西，但不是每一条路都会让你得到真正有价值的东西。经常做数据分析的朋友应该会有同感，在分析的过程中你会发现不同的数据通过不同的组合导入不同的分析模型会得到很多不同的结果，有时候会有一些很新鲜的结果被发现，这会让你很惊喜，但大部分这些新鲜的结果最后只会出现在你的微博里，而不会出现在正式的分析报告中，因为分析报告是为解决某一具体问题而存在的，旁枝末节太多会显得臃肿且容易混淆。所以，我认为，在大数据的具体应用面前，我们先要做的是把“大数据”这个概念忘掉，我们必须弄清楚到底想从大数据中得到什么，然后带着目的去收集有用的数据，输入至分析模型中，直接导向我们想要的结果。否则你将花费大量时间、资源成本去获取数据，分析数据。我们需要大数据应用是能够帮助解决问题的行为洞察，而不是试图研究每一条能够得到的信息。不得不说，大数据的世界太魔幻了，里面的诱惑很多，如果你不是带着明确的目标去应用，你很有可能被陷入在五光十色的诱惑中无法自拔。即使你走进了一座金山，最后你能带走的最多也只是你能提动的一小口袋。另外，这同时也揭示，为了避免应用者困在“大数据的金山”，大数据必须往下细化，针对不同行业不同领域的特定问题制定不同的解决工具，未来大数据将会遵循消费化模式，核心基础设施将作为服务或应用程序来提供。

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
　　简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。 　　大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别;第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质
　　的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。 　　物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式 著云台
　　例子包括网络日志，RFID，传感器网络，社会网络，社会数据(由于数据革命的社会)，互联网文本和文件;互联网搜索索引;呼叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物，和其他复杂和/或跨学科的科研，军事侦察，医疗记录;摄影档案馆视频档案;和大规模的电子商务。
　　大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。
　　一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。
　　斯隆数字巡天收集在其最初的几个星期，比在天文学的历史，早在2000年的整个数据收集更多的数据。自那时以来，它已经积累了140兆兆 字节的信息。这个望远镜的继任者，大天气巡天望远镜，将于2016年在网上和将获得的数据，每5天沃尔玛处理超过100万客户的交易每隔一小时，反过来进口量数据库估计超过2.5 PB的是相当于167次，在美国国会图书馆的书籍 。
　　FACEBOOK处理400亿张照片，从它的用户群。解码最初的人类基因组花了10年来处理时，现在可以在一个星期内实现。
　　“大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。 　　大数据已经出现，因为我们生活在一个社会中有更多的东西。有46亿全球移动电话用户有1亿美元和20亿人访问互联网。
　　基本上，人们比以往任何时候都与数据或信息交互。 1990年至2005年，全球超过1亿人进入中产阶级，这意味着越来越多的人，谁收益的这笔钱将成为反过来导致更多的识字信息的增长。思科公司预计，到2013年，在互联网上流动的交通量将达到每年667艾字节。
　　最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
　　“麦肯锡的报告发布后，大数据迅速成为了计算机行业争相传诵的热门概念，也引起了金融界的高度关注。”随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。“如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。”
　　事实上，全球互联网巨头都已意识到了“大数据”时代，数据的重要意义。包括EMC、惠普(微博)、IBM、微软(微博)在内的全球IT 巨头纷纷通过收购“大数据”相关厂商来实现技术整合，亦可见其对“大数据”的重视。
　　“大数据”作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持。不过，在12月8日工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。

大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
*在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。
*对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
*根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
*大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
*不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。
参考：http://baike.baidu.com/link?url=Tz_fc3Sn3OHzifZiiohLAx9e5a2KWkAXY4aeV03YGdkwVReQ_DlcCPXAMALxuCwp9TlCcTb5PdNWqWJ167KdVbtnOUpRM7tfyu1QBNDIl-O

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。通过大量的统计了解大家的喜好，想要的东西，从而得到他们想要的，比如精准营销，征信分析，消费分析等等