为什么会产生大数据？大数据怎么惠及大众？

       在以往的演讲过程中，我总是在强调一件事——“大数据的群众基础不好”，换句话说，普通大众用户接受大数据这个概念和事实是需要很大的成本的，我们不要和他们讲大数据有多高大上，也不要为了显得自己牛X用大量的专业术语，把复杂的事情简单化，把复杂的事务用简单通俗的语言说出来，本身就是一种能力。所以这篇文章中，我将用简单的话语来和大家介绍大数据和大数据的行业现状。希望给那些对大数据感兴趣的朋友能有所帮助。

 

　　一、为什么会产生大数据？

 

　　为什么会产生大数据呢？大数据之前难道我们都处于“暗黑时代”？

 

　　如果你去搜索“为什么会产生大数据？”这个问题，专家、学者都会给出不同的答案。面对大量的答案，大众该如何去理解？所以我用最简单的方式进行了一个归纳，我认为，产生大数据最大的三个因素是“计算”，“存储”和“智慧”，下面逐一来讲解。

 

　　

 

　　产生大数据的第一个因素：存储成本的下降

 

　　在云计算出现之前，数据存储的成本是非常高的。比如说，我之前供职的是客户端网络游戏公司，那时候游戏每次要开新服，都需要去购置和部署新的服务器，还需要安排几个人去维护服务器的安全，保证数据存储的安全性和数据传输的畅通性。而且，机房还会定期进行数据清理，把部分历史数据清理出去，以便存储新的数据。在那个时代里，互联网公司各自为政，机房部署的人力和管理都是非常高的。

 

　　云计算出现后，数据存储服务衍生出了新的商业模式，集中建设数据中心大大的降低了单位计算和存储成本，比如说36大数据，我们要建设网站，现在根本不用去买服务器硬件，也不需要在雇佣人员来管理，使用阿里云的全套服务就解决了我们的问题。而且存储成本的下降，也改变了大家对数据的看法，因为存储成本不高，所以我们愿意把3个月、6个月甚至更久远的历史数据保存下来，有了历史数据的沉淀，才会想着如何把这些数据利用起来，通过不同时间的对比，来发现数据之间的关联和价值。

 

　　存储成本的下降，为大数据搭建好了最好的基础设施。

 

　　产生大数据的第二个因素：运行、计算速度越来越快

 

　　这一点可能从98年开始上网的朋友就能明显的感觉到。随着互联网的普及及网络技术的发展，加上硬件性价比的提高以及软件技术的进步 ，数据的运行、计算速度越来越快。98年你要传个10MB的文件给我，可能需要一天，放到现在，可能也就是几分钟的事情。分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了并行计算，从而大大提高了计算效率。现在还有在计算方面比Hadoop更快的框架Spark、Storm等等。

 

　　海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，那么很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是非常关键的因素。

 

　　产生大数据的第三个因素：智慧，我们渴望解放脑劳动力

 

　　18世纪-19世纪，第一次工业革命开创了以机器代替手工劳动的时代，从而解放了部分劳动力。

 

　　19世纪七十年代，电力的发明和广泛应用，从而进入第二次工业革命，推动人类进入了电气时代。电气时代的最大影响就是增强了人们的生产能力，使交通更加便利快捷，进而改变了人们的生活方式。

 

　　那么在21世纪，我们最渴望的是什么？我们渴望解放脑劳动力，实现信息对等，让机器拥有人的智慧。

 

　　大数据带来的最大价值就是“智慧”。今天我们能看到的AlphaGo围棋人工智能程序战胜李世石，阿里云小Ai成功预测出《我是歌手》总决赛歌王，iPhone上智能化语音机器人Siri、微博上大家常年调戏的微软小冰等等，背后都是由海量数据来进行支撑的。换句话说，大数据让机器变得有智慧，大数据为机器灌输了人类的潜意识，大数据是变形金刚的Matrix和Cube。

 

　　美国CNN商业市场分析师Ben Rooney曾开玩笑说：“The data scientist was called, only half-jokingly, a caped superhero 数据科学家曾经被誉为戴着披风的超级英雄”。

 

　　我觉得一点都不夸张，大数据的确是我们这个时代的超级英雄。

 

　　所以，存储成本的下降，计算速度的提高和我们对智慧的渴望，是产生大数据的三个重要因素。

 

　　当然，要问大数据为什么一下子在全球风靡起来，维克托·迈尔·舍恩伯格的那本《大数据时代》确实起到了很大的推动作用，但并不是因为那本书才有大数据，这个逻辑一定要缕清楚。

 

　　二、谁在关注大数据？

 

　　我们一定要去问这个问题，谁在关注大数据吗？是习大大和李克强总理？是马云还是李彦宏？又或者是整天高谈阔论的专家学者？