在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更认识，可以更清楚地发现样本无法揭示的细节信息。越来越多的人都在学习 大数据相关的技术，而今天我们就一起来了解一下，大数据环境下的数据分析基础知识。



　　大数据环境下的数据分析基础知识



　　一、数据分析的定义



　　数据分析就是用合适的方法来发挥出数据的大价值，这是一门结合了统计学，高等数学，工程学，商业决策等知识的技能，其中高等数学，工程学和统计学这些都是硬技能，而商业决策是属于软技能，数据分析师就是具备这些技能的岗位。数据分析师也有所侧重点，有的人是商业出身，偏向于商业领域，有的人是统计学出身，偏向于统计领域，有的人是工程学出身，更偏向于it领域。企业在进行招聘的时候，他们会根据自己的需求选择合适的数据分析师。



　　显然，我是工程领域出身，我们的课程是偏向于it领域的，适合往it领域发展的程序员入门学习，或者商业领域，统计学领域的数据分析师补充自己。



　　二、数据分析的产生



　　在如今的互联网企业的发展中，流量的增长是一个永恒不变的话题。我们知道拉一个新用户的成本要远高于维护一个老客户的成本。既然这样，如果我们能够让老客户产生价值，推出合适的营销策略或者老带新类似这样的方案，就能够用更少的成本产生更大的价值，这也就是数据分析师存在的理由。



　　三、数据分析的发展



　　早期的数据分析是使用excel，即使现在也有很多商业领域的数据分析人员依旧在使用。除此之外，还有一些数据分析商用的软件，比如tableau，spss等等。所使用的方式是先从服务器导出数据到软件当中去，然后通过一个功能函数进行数据的处理，比如excel中可以使用vlookup函数来进行纵向查找，后再进行可视化的处理。显然，早起的数据分析更侧重于呈现结果，然后根据结果对企业的发展作出预测。



　　具体的过程如下所示：



　　分析现状-通过可视化的现状来直观描述企业经营发展中的情况



　　发现问题-从呈现结果中预测可能问题的原因



　　收集加工-使用更多的数据来验证问题的产生源头



　　分析策略-结合业务场景分析用户或者商品的现状



　　提出方案-根据商业逻辑和分析结果提出解决方案



　　我们能够预见的是，早期数据量比较少，一般都是以G为单位，类似于excel，tableau和spss这样的软件，所能够处理的数据量是有限的，当数据量达到T，TB甚至更大的量级是，这是无法处理的。这就需要it领域的知师理这些海量的数据，比如使用MySQL，hlive，hbase等等。



　　四、数据分析VS数据挖掘



　　除了数据分析之外，你一定还听说过数据挖掘，那么他们之间有什么异同呢?先现在的大多数企业已经模糊了对数据分析与数据挖掘的区别，但是他们还是有所差异，具体如下：



　　数据分析更多采用统计学的知识，对源数据进行描述性和探索性分析，从结果中发现价值信息来评估和修正现状。数据挖掘不仅仅用到统计学的知识，还要用到机器学习的知识，这里会涉及到模型的概念。数据挖掘具有更深的层次，来发现未知的规律和价值。



　　从侧重点上来说，相比较而言，数据分析更多依赖于业务知识，数据挖掘更多侧重于技术的实现，对于业务的要求稍微有所降低。



　　从数据量上来说，数据挖掘往往需要更大数据量，而数据量越大，对于技术的要求也就越高。



　　从技术上来说，数据挖掘对于技术的要求更高，需要比较强的编程能力，数学能力和机器学习的能力。



　　从结果上来说，数据分析更多侧重的是结果的呈现，需要结合业务知识来进行解读。而数据挖掘的结果是一个模型，通过这个模型来分析整个数据的规律，一次来实现对于未来的预测，比如判断用户的特点，用户适合什么样的营销活动。显然，数据挖掘比数据分析要更深一个层次。



　　如何认识大数据分析的基础知识.中琛魔方大数据分析平台 (www.zcmorefun.com)表示大数据时代的思维方式要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。