判断宏观趋势、相关关系、战略问题、发现新知识:用大数据(宏观数据);
判断微观变化、因果关系、战术问题、求证新知识:用小数据(微观数据)。
小数据 small data 有时候表现为核心数据,有时候表现为抽样数据。

大数据:
1.巨量数据集合 (互联网的大数据,政府的大数据,企业的大数据和个人的大数据等等)。
2.不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。
3.5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
4.是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
5.一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的特征。
6.大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
7.数据结构:结构化、半结构化和非结构化数据,非结构化数据越来越成为大数据的主要部分。
8.大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据无法用单台的计算机进行处理,必须采用分布式架构。云计算的特色在于对海量数据进行分布式数据挖掘:分布式处理、分布式数据库和云存储、虚拟化技术。例如,实时的大型数据集分析,MapReduce可以向数十、数百或甚至数千的电脑分配工作。
9.适用于大数据的技术:大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
10.应用:大数据应用的重点应该是分析数据和数据之间的关系。下面摘录了一些典型的例子:
a.金融数据和电商数据碰撞在一起,就会产生像小微贷款那样的互联网金融。
b.电信数据和政府数据相遇,可以产生人口统计学方面的价值,帮助城市规划人们居住、工作、娱乐的场所。
c.金融数据和医学数据在一起,可以发现骗保。
d.物流数据和电商数据凑在一起,可以了解各个经济子领域的运行情况等。
e.洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。
f.google流感趋势(Google Flu Trends)利用搜索关键词,提前几天预测到疫情。
g.统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。
h.麻省理工学院利用手机定位数据和交通数据建立城市规划。
小数据 small data:
1.小数据强调的是定性和定量分析,大数据强调的是趋势和融合分析。
2.小数据的分析往往是面对一个业务主题,而不是行业趋势或热点。
3.小数据在做数据取样和验证结果时能对大量的、宏观的数据分析进行补充。
4.企业的大数据起步,要从小数据开始,从核心数据开始。
5.以业务为主导做好小数据,有助于企业做好企业内部的精细化管理、对市场的观察、以及未来发展方向的规划。
