大数据处理基础知识

大数据即Big Data

通常的理解是，巨量的数据，难以使用传统数据架构和软件进行有效处理的数据集。

大数据的特征一般采用5V来描述

• Variety，多样性
• Velocity，速度
• Volume，数量
• Value，价值
• Veracity，真实性

大数据处理技术

数据采集

• 数据抽取
• 数据集成

数据分析

• 机器学习
• 数据挖掘
• 数据统计

当前几种主流的大数据分布式计算架构：

• Apatche Hadoop
• Apache Spark
• Apache Storm

数据解释

• 可视化
• 人机交互

大数据应用技术

• 智能交通
• 电子商务
• 智能制造