大数据与数据库

大数据，Big Data。

工业界使用三大特征作为大数据的分类标准：

  • 体量大，以TB、PB、EB 为单位。
  • 速度快，其交换和传播是通过互联网和云计算实现
  • 多样性

大数据之数据仓库设计

由于数据库面向日常事务处理，不适合进行分析处理，一种新的技术应运而生，这就是数据仓库技术。

数据仓库是大数据的心脏。

数据仓库的数据具有四个基本特征

  • 面向主题的
  • 集成的
  • 不可更新的
  • 随时间不断变化的

数据仓库的数据模型

  • 不包括纯操作性的数据
  • 扩充了码结构，增加了时间属性作为码的一部分
  • 增加了导出数据

在数据仓库设计中，仍然存在三级数据模型，即：

概念模型

逻辑模型

物理模型

数据转移技术

数据转移，也称数据转换或数据变换，就是把多种传统资源或外部资源信息中不完善的数据自动转换为商务中准确可靠的数据。

数据转移的基本类型如下：

  • 简单转移
  • 清洗
  • 集成
  • 聚集和概括

数据仓库应用场景-OLAP

OLTP，On-Line Analytical Processing，联机分析处理。

OLAP 是针对特定问题的联机数据访问和分析。

OLAP是以数据仓库进行分析决策的基础，针对特定问题的联机数据访问和分析。

和关系数据库、分布式数据库一样，关于OLAP，同样有“十二条准则”， 具体略。 P554页

数据库应用场景-OLTP

OLTP，On-Line Transaction Processing，联机事务处理。

OLTP的特点在于事务量大，但事务内容比较简单且重复率极高。

OLTP适合处理高度结构化的数据，数据的操作涉及增加、删除和修改等。

OLAP 和 OLTP的对比

⭐ 掌握

image-20220424213534794

相关真题

2014年64题

以下关于数据仓库的叙述中，不正确的是（64）。

A.数据仓库是商业智能系统的基础

B.数据仓库是面向业务的，支持联机事务处理（OLTP）

C.数据仓库是面向分析的，支持联机分析处理（0LAP）

D.数据仓库中的数据视图往往是多维的

【答案】B

数据仓库是面向分析的，支持联机分析处理（OLAP)，数据库面向日常事务处理（即面向业务的），不适合进行分析处理。

数据仓库技术是公认的信息利用的最佳解决方案，它不仅能够从容解决信息技术人员面临的问题，同时也为商业用户提供了很好的商业契机，是商业智能系统的基础。

数据仓库是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作基础，由于有较大的冗余，所以需要的存储也较大。

数据库的主要应用场景为联机事务处理（OLTP）

数据仓库的主要应用场景为联机分析处理（OLAP）。