nosql数据库技术与应用知识点

Nosql知识回顾

大数据处理流程

• 数据采集(flume、爬虫、传感器)
• 数据存储(本门课程NoSQL所处的阶段) Hdfs、MongoDB、HBase等
• 数据清洗(入仓) Hive等
• 数据处理、分析(Spark、Flink等)
• 数据可视化
• 数据挖掘、机器学习应用(Python、SparkMLlib等)

大数据时代存储的挑战(三高)

• 高并发(同一时间很多人访问)
• 高扩展(要求随时根据需求扩展存储)
• 高效率(要求读写速度快)

NoSql非关系型数据库(存储方式各不相同)，遵循CAP原则

• 易扩展

• 高性能

• 高灵活

• 高可用

  CAP: 一致性、可用性、分区容错性（但是不能同时满足3项，不同的nosql数据库都会满足其2而放弃其1）

  典型代表：MongoDB、Redis、HBase等，使用方式各不相同

1. MongoDB：设计为分布式数据库，提供 高可用性和数据一致性，通常会在处理写操作时会有较高的延迟。
2. Redis: 主要提供快速的键值读写能力，通常放弃数据一致性来保证高可用性
3. HBase: 设计时更倾向于一致性，而牺牲高可用性，以保证数据的强一致和更新的最终一致性。

关系型数据库（以表格形式存储 数据），遵循ACID原则

ACID：是指数据的 原子性、一致性、隔离性、持久性

典型代表：MySql、Oracle、MSSqlServer、Sybase、Postpresql等

查询方式：SQL语句

关系型和非关系型的使用场景对比：

（1）关系型：

结构化数据存储：适合存储有明确定义关系的结构化数据，如订单、用户信息等。

ACID事务支持：提供强大的事务支持，确保数据需要进行多表关联、聚合操作的场景。

复杂查询：支持复杂的SQL查询，适用于需要进行多表关联、聚合操作的场景。

数据一致性：严格遵循ACID原则，保证数据的一致性和完整性。

（2）非关系型

大数据存储：适合存储半结构化或非结构化的大量数据，如日志、文档、图像等。

高可扩展性：基于分布式架构设计，具有良好的横向扩展性，能够轻松处理大规模数据。

灵活的数据模型：可以灵活地调整数据模型，适应不断变化的数据需求，无需事先定义表结构。

高性能读写：通常具有高性能的读写能力，能够满足实时数据处理和高并发访问的需求。

Nosql数据库分类

1. 键值对数据库：Reids等
2. 文档数据库：MongoDB等
3. 列式数据库: HBase等
4. 图形化数据库：Neo4j等