nosql数据库技术与应用知识点

Nosql知识回顾

大数据处理流程

  • 数据采集(flume、爬虫、传感器)
  • 数据存储(本门课程NoSQL所处的阶段) Hdfs、MongoDB、HBase等
  • 数据清洗(入仓) Hive等
  • 数据处理、分析(Spark、Flink等)
  • 数据可视化
  • 数据挖掘、机器学习应用(Python、SparkMLlib等)

大数据时代存储的挑战(三高)

  • 高并发(同一时间很多人访问)
  • 高扩展(要求随时根据需求扩展存储)
  • 高效率(要求读写速度快)

NoSql非关系型数据库(存储方式各不相同),遵循CAP原则

  • 易扩展

  • 高性能

  • 高灵活

  • 高可用

    CAP: 一致性、可用性、分区容错性(但是不能同时满足3项,不同的nosql数据库都会满足其2而放弃其1)

    典型代表:MongoDB、Redis、HBase等,使用方式各不相同

  1. MongoDB:设计为分布式数据库,提供 高可用性和数据一致性,通常会在处理写操作时会有较高的延迟。
  2. Redis: 主要提供快速的键值读写能力,通常放弃数据一致性来保证高可用性
  3. HBase: 设计时更倾向于一致性,而牺牲高可用性,以保证数据的强一致和更新的最终一致性。

关系型数据库(以表格形式存储 数据),遵循ACID原则

ACID:是指数据的 原子性、一致性、隔离性、持久性

典型代表:MySql、Oracle、MSSqlServer、Sybase、Postpresql等

查询方式:SQL语句

关系型和非关系型的使用场景对比:

(1)关系型:

结构化数据存储:适合存储有明确定义关系的结构化数据,如订单、用户信息等。

ACID事务支持:提供强大的事务支持,确保数据需要进行多表关联、聚合操作的场景。

复杂查询:支持复杂的SQL查询,适用于需要进行多表关联、聚合操作的场景。

数据一致性:严格遵循ACID原则,保证数据的一致性和完整性。

(2)非关系型

大数据存储:适合存储半结构化或非结构化的大量数据,如日志、文档、图像等。

高可扩展性:基于分布式架构设计,具有良好的横向扩展性,能够轻松处理大规模数据。

灵活的数据模型:可以灵活地调整数据模型,适应不断变化的数据需求,无需事先定义表结构。

高性能读写:通常具有高性能的读写能力,能够满足实时数据处理和高并发访问的需求。

Nosql数据库分类

  1. 键值对数据库:Reids等
  2. 文档数据库:MongoDB等
  3. 列式数据库: HBase等
  4. 图形化数据库:Neo4j等
相关推荐
漂流瓶jz10 分钟前
UVA-1615 高速公路 题解答案代码 算法竞赛入门经典第二版
数据结构·算法·贪心算法·贪心·aoapc·算法竞赛入门经典·uva
夊30 分钟前
数据结构第四课:栈与队列
数据结构
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
starzy19901 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
CoderYanger2 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第七弹):图书管理系统(强制登录)
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
倔强的胡萝卜3 小时前
基于STM32F103C8T6的温湿度报警器设计
数据库·stm32·mongodb
凌冰_10 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程
Decay__10 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
大大大大晴天12 小时前
浅聊维度建模中的星型模型与雪花模型
大数据