大型网站系统架构演化(Web)

大型网站系统架构演化

大型网站系统架构演化

需要关注的维度

高性能 、高可用 、可维护、应变、安全

涉及的技术

维度 涉及技术内容
架构 MVC,MVP,MVVM,REST,Webservice,微服务
并发分流 集群(负载均衡)、CDN
缓存 MemCache,redis,Squid
数据 主从库(主从复制),内存数据库,反规范化技术,NoSQL,分区分表技术,视图与物理化视图
持久化 HIbernate,Mybatis
分布存储 Hadoop,FastDFS,区块链
数据编码 XML,JSON
Web应用服务器 Apache,WebSphere,WebLogic,Tomcat,JBOSS,IIS
安全性 SQL注入攻击
其他 静态化,有状态与无状态,响应式Web设计,中台

演进过程

单体架构

垂直架构

使用缓存改善网站性能

缓存与数据库的数据一致性问题

数据库与缓存数据是否有可能不一致?如何解决?

有可能不一致。

大体思想如下:先写入数据库、再更新缓存

缓存技术对比
工作 MemCache Redis
数据类型 简单key/value结构 丰富的数据结构
持久性 不支持 支持
分布式存储 客户端哈希分片/一致性哈希 多种方式,主从、Sentinel、Cluster等
多线程支持 支持 支持 (Redis5.0之前不支持)
内存管理 私有内存池/内存池 无
事务支持 不支持 有限支持
数据容灾 不支持,不能做数据恢复 支持,可以在灾难发生时,恢复数据
Redis分布式存储方案
分布式存储方案 核心特点
主从模式 一主多从,故障时手动切换
哨兵模式 有哨兵的一主多从,主节点故障自动选择新的主节点
集群模式 分节点对等集群,分slots,不同slots的信息存储到不同节点
Redis集群切片的常见方式
集群切片方式 核心特点
客户端分片 在客户端通过key的hash值对应到不同的服务器
中间件实现分片 在应用软件和Redis中间,例如:Twemproxy、Codis等,由中间件实现服务到后台Redis节点的路由分派
客户端服务端协作分片 Redis Cluster模式,客户端可采用一致性哈希,服务端提供错误节点的重定向服务solt上。不同的solt对应到不同服务
Redis数据类型
类型 特点 示例
String(字符串) 存储二进制,,最大512M 缓存,计数,共享Session
Hash(字典) 无序字典,数组+链表,适合存对象。Key对应一个HashMap。针对一组数据 存储、读取、修改用户属性
List(列表) Linked List:双向链表,有序,增删快,查询慢;Array List:数组方式,有序,增删慢,查询快
消息队列,文章列表,记录前N个最新登录的用户ID列表
Set(集合) 键值对无序,唯一。增删查复杂度均为O(1),支持交/并/差集操作 独立IP,共同爱好,标签
Sorted Set【ZSet】(有序集合) 键值对有序,唯一,自带按权重排序效果 排行榜
Redis 淘汰算法
淘汰作用范围 机制名 策略
相关推荐
ShineWinsu21 小时前
对于Qt:QSpacerItem常见属性以及方法的解析
开发语言·c++·qt·面试·系统架构·客户端·qspaceritem
格数致用2 天前
YLT 智能助手(小岳)· 25|配置系统、架构契约测试与工程化
系统架构
真上帝的左手2 天前
7、网络安全-认证鉴权
web安全·架构·系统架构·系统安全
dahaihua3333 天前
用 SysML 表达航电系统架构(附建模示例)
设计模式·重构·系统架构·集成测试·需求分析·学习方法
جيون داد ناالام ميづ3 天前
RocketMQ 入门第二篇:吃透系统架构与核心组件(从角色到实战细节)
系统架构·rocketmq·java-rocketmq
艺杯羹5 天前
1Panel 装好后 ufw 仍是 inactive:一次服务器安全盲区复盘
服务器·数据库·安全·网络安全·系统架构·实战·1panel
装不满的克莱因瓶5 天前
设计模式之策略模式核心概念和应用场景
java·后端·设计模式·架构·系统架构·策略模式
真上帝的左手6 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
吴建旭 智宅焕8 天前
智能家居B端客户路径诊断的系统架构设计与实现:背景采集、经验分层与交付确定性
系统架构·智能家居
长不大的杨瑞杰11 天前
ChatGPT 广告技术栈架构拆解:多轮意图、LLM 工具编排、ANN 召回与拍卖闭环
人工智能·chatgpt·系统架构·推荐系统·广告