大型网站系统架构演化
- 大型网站系统架构演化
-
- 需要关注的维度
- 涉及的技术
- 演进过程
-
- 单体架构
- 垂直架构
- 使用缓存改善网站性能
-
- 缓存与数据库的数据一致性问题
- 缓存技术对比
- Redis分布式存储方案
- Redis集群切片的常见方式
- Redis数据类型
- [Redis 淘汰算法](#Redis 淘汰算法)
大型网站系统架构演化
需要关注的维度
高性能 、高可用 、可维护、应变、安全
涉及的技术
| 维度 | 涉及技术内容 |
|---|---|
| 架构 | MVC，MVP，MVVM，REST，Webservice，微服务 |
| 并发分流 | 集群（负载均衡）、CDN |
| 缓存 | MemCache，redis，Squid |
| 数据 | 主从库（主从复制），内存数据库，反规范化技术，NoSQL，分区分表技术，视图与物理化视图 |
| 持久化 | HIbernate，Mybatis |
| 分布存储 | Hadoop，FastDFS，区块链 |
| 数据编码 | XML，JSON |
| Web应用服务器 | Apache，WebSphere，WebLogic，Tomcat，JBOSS，IIS |
| 安全性 | SQL注入攻击 |
| 其他 | 静态化，有状态与无状态，响应式Web设计，中台 |
演进过程
单体架构
垂直架构
使用缓存改善网站性能
缓存与数据库的数据一致性问题
数据库与缓存数据是否有可能不一致？如何解决？
有可能不一致。
大体思想如下：先写入数据库、再更新缓存
缓存技术对比
| 工作 | MemCache | Redis |
|---|---|---|
| 数据类型 | 简单key/value结构 | 丰富的数据结构 |
| 持久性 | 不支持 | 支持 |
| 分布式存储 | 客户端哈希分片/一致性哈希 | 多种方式，主从、Sentinel、Cluster等 |
| 多线程支持 | 支持 | 支持 （Redis5.0之前不支持） |
| 内存管理 | 私有内存池/内存池 | 无 |
| 事务支持 | 不支持 | 有限支持 |
| 数据容灾 | 不支持，不能做数据恢复 | 支持，可以在灾难发生时，恢复数据 |
Redis分布式存储方案
| 分布式存储方案 | 核心特点 |
|---|---|
| 主从模式 | 一主多从，故障时手动切换 |
| 哨兵模式 | 有哨兵的一主多从，主节点故障自动选择新的主节点 |
| 集群模式 | 分节点对等集群，分slots，不同slots的信息存储到不同节点 |
Redis集群切片的常见方式
| 集群切片方式 | 核心特点 |
|---|---|
| 客户端分片 | 在客户端通过key的hash值对应到不同的服务器 |
| 中间件实现分片 | 在应用软件和Redis中间，例如：Twemproxy、Codis等，由中间件实现服务到后台Redis节点的路由分派 |
| 客户端服务端协作分片 | Redis Cluster模式，客户端可采用一致性哈希，服务端提供错误节点的重定向服务solt上。不同的solt对应到不同服务 |
Redis数据类型
| 类型 | 特点 | 示例 |
|---|---|---|
| String（字符串） | 存储二进制，，最大512M | 缓存，计数，共享Session |
| Hash（字典） | 无序字典，数组+链表，适合存对象。Key对应一个HashMap。针对一组数据 | 存储、读取、修改用户属性 |
| List（列表） | Linked List：双向链表，有序，增删快，查询慢；Array List：数组方式，有序，增删慢，查询快 | |
| 消息队列，文章列表，记录前N个最新登录的用户ID列表 | ||
| Set（集合） | 键值对无序，唯一。增删查复杂度均为O(1),支持交/并/差集操作 | 独立IP，共同爱好，标签 |
| Sorted Set【ZSet】（有序集合） | 键值对有序，唯一，自带按权重排序效果 | 排行榜 |
Redis 淘汰算法
| 淘汰作用范围 | 机制名 | 策略 |
|---|---|---|