java重点学习

一.redis

穿透无中生有key,布隆过滤nul隔离

锁与非期解难题。缓存击穿过期key,

雪崩大量过期key,过期时间要随机。

面试必考三兄弟,可用限流来保底。

1.1 Redis的使用场景

根据自己简历上的业务进行回答

·缓存穿透、击穿、雪崩、双写一致、持久化、数据过期、淘汰策略

分布式锁 setnx、redisson

总结

1.2 什么是缓存穿透,怎么解决

缓存穿透:查询一个不存在的数据,mysql查询不到数据也不会直接写入缓存,就会导致每次请求都查数据库

解决方案一:缓存空数据解决方案二:布隆过滤器

1.3.什么是缓存击穿

缓存击穿:给某一个key设置了过期时间,当key过期的时候,恰好这时间点对这个key有大量的并发请求过来,这些并发的请求可能会瞬间把DB压垮

解决方案一:互斥锁,强一致,性能差

解决方案二:逻辑过期,高可用,性能优,不能保证数据绝对一致

1.4.什么是缓存雪崩

缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力。

解决方案一:给不同的Key的TTL添加随机值

解决方案二:利用Redis集群提高服务的可用性

解决方案三:给缓存业务添加降级限流策略

解决方案四:给业务添加多级缓存

1.5 数据库和redis双写一致性如何保证?redis做为缓存,mysql的数据如何与redis进行同步呢?

介绍自己简历上的业务,我们当时是把文章的热点数据存入到了缓存中,虽然是热点数据,但是实时要求性并没有那么高,所以,我们当时采用的是异步的方案同步的数据

我们当时是把抢券的库存存入到了缓存中,这个需要实时的进行数据同步,为了保证数据的强一致,我们当时采用的是redisson提供的读写锁来保证数据的同步

那你来介绍一下异步的方案(你来介绍-下redisson读写锁的这种方案)

---允许延时一致的业务,采用异步通知

a.使用MQ中间中间件,更新数据之后,通知缓存删除

b.利用canal中间件,不需要修改业务代码,伪装为mysql的一个从节点,canal通过读取binlog数据更新缓存

---强一致性的,采用Redisson提供的读写锁

a.共享锁:读锁readLock,加锁之后,其他线程可以共享读操作

b.排他锁:也叫独占锁writeLock,加锁之后,阻塞其他线程读写操作

1.6 redis持久化

1.7 Redis的数据过期策略

惰性删除:访问key的时候判断是否过期,如果过期,则删除

定期删除:定期检查一定量的key是否过期(SLOW模式+FAST模式)

Redis的过期删除策略:惰性删除+定期删除两种策略进行配合使用

1.8redis的淘汰策略有哪些?

数据淘汰策略

Redis提供了8种不同的数据淘汰策略,默认是noeviction不删除任何数据,内1.存不足直接报错

LRU:最少最近使用。用当前时间减去最后一次访问时间,这个值越大则淘汰2.

优先级越高。

3.LFU:最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高

平时开发过程中用的比较多的就是alkeys-lru(结合自己的业务场景)

1.8 redis分布式锁,是如何实现的?

先按照自己简历上的业务进行描述分布式锁使用的场景

我们当使用的redisson实现的分布式锁,底层是setnx和lua脚本(保证原子性)

Redisson实现分布式锁如何合理的控制锁的有效时长?

在redisson的分布式锁中,提供了一个WatchDog(看门狗),一个线程获取锁成功以后WatchDog会给持有锁的线程续期(默认是每隔10秒续期一次)

Redisson的这个锁,可以重入吗?

可以重入,多个锁重入需要判断是否是当前线程,在redis中进行存储的时候使用的hash结构来存储线程信息和重入的次数

Redisson锁能解决主从数据一致的问题吗

不能解决,但是可以使用redisson提供的红锁来解决,但是这样的话,性能就太低了,如果业务中非要保证数据的强一致性,建议采用zookeeper实现的分布式锁

1.9 redis的主从同步

单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离-般都是一主多从,主节点负责写数据,从节点负责读数据

能说一下,主从同步数据的流程

全量同步:

1.从节点请求主节点同步数据(replication id、offset )

2.主节点判断是否是第一次请求,是第一次就与从节点同步版本信息(replication idoffset)

3.主节点执行bgsave ,生成rdb文件后,发送给从节点去执行

4.在rdb生成执行期间,主节点会以命令的方式记录到缓冲区(一个日志文件)

5.把生成之后的命令日志文件发送给从节点进行同步

增量同步:

1.从节点请求主节点同步数据,主节点判断不是第一次请求,不是第一次就获取从节点的offset值

2.主节点从命令日志中获取offset值之后的数据,发送给从节点进行数据同步

1.10 怎么保证Redis的高并发高可用(redis哨兵集群)

哨兵模式:实现主从集群的自动故障恢复(监控、自动故障恢复、通知)

你们使用redis是单点还是集群,哪种集群

主从(1主1从)+哨兵就可以了。单节点不超过10G内存,如果Redis内存不足则可以给不同服务分配独立的Redis主从节点

redis集群脑裂,该怎么解决呢?

集群脑裂是由于主节点和从节点和sentine!处于不同的网络分区,使得sentinel没有能够心跳感知到主节点,所以通过选举的方式提升了一个从节点为主,这样就存在了两个master,就像大脑分裂了一样,这样会导致客户端还在老的主节点那里写入数据,新节点无法同步数据,当网络恢复后,sentinel会将老的主节点降为从节点,这时再从新master同步数据,就会导致数据丢失

解决:我们可以修改redis的配置,可以设置最少的从节点数量以及缩短主从数据同步的延迟时间,达不到要求就拒绝请求就可以避免大量的数据丢失

1.11 redis的分片集群有什么作用

a.集群中有多个master,每个master保存不同数据

b.每个master都可以有多个slave节点

c.master之间通过ping监测彼此健康状态1

d.客户端请求可以访问集群任意节点,最终都会被转发到正确节点

Redis分片集群中数据是怎么存储和读取的?

Redis 分片集群引入了哈希槽的概念,Redis 集群有 16384 个哈希槽

将16384个插槽分配到不同的实例

读写数据:根据key的有效部分计算哈希值,对16384取余(有效部分,如果key前面有太括号,大括号的内容就是有效部分,如果没有,则以key本身做为有效部分)余数做为插槽,寻找插槽所在的实例

1.12 能解释-下redis中的 I/O多路复用模型?

1.I/0多路复用

是指利用单个线程来同时监听多个Socket ,并在某个Socket可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。目前的I/0多路复用都是采用的epoll模式实现,它会在通知用户进程Socket就绪的同时,把已就绪的Socket写入用户空间,不需要挨个遍历Socket来判断是否就绪,提升了性能。

  1. Redis网络模型

就是使用I/0多路复用结合事件的处理器来应对多个Socket请求

> 连接应答处理器

>命令回复处理器,在Redis6.0之后,为了提升更好的性能,使用了多线程来处理回复事件上

>命令请求处理器,在Redis6.0之后,将命令的转换使用了多线程,增加命令转换速度,在命令执行的时 候,依然是单线程

二 mysql

2.1 如何定位慢查询?

1:介绍一下当时产生问题的场景(我们当时的一个接口测试的时候非常的慢,压测的结果大概5秒钟)

2.我们系统中当时采用了运维工具(Skywalking),可以监测出哪个接口,最终因为是sql的问题

3.在mysql中开启了慢日志查询,我们设置的值就是2秒,一旦sql执行超过2秒就会记录到日志中(调试阶段)

2.2 SQL语句执行很慢,如何分析呢?

可以采用MySQL自带的分析工具 EXPLAIN

通过key和key len检查是否命中了索引(索引本身存在是否有失效的情况)

通过type字段查看sql是否有进一步的优化空间,是否存在全索引扫描或全盘扫描

通过extra建议判断,是否出现了回表的情况,如果出现了,可以尝试添加索引或修改返回字段来修复

2.3 了解过索引吗?(什么是索引)

索引(index)是帮助MySQL高效获取数据的数据结构(有序)

提高数据检索的效率,降低数据库的IO成本(不需要全表扫描)

通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗

索引的底层数据结构了解过嘛?

MySQL的InnoDB引擎采用的B+树的数据结构来存储索引

阶数更多,路径更短

磁盘读写代价B+树更低,非叶子节点只存储指针,叶子阶段存储数据

B+树便于扫库和区间查询,叶子节点是一个双向链表

2.4知道什么叫覆盖索引嘛 ?

覆盖索引是指查询使用了索引,返回的列,必须在索引中全部能够找到

使用id查询,直接走聚集索引查询,一次索引扫描,直接返回数据,性能高。如果返回的列中没有创建索引,有可能会触发回表查询,尽量避免使用select*

MYSQL超大分页怎么处理?

问题:在数据量比较大时,limit分页查询,需要对数据进行排序,效率低

解决方案:覆盖索引+子查询

2.5 索引创建原则有哪些?

1).针对于数据量较大,且查询比较频繁的表建立索引。单表超过10万数据(增加用户体验)

2).针对于常作为查询条件(where)、排序(order by)、分组(group by)操作的字段建立索引。

3).尽量选择区分度高的列作为索引,尽量建立唯一索引,区分度越高,使用索引的效率越高

4).如果是字符串类型的字段,字段的长度较长,可以针对于字段的特点,建立前缀索引。

5).尽量使用联合索引,减少单列索引,查询时,联合索引很多时候可以覆盖索引,节省存储空间,避免回表,提高查询效率。

6).要控制索引的数量,索引并不是多多益善,索引越多,维护索引结构的代价也就越大,会影响增删改的效率。

7).如果索引列不能存储NULL值,请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时,它可以更好地确定哪个索引最有效地用于查询。

2.6什么情况下索引会失效?

① 违反最左前缀法则

② 范围查询右边的列,不能使用索引

③ 不要在索引列上进行运算操作, 索引将失效

④ 字符串不加单引号,造成索引失效。(类型转换)

⑤ 以%开头的Like模糊查询,索引失效

2.7谈谈你对sql的优化的经验

·---表的设计优化(参考阿里开发手册《嵩山版》)

① 比如设置合适的数值(tinyint int bigint),要根据实际情况选择

② 比如设置合适的字符串类型(char和varchar)char定长效率高,varchar可变长度,效率稍低

---SQL语句优化

① SELECT语句务必指明字段名称(避免直接使用select*)

② SQL语句要避免造成索引失效的写法

③ 尽量用union all代替union union会多一次过滤,效率低

④避免在where子句中对字段进行表达式操作

G)Join优化 能用innerioin 就不用left join right join,如必须使用 一定要以小表为驱动内连接会对两个表进行优化,优先把小表放到外边,把大表放到里边。leftjoin 或 right join,不会重新调整顺序

2.8 事务的特性是什么?

原子性( Atomicity)

-致性( Consistency )

隔离性( lsolation )

●持久性( Durability

ACID,分别指的是:原子性、一致性、隔离性、持久性;我举个例子A向B转账500,转账成功,A扣除500元,B增加500元,原子操作体现在要么都成功,要么都失败

在转账的过程中,数据要一致,A扣除了500,B必须增加500

在转账的过程中,隔离性体现在A像B转账,不能受其他事务干扰

在转账的过程中,持久性体现在事务提交后,要把数据持久化(可以说是落盘操作)

2.9并发事务带来哪些问题?怎么解决这些问题呢?MySQL的默认隔离级别是?

并发事务的问题:.

① 脏读:一个事务读到另外一个事务还没有提交的数据。

② 不可重复读:一个事务先后读取同一条记录,但两次读取的数据不同

③ 幻读:一个事务按照条件查询数据时,没有对应的数据行,但是在插入数据时,又发现这行数据已经存在,好像出现了"幻影"。

隔离级别:

①READ UNCOMMITTED 未提交读脏读、 不可重复读、幻读

② READ COMMITTED 读已提交 不可重复读、幻读

③ REPEATABLE READ 可重复读 幻读

④ SERIALIZABLE 串行化

2.10 undo log和redo log的区别

redo log:记录的是数据页的物理变化,服务宕机可用来同步数据

undo log :记录的是逻辑日志,当事务回滚时,通过逆操作恢复原来的数据.

redo log 保证了事务的持久性undolog 保证了事务的原子性和一致性

++++其中redolog日志记录的是数据页的物理变化,服务机可用来同步数据,而undolog不同,它主要记录的是逻辑日志,当事务回滚时,通过逆操作恢复原来的数据,比如我们删除一条数据的时候,就会在undolog日志文件中新增一条delete语句,如果发生回滚就执行逆操作;++++

++++redolog保证了事务的持久性,undolog保证了事务的原子性和一致性++++

2.11 事务中的隔离性是如何保证的呢?(你解释一下MVCC)

2.12 mysql 主从同步原理

MVSQL主从复制的核心就是二进制日志binog(DDL(数据定义语言)语句和 DML(数据操纵语言)语句)① ① 主库在事务提交时,会把数据变更记录在二进制日志文件 Binlog 中。

② 从库读取主库的二进制日志文件 Binlog ,写入到从库的中继日志 Relay Log。

③ 从库重做中继日志中的事件,将改变反映它自己的数据

2.13分库分表

分库之后的问题:

1.分布式事务一致性问题.

2.跨节点关联查询.

3.跨节点分页、排序函数

4.主键避重

应该使用 分库分表中间件:

sharding-sphere

mycat

相关推荐
ifanatic1 小时前
[面试]-golang基础面试题总结
面试·职场和发展·golang
程序猿进阶2 小时前
堆外内存泄露排查经历
java·jvm·后端·面试·性能优化·oom·内存泄露
长风清留扬3 小时前
一篇文章了解何为 “大数据治理“ 理论与实践
大数据·数据库·面试·数据治理
周三有雨15 小时前
【面试题系列Vue07】Vuex是什么?使用Vuex的好处有哪些?
前端·vue.js·面试·typescript
爱米的前端小笔记15 小时前
前端八股自学笔记分享—页面布局(二)
前端·笔记·学习·面试·求职招聘
好学近乎知o15 小时前
解决sql字符串
面试
我明天再来学Web渗透20 小时前
【SQL50】day 2
开发语言·数据结构·leetcode·面试
程序员奇奥21 小时前
京东面试题目分享
面试·职场和发展
理想不理想v1 天前
【经典】webpack和vite的区别?
java·前端·javascript·vue.js·面试
沈小农学编程1 天前
【LeetCode面试150】——202快乐数
c++·python·算法·leetcode·面试·职场和发展