面试集中营—场景面试题A

一、线上几百万的消息积压如何处理?

1、第一步我们要首先确定是什么导致的消息积压,基本上三个原因

  • 消费者处理消息速度慢;
  • 生产者生产消息速度太快;
  • 消息处理流程异常导致大量重试;

线上消息积压第一步先看日志,是否在消费端出现了系统异常,系统异常有可能是磁盘满了,挂载盘故障了,网络不稳定或者有黑客入侵植入了其他程序侵占了系统资源等等。

系统异常排除,就通过日志查看是否存在业务异常,是否有大量的报错信息,如果存在那么应该是代码的问题,此时就要快速修复问题,然后上线。

如果不是代码的问题,那么就要考虑当前消费线程的执行时间是否过长,每次消费的时间太长也会造成消息的积压,通过各种工具可以检测到消费的时长,如果很长那么也需要优化代码。

优化代码毕竟需要时间,此时就需要临时增加消费端的实例数量,或者暂时关闭或者降级生产者的部分功能(比如暂停批量导入,定时同步等),同时时刻关注积压消息的数量。

最后在有能力或者有可能得情况下,通过调整MQ的参数来提升性能,当然对于很多公司是直接使用的云服务的情况下,可以不考虑这块儿。

二、如何不停机进行数据的迁移?

这里有两个要求,一个是数据迁移,另一个是不停机。这里我们假设是从A库迁移到B库。

1、应该设定一个时间节点,比如2024年1月1日,先把这个事件点之前的数据全部通过数据迁移的方式迁移到B库中。

2、要不停机,就必须有一段时间是双写,在2024年1月1日以后的,就要设置双写逻辑,新写入的数据在A、B两个库进行双写。

3、此时再启动一个程序做数据对比和同步的工作,就是把A库和B库的每条数据进行比对,并对B库进行更新。

4、稳定运行一段时间后,先把读请求切换到新库中,最后把写请求也切换到新库中。

三、大量数据批量过期通知

这类问题一般是比如我有200万的注册用户,或者会员用户,到期时间不同,那么如何设计能提前一天通知用户会员到期了呢?

这里要区分是一个点,如果是每天零点通知一次,那么可以通过定时任务轮询的方式,把今天要到期的用户都查出来,然后统一发送邮件或者短信等等;

如果不是定时推送,而是根据过期时间推送,这就变成了延时任务的实现,一般可以使用redis的键过期监听或者rocketmq的延时任务来实现。

四、在2G大小的文件中,快速找出高频Top100的单词

2G大小的文件如果一次性加载到内存中,估计面试就可以回家等通知了。我们必须要使用分治法。

所以第一步一定是分割,分割成多少呢,不用太纠结,1MB,512K都可以。比如1MB,那么2GB的文件就会被分割成2048个小文件。

分割之后,第二步就是统计,统计每个文件中,每个单词的出现的次数。这里可以使用一个2048大小的hash数组。数组的每一个index对应其中一个文件。

最后一步就是提取,只要是什么top100,top100,我们就采用堆这个数据类型,用容量为100的小顶堆。

具体代码可以参考下面这篇文章:

在 2G 大小的文件中,找出高频 top100 的单词_统计100个高频单词的代码、-CSDN博客

五、对接第三方接口需要注意什么?

这个问题就比较灵活了,但是一般可以从如下几个方面来表达。

1、安全性问题:接口是https的吗?是否有比如sign校验,或者数据加密等操作。

2、稳定性问题:接口是否稳定,可承受的最大并发是多少。

3、经济性问题:接口调用一次多少钱,有没有最大调用限制。

六、单表数据量大的时候,影响查询效率的都有哪些?

1、磁盘IO,使用

2、索引失效,有坑你是

3、数据分页,数据分页要占用大量的CPU资源

4、锁竞争,同时读写操作,会产生

5、数量大就要更大的内存来缓存

七、如何考虑分库分表?

首先这个问题应该问的是mysql,如果是oracle,单库oracle的单表存储一亿条数据,在做好了分区的情况下,查询的性能也是可以保障的。

什么情况下需要分库分表

1、在分布式的场景下,使用微服务构建的后台系统,在有条件的情况可以先分库,尽量在业务逻辑拆分的情况下,数据库也是拆分的。这样单个微服务在上线维护的时候很便利不会影响到其他的微服务;

2、影响数据库性能的主要有几个方面:

一个是网络IO,当请求量很大,单个数据库无法招架的时候,不管你数据量级是多少,哪怕就几万的数据也得考虑分库;

第二就是数据量级,阿里的数据专家建议单表的存储不要超过500万条,这里是基于数据库的性能,查询的优化和索引的性能,还有数据备份与恢复的总和考量得出的,我们可以根据自身的系统情况定一个标准,超过了数据量级就需要考虑分表;

3、能不切分尽量不要切分

在很多的场景下, 只需要做读写分离就可以满足大部分的需求了,不需要一开始就进行分库分表的操作,第一提升了业务的复杂度和维度的难度,第二还增加了硬件的开销。

分表方式

根据上一个问题的回答,我们可以总结出分表的几种方式

1、垂直分表:这主要是考虑到单行字段过多或者单字段存储过大,比如存在blob字段,大文本字段,甚至有些二进制字段等等,此时可以对单表的字段进行拆分,将一张表拆分成主表,副表,副表2等,大部分的查询只需要针对主表即可;

2、水平拆分:这就主要是考虑单表的性能,一般出现在单表数据量超过百万的情况下。此时就要按记录(行)分成多张表,分完后结构仍相同。水平拆分有一定的拆分规则,常见的规则如下:

a、主键自增分表,前100万条放在表1,每增加100万条数据就增加一张表,这主要适用于类似日志的查询,或者只需要查询近一个月数据这样的场景;

b、主键取模分表,这就是完全的离散分表,如果分成两个表,那么每个表的主键自增步长都设置为2,这种分表模式也是常见的分表,主要是为了应对大数据量的查询,可以把查询压力分散到不同的表中(或者库中)。

c、按业务模型分表,比如电商经常会根据user_id来进行分表,这有一个好处,就是对同一个用户的查询永远是单表查询。但是也会造成数据表的数据不平衡,因为很有可能某些用户下单量大,某些用户下单量小。

d、按时间分表:这种也常见,对于某些日志的存储,业务上就需要按照月份进行统计或者查询,那么按照时间分表就很适合。

分库分表引发的问题

|------------------|-----------------------------------------------------|------------------------------------------------------------------------|
| 问题 | 问题描述 | 解决方法 |
| 事务一致性 | 跨库、表的分布式事务问题比如数据库拆分后,订单和库存在两个库中,一个下单减库存的操作,就涉及跨库事务。 | 分布式事务中间件,实现 TCC 等事务模型;也可以使用基于本地消息表的分布式事务实现。 |
| 跨节点关联查询、分页、排序函数等 | 查询的数据存在于多表、多库之间,SQL无法正常执行 | 1)利用中间件比如Mycat、ShardingSphere 2) 把关联数据放在同一个库中,避免夸库查询 3)把需要夸库查询的数据塞入ES中 |
| 主键避重 | 分布式id问题 | uuid、雪花算法、数据库维护区间分配等 |

分库分表中间件

|----------------|-----------------------------------------------------------------------------|----------------------|------------|
| 分库分表中间件 | 优点 | 缺点 | 性质 |
| mycat | 独立部署,使用不需要修改代码;性能高,JDBC 直连数据库,无需二次转发 | 配置比较复杂,分布式事务还需要做一些配置 | 代理模式 |
| Sharding-JDBC | 化分库分表之后数据相关操作,它一个轻量级的Java框架,是增强版的JDBC驱动,以jar包的形式提供引入非常简单,适用于很多ORM框架以及数据库连接池 | 嵌入式,要修改代码; 仅支持java | jar包,JDBC层 |
| ShardingSphere | 由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar 这三款相互独立的产品组成 | 支持多种语言 | 代理模式、JDBC层 |

蘑菇街的TSharding、携程开源的Ctrip-DAL和Sharding-JDBC相似,都是对JDBC驱动的扩展,就不单独列出来了。

相关推荐
Theodore_10221 小时前
4 设计模式原则之接口隔离原则
java·开发语言·设计模式·java-ee·接口隔离原则·javaee
冰帝海岸2 小时前
01-spring security认证笔记
java·笔记·spring
世间万物皆对象3 小时前
Spring Boot核心概念:日志管理
java·spring boot·单元测试
没书读了3 小时前
ssm框架-spring-spring声明式事务
java·数据库·spring
小二·3 小时前
java基础面试题笔记(基础篇)
java·笔记·python
开心工作室_kaic4 小时前
ssm161基于web的资源共享平台的共享与开发+jsp(论文+源码)_kaic
java·开发语言·前端
懒洋洋大魔王4 小时前
RocketMQ的使⽤
java·rocketmq·java-rocketmq
武子康4 小时前
Java-06 深入浅出 MyBatis - 一对一模型 SqlMapConfig 与 Mapper 详细讲解测试
java·开发语言·数据仓库·sql·mybatis·springboot·springcloud
转世成为计算机大神5 小时前
易考八股文之Java中的设计模式?
java·开发语言·设计模式
qq_327342735 小时前
Java实现离线身份证号码OCR识别
java·开发语言