项目实战知识点—在线oj项目

1. 主键

为什么不使用自增id

  • 数据迁移和备份:如果需要将数据从一个数据库迁移到另一个数据库,或者备份和恢复数据,自增主键可能会导致问题。
  • 删除和插入操作:如果表中存在大量删除和插入操作,自增主键可能会导致ID值的不连续。可能会浪费存储空间,并可能导致某些应用程序或系统逻辑出现问题
  • 性能问题:在高并发的写入操作中,自增主键可能会导致性能瓶颈。因为每次插入新记录时,数据库都需要找到下一个可用的自增ID,这可能导致某些应用程序或系统逻辑出现问题
  • 可预测性:自增主键的值时可预测的,因为它们总是按照递增的顺序生成,这可能会带来安全风险
  • 分布式环境问题:在分布式数据库系统中,自增主键可能会带来挑战。如何保证各个节点生成的自增id时唯一的,这将需要额外的机制来协调各个节点

解决方案

  • uuid:是一种软件建构的标准,用于在分布式计算环境中为元素提供唯一的辨识信息。UUID共占128位,分为五段,它具有唯一性、全局性、不变性等特点
  • 雪花算法:是一种分布式唯一ID生成算法,用于生成全局唯一ID,他的设计目标是分布式系统中生成ID,保证ID的唯一性、有序性和趋势递增。雪花算法的核心思想是将一个64位的ID分成多个部分,分别表示不同的信息

为什么不使用uuid作为主键

  • 存储空间:UUID存储会占用更大的空间,这会增加数据库的存储需求,尤其是在大型数据库或高并发系统中,这可能会成为性能瓶颈
  • 索引性能:由于UUID相对较大,使用UUID作为主键会导致索引百年的更大,从而影响查询性能。特别是在执行范围查询JOIN操作时,性能和下降可能会更加明显
  • 可读性:UUID由一串字符组成,不易于人类阅读。可能会影响到开发、运维和调试的便利性

2. Swaager

什么是Swagger

swagger是一个接口文档生成工具,可用帮助开发者自动生成接口文档。当项目的接口发生变更时,Swagger可以实时更新文档,确保文档的准确性和时效性。Swagger还内置了测试功能,开发者可以直接在文档中测试接口,无需编写额外的测试代码

引入

引入依赖+配置

基本注解

@Tag:用于介绍接口分组,用途类似于为接口文档添加标签

@Operation 用于描述接口的操作

  • summary:操作的摘要信息
  • description:操作的额详细描述

@Parameters:用于指定@Parameter注解对象数组,描述操作的输入参数

@Parameter:用于描述输入参数

  • name:参数的名称
  • in:参数的位置,可以是path、query、header、cookie中的一种
  • description:参数的描述

@ApiResponse:用于描述操作的响应结果

  • responseCode:响应的状态码
  • description:响应的描述

@Schema:用于描述数据模型的属性

可以对接口进行测试

3. 加密算法

BCrypt

是一种哈希加密算法,被广泛应用于存储密码和进行身份验证。并且BCrypt算法包含一个重要的特性是每次生成的哈希值都不同,这是由于BCrypt算法在计算时会先生成一个随机的盐值与用户密码一起参与计算最终得到一个加密后的字符串。由于生成的盐值时随机的,所以即使使用相同的密码得到的结果也是不同的。这样可以有效防止攻击者使用一些手段破解用户密码

4. Nacos配置MySQL

为什么要外置MySQl数据库

  • 数据持久性:使用MySQL作为外置数据库可以确保数被持久化存储,这对于确保服务的稳定性和数据的可靠性至关重要
  • 高可用性:Nacos支持集群部署,而使用MySQL作为共享的数据存储可以确保集群中各个节点之间的数据一致性。此外,MySQL自身也支持高可用性和故障转移,如使用主从复制或集群解决方案,从而进一步提高系统的可用性
  • 性能优化:使用Nacos内置的数据库虽然能够i简化部署,但是性能受到限制,外置的MySQL可以根据需要进行优化和扩展,满足更高的性能要求
  • 易于管理和维护:首先系统本身采用MySQL数据库,Nacos外置数据库和系统采用同样的数据库可以保证技术使用的统一。简化了数据库的管理和维护工作,降低运维成本

5. Jwt

JSON Web Tokens - jwt.io

是一种基于JSON的安全跨平台信息传输格式。JWT定义了一种紧凑且自包含的方式,用于在各方之间安全地传输信息,次信息可以用作验证和相互信任

JWT组成:

  • 头部(header)包含令牌的类型和使用算法,base64编码
  • 载荷(payload)包含用户信息和其他元数据,base64编码
  • 签名(signature)用于验证令牌的完整性个真实性

问题分析

身份验证仅仅使用jwt机制就可以吗?

  • jwt中的载荷部分存储用户的相关信息,采用base64编码,没有加密因此jwt中不能存储铭感数据
  • jwt是无状态的,因此如果想要修改里面的内容必须重新签发一次新的jwt
  • 无法延长jwt的过期时间

问题思路

  1. 载荷部分不存放铭感信息:
  • 载荷部分仅存放用户唯一标识信息
  • 需要第三方存储机制,作为辅助存储用户身份认证的信息。存储需要保证安全、可靠
  • 不需要长期存储,仅在用户处于登录状态时使用
  1. 想办法用户修改个人信息后,jwt不变
  • 载荷仅存放唯一标识信息,修改用户信息不会改变jwt
  1. 能够控制jwt的过期时间
  • jwt的货期时间,不能通过jwt机制提供的方法设置
  • 通过第三方组件设置并记录jwt的过期时间

具体处理方案:引入Redis缓存

6. PageHelper

Mybatis 分页插件

MyBatis 分页插件 PageHelper

优势:

  • 自动分页:PageHelper 会自动解析执行的SQL语句,并根据提供给的页码和每页显示的记录数,自动添加分页相关的SQL片段,从而返回正确的分页结果。无需在SQL语句中手动编写复杂的分页逻辑
  • 配置简单:在Spring Boot 项目中通过添加依赖和简单配置就可以启动它
  • 易于集成:PageHelper 可以与 Mybatis 很好的集成
  • 性能优化:采用物理分页的方式,相比于内存分页,可以减少内存消耗并提高查询性能

7. ElastriSearch

开始在Elasticsearch中搜索 |弹性文档

Quick start | Elasticsearch Guide 8.5 | Elastic

是一款开源分布式搜索引擎,其独特之处在于其近乎实时的数据检索能力,为用户提供了迅速、搞笑的信息查询体验

ES所解决的问题:

  • 全文检索(全部字段)
  • 模糊查询
  • 数据分许(提供分析雨打,例如聚合)

搜索原理

正派索引(Forward Index)

是一种索引机制,它按照文档的顺序来组织顺序,通常是按照文档ID或者其他唯一的标识进行排序。在正排索引中,索引的键是文档的标识符,而索引的值则是文档的详细信息

当知道一个文档的ID时,可以通过正排索引迅速找到该文档的全部信息

倒排索引(Inverted Index)

倒排索引也被称为反向索引或逆向索引,是一种索引数据的方法,与正排索引不同。倒排索引时按照文档中的词汇来组织,也就是说在倒排索引中,索引的键时文档集合中出现过的每个独特的词汇或关键词,索引的值时包含该关键词的所有文档的标识符,以及可选的额外信息

基本概念

基本使用

增加

复制代码
PUT /employee/_doc/1
{
    "first_name" : "John",
    "last_name" :  "Smith",
    "age" :        25,
    "about" :      
    "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

查询

GET /employee/_doc/1

GET /employee/_search

删除

DELETE /employee/_doc/1

删除索引:DELETE /employee

修改

复制代码
POST /employee/_update/3
{
    "doc" : {
    "last_name" : "mark"
     }
}

分词器

根据钱买你学习的倒排索引的概念。倒排索引是按照文档中的词汇来组织的,索引的键是文档集合中出现过的每个独特词汇或关键词。那么es是怎么将这些关键词提取出来的呢》这其实就是es中的分词器在起着作用,它负责将文本切成一个个有意义的词语,已建立索引和搜索和分析

需要安装中⽂分词器ik

ik分词器

https://github.com/infinilabs/analysis-ik/releases?page=3

下载完成后将其压随后放置在:es容器内/usr/share/elasticsearch/plugins⽬录下,也可以通过配置 挂载⽬录的⽅式将插件放在挂载⽬录下

修改分词器插件命名,将8.5.2改成8.5.3。 编辑插件配置⽂件:plugin-descriptor.properties⽂件修改版本号,修改成和es版本号一致

GET _cat/plugins

分词模式

ik_smart(最少切分)

ik_max_word(最新粒度划分)

8. Nginx

nginx

Nginx是一个高性能的HTTP和反向代理Web服务器。它的主要功能包括反向代理、负载均衡和动静分离等。正因为Nginx的这些功能能够为系统带来性能和安全方面的诸多优势,在项目部署时需要引入Nginx组件

功能介绍

反向代理

正向代理:正向代理通常指客户端通过代理服务器来访问互联网上的其他服务器,在这种情况下,客户端配置了代理设置(注意这个代理是在客户端配置的),所有对外的请求都会先发到代理服务器上,再由代理服务器转发到真正的目标服务器,这样的好处包括但不限于:

  • 隐私保护:客户端的真实IP地址不会直接暴露给外部服务器
  • 缓存:如果代理服务器具有缓存功能,那么对于频繁请求的数据,可以直接从缓存中返回结果,以提高响应速度
  • 内容过滤:组织或企业可以使用正向代理对员工的上网行为进行监控或者过滤不合适的网站

反向代理:反向代理则是指客户端直接访问的服务器实际上是一个代理服务器(注意代理服务器在服务器配置),这个代理服务器接收客户端的请求后,会将请求转发给真正的后端服务器。客户端本身是不知道这个代理服务器存在的,反向代理的应用场景包括:

  • 负载均衡:通过反向代理可以在多个后端服务器之间分配请求,以分散单个服务器的压力
  • 安全性:隐藏真实的后端服务器地址,增加一层安全防护
  • 缓存于加速:类似于正向代理,反向代理也可以实现缓存空能,减少后端服务器的负载并加快响应速度

负载均衡

为了避免单点故障或者现有的请求使服务器压力大无法承受,需要搭建一个服务器集群,将原先请求集中的单个服务器上的情况改为将请求分发到多个服务器上,将"负载"均衡的发到不同的服务器

  • 轮询法(默认模式):每个请求按时间顺序逐一分配到不同的后端服务器,适合服务器配置相差不大,性能无差异的情况
  • weight(权重模式/加权模式):指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况,这种方式比较灵活,当后端服务器性能存在差异的时候,通过权重配置,可以让服务器的性能得到充分发挥,有效利用资源
  • ip_hash:请求通过哈希算法,自动定位到该服务器,每个请求的按访问ip的hash结果分配,这样每个访客固定访问到一个后端服务器
  • 最少连接(least_conn):nginx会统计每个后端服务器的活动链接说,当有新的请求到来时,将请求分配到活动连接数最少的服务器上,能够根据服务器的实际负载情况动态分配请求,将新请求分配到当前连接数最少的服务器上,避免某些服务器负载过高而其他服务器负载过低情况

动静分离

动:动态资源,指的是通过请求服务器获取的资源

静:静态资源,值得使不需要铜鼓请求服务器就可以得到的资源:css、html、jpg、js等文件

修改配置

upstream⽤来配置后端服务器组,这个服务器组就是我们请求动态资源时,请求的后端服务器的ip和端⼝。

第⼆处是在server块当中增加 location ⽤来配置所有以 /bitoj-dev/ 开头的请求都代理到我们 upstream 中配置的服务器 组当中。

修改完配置之后记得重启nginx容器或者重载nginx。

配置不同的负载均衡算法:

复制代码
// 轮询
upstream bitoj{
     server 本机ip:9201;
     server 本机ip:9301;
}

// 加权轮询
upstream bitoj{
     server 本机ip:9201,weight=1;
     server 本机ip:9301,weight=2;
}


// ip_hash
upstream bitoj{
     server 本机ip:9201;
     server 本机ip:9301;
     ip_hash
}

// 最少连接数
upstream bitoj{
     server 本机ip:9201;
     server 本机ip:9301;
     least_conn;
}

错误学习

1. WebFlux与Spring MVC不相容

Spring Cloud Gateway 基于 WebFlux (reactive) 运行,classpath 上不能同时存在 Spring MVC 的 DispatcherServlet。Spring Boot 启动时检测到二者并存,直接拒绝启动。

原因在于依赖security中的Jwt时会连带引入其中的GlobalExceptionHandler

全局异常处理与网关服务不相容

引入了两个无用的bean

通过修改结构解决

2. 网关数据源缺失

由于网关引入了 oj-common-core依赖,而oj-common-core中为了实现自动配置引入了mybatis-plus,使得网关因找不到mybatis-plus配置而启动失败

相关推荐
万里侯9 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
Flynn Liang18 小时前
流量治理不是限流那么简单:I/O 密集型 Java 服务的 6 层防线
java·微服务·高并发·限流·熔断·系统稳定性·resilience4j
草莓熊Lotso1 天前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构
Eyfcom1 天前
〖物流云原生实战 05〗Service Mesh 在快递系统微服务治理中的应用:从“代码侵入”到“基础设施下沉”
微服务·云原生·service_mesh·快递系统·物流云原生实战
草莓熊Lotso1 天前
【C++ 基于微服务的即时通讯系统】用户服务之Redis数据层落地:会话、登录状态与验证码全封装
数据库·c++·redis·微服务·语音识别
小南家的青蛙5 天前
微服务架构下基于k8s的流水线构建实战
微服务·k8s·流水线
小南家的青蛙6 天前
Spring Cloud 微服务熔断限流实战
微服务
猫猫不是喵喵.8 天前
从0到1创建一个微服务项目
java·数据库·微服务·1024程序员节
htzyl2068 天前
别急着上微前端:从 6 个场景倒推 Module Federation 2.0 与 qiankun 2.x 的选型
前端·微服务