【橘子ES】如何本地调试ES源码

一、简介

我们在研究一个中间件源码的时候,其实最好的办法就是编译他的源码,并且通过源码启动,然后这样可以在服务端进行debug,方便我们更加清晰的了解他的运行流程。

这里我们来编译启动一下Elasticsearch8.1.0的版本。

二、源码编译

1、在编译之前要准备好jdk17的环境,因为从es8之后jdk要求就是jdk17。

2、准备一个发行版的安装包,比如我们这里是8.1.0,那我们就下载一个8.1.0的版本

发行版的作用是为我们的源码启动提供一些配置环境,比如配置文件,权限文件,jvm文件,等等那些你以前通过安装包启动时候需要的脚本和文件,这里依然需要。

3、idea最好是2024左右的,别太老了,不然会有一些奇怪的问题。

4、一个比较好的网络环境,因为我们要下载一些安装文件,或者可以配置国内的比如阿里的源都可以。

在准备好之后我们就通过git clone把源码拉下来,或者直接下载都可以,对好版本8.1.0即可。

然后用idea打开项目,选择好jdk,就把平时那几个需要配置jdk版本的地方都指向jdk17即可,除了常见的那几个地方一定要把setting下的gradle的java版本指定好。

执行 ./gradlew localDistro (注意jdk版本17)

编译完成后执行 导入项目 使用 idea open项目下的 build.gradle,等待编译结束(这里耗时会比较长)。中间失败的多执行几次就好。其余的想配置就配置一下gradle路径那些,不想配置就idea自己接管就好。

三、配置启动 elasticsearch

编译好之后,此时我们就来配置启动es。

我们需要创建一个启动配置,内容如下。

图中的vm参数需要详细讲解一下。

json 复制代码
-Des.path.home=/Users/levi/develop/source_code/es_debug/elasticsearch-8.1.0
-Des.path.conf=/Users/levi/develop/source_code/es_debug/elasticsearch-8.1.0/config
-Djava.security.policy=/Users/levi/develop/source_code/es_debug/elasticsearch-8.1.0/config/elasticsearch.policy
-Dlog4j2.disable.jmx=true

我们这里配置了四行,其中-Dlog4j2.disable.jmx=true这个是jmx的

上面三行比较重要,-Des.path.home这个指向的是你刚才下载的发行版的路径,

-Des.path.conf这个指向你发行版的配置文件目录,你的源码会读取这里的配置,所以你可以在这下面的配置文件修改一些你的东西。因为我们这就是个单点的启动,最好把那些权限都关掉,不然害的配证书。比如我的config下面的配置文件如下:

json 复制代码
cluster.name: my-application810
node.name: node-8101
network.host: 127.0.0.1
http.port: 9202 
xpack.security.enabled: false # 关闭https
xpack.security.transport.ssl.enabled: false # 关闭ssl

其余的jvm那些你也可以配置一下,源码启动就会按照那个jvm参数的内容去读取。

下面我们来说第三个配置-Djava.security.policy,es在启动的时候有很多jdk权限要开启,源码这里没有,我们需要自己创建一个新的.policy文件里面指定一下,也就是我的/Users/levi/develop/source_code/es_debug/elasticsearch-8.1.0/config/elasticsearch.policy这个发行版下面创建的。这个东西很麻烦,一开始我并不知道里面写啥,每次运行一次根据报错的信息一点一点的把权限加上去的。这里我给出我的一个内容。

json 复制代码
grant {
  permission org.elasticsearch.secure_sm.ThreadPermission "*";
  permission java.lang.RuntimePermission "*";
  permission java.lang.RuntimePermission "accessDeclaredMembers"; 
  permission java.lang.RuntimePermission "getenv.AWS_RETRY_MODE"; 
  permission org.elasticsearch.SpecialPermission "*"; 
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
  permission java.lang.RuntimePermission "getClassLoader";
  permission java.lang.RuntimePermission "setContextClassLoader";
  permission org.elasticsearch.ThreadPermission "modifyArbitraryThreadGroup";
  permission java.lang.management.ManagementPermission "monitor";
  permission java.util.PropertyPermission "es.distribution.flavor", "read";
  permission java.util.PropertyPermission "*", "read";
  permission java.lang.RuntimePermission "getProtectionDomain";
};

此时我们就配置完了jvm参数。此时就可以启动了。

四、启动遇到的问题

1、版本不一致

如果你下载的发行版和你的源码版本差异比较多,那就会报版本错误,此时你最好去下一个一致的版本。或者要是版本差异不大,可以直接在源码中修改版本,让他强行读取。org.elasticsearch.Version这个类里面的CURRENT和你的发行版保持一致即可,但是这样可能有兼容性问题,我建议还是下一个一致的版本比较到位。

2、Unknown codebases

这是一些权限问题,你可以根据报错的Unknown codebases内容到resources/org/elasticsearch/bootstrap/security.policy这个文件中把对应的grant部分注释了,也可以像我一样,直接全删了,不影响你的启动。因为他是一些内部的校验。

至此,我们要做的就都ok了,启动之后。通过浏览器访问一下。

没有问题。

3、高版本

其实我一开始是想编译8.16.1这个版本的,因为我日常用的就是这个版本,但是从8.3.0之后的版本启动流程改了很多,有些地方我没摸准,就启动失败了,后续如果编译好了,再补充高版本的。

相关推荐
柳贯一(逆流河版)5 小时前
ElasticSearch 实战:全文检索与数据聚合分析的完整指南
大数据·elasticsearch·全文检索
Jammingpro6 小时前
【Git版本控制】Git初识、安装、仓库初始化与仓库配置(含git init、git config与配置无法取消问题)
java·git·elasticsearch
失散139 小时前
分布式专题——44 ElasticSearch安装
java·分布式·elasticsearch·架构
arvin_xiaoting11 小时前
#zsh# #Ubuntu# 一键安装zsh、oh-my-zsh、常用插件
linux·ubuntu·elasticsearch
bemyrunningdog12 小时前
IntelliJ IDEA合并分支到master全攻略
大数据·elasticsearch·intellij-idea
dessler13 小时前
Elasticsearch(ES)分片(Shard)和 副本分片(Replica Shard)
linux·运维·elasticsearch
paj12345678914 小时前
elasticsearch-8.12.2集群部署
java·elasticsearch
老陈头聊SEO14 小时前
提升SEO效果的长尾关键词优化策略与实践分享
其他·搜索引擎