Docker+Consul+Registrator 实现服务注册与发现

第四阶段

时 间:2023年8月8日

参加人:全班人员

内 容:

Docker+Consul+Registrator

实现服务注册与发现

目录

一、服务注册中心引言

CAP理论是分布式架构中重要理论:

二、服务注册中心软件

(一)ZooKeeper

(二)Eureka

(三)Etcd

(四)Consul

常用的服务发现产品之间的比较:

三、Consul介绍

(一)Consul主要功能:

(二)Consul工作模式:

(三)架构设计

(四)架构优势

[四、构建自动发现的 Docker 服务架构](#四、构建自动发现的 Docker 服务架构)

[(一)建立 Consul 服务](#(一)建立 Consul 服务)

1、Consul集群部署

2、consul高可用

(二)安装consul

1、下载consul二进制包

3、查看集群信息

4、通过API获取集群信息

[五、容器服务自动加入 Nginx 集群](#五、容器服务自动加入 Nginx 集群)

[1. 基于 Registrator 镜像部署容器](#1. 基于 Registrator 镜像部署容器)

[2. 测试服务发现功能是否正常](#2. 测试服务发现功能是否正常)

[3. 验证Tomcat服务是否注册到了consul集群](#3. 验证Tomcat服务是否注册到了consul集群)

[4. 安装 consul-template](#4. 安装 consul-template)

[5. 准备 template nginx 模板文件](#5. 准备 template nginx 模板文件)

[6. 编译安装 nginx](#6. 编译安装 nginx)

[7. 配置 nginx](#7. 配置 nginx)

[8. 配置并启动 consul-template](#8. 配置并启动 consul-template)

[9. 访问 template-nginx 配置文件](#9. 访问 template-nginx 配置文件)

[10. 增加一个测试的容器节点](#10. 增加一个测试的容器节点)


一、服务注册中心引言

服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务,原则上都应存在或者支持多个提供者,这是由微服务的分布式属性决定的。

更进一步,为了支持弹性扩缩容特性,一个微服务的提供者的数量和分布往往是动态变化的,也是无法预先确定的。因此,原本在单体应用阶段常用的静态LB机制就不再适用了,需要引入额外的组件来管理微服务提供者的注册与发现,而这个组件就是服务注册中心。

微服务-将一个大型的单体架构拆分成多个小的服务组件。

CAP理论是分布式架构中重要理论:

一致性(Consistency) (所有节点在同一时间具有相同的数据)

可用性(Availability) (保证每个请求不管成功或者失败都有响应)

分隔容忍(Partition tolerance) (系统中任意信息的丢失或失败不会影响系统的继续运作)

二、服务注册中心软件

(一)ZooKeeper

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

(二)Eureka

Eureka是基于REST(Representational State Transfer)服务,主要以AWS云服务为支撑,提供服务发现并实现负载均衡和故障转移。我们称此服务为Eureka服务。Eureka提供了Java客户端组件,Eureka Client,方便与服务端的交互。客户端内置了基于round-robin实现的简单负载均衡。在Netflix,为Eureka提供更为复杂的负载均衡方案进行封装,以实现高可用,它包括基于流量、资源利用率以及请求返回状态的加权负载均衡。

(三)Etcd

etcd 是一个分布式键值对存储系统,由coreos 开发,内部采用 raft 协议作为一致性算法,用于可靠、快速地保存关键数据,并提供访问。通过分布式锁、leader选举和写屏障(write barriers),来实现可靠的分布式协作。etcd集群是为高可用、持久化数据存储和检索而准备。

(四)Consul

Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置。 与其他分布式服务注册与发现的方案比如 Airbnb 的 SmartStack 等相比,Consul 的方案更"一站式",内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案,不再需要依赖其他工具(比如 ZooKeeper 等)。使用起来也较为简单。Consul 用 Golang 语言实现,因此具有天然可移植性(支持 Linux、windows 和 Mac OS X); 安装包仅包含一个可执行文件,方便部署,与 Docker 等轻量级容器可无缝配合。

常用的服务发现产品之间的比较:

三、Consul介绍

Consul是一个分布式,高可用且支持多数据中心的服务发现,配置和编排工具。 Consul支持大规模部署,配置和维护面向服务的体系结构。

(一)Consul主要功能:

1、服务发现

通过DNS或HTTP接口使得消费者发现服务,应用程序可以轻松找到所依赖的服务。


2、健康检查

防止将请求转发不健康的主机。


3、键值存储

可以使用分层键/值存储,比如功能标记、动态配置等。


4、多数据中心

开箱即用,不需要复杂的配置。这就意味这不用建立抽象的逻辑来扩展多个地区。

(二)Consul工作模式:

1、Consul agent是Consul核心组件,分为client和server两种工作模式。

默认以client模式运行,提供服务注册、健康检查、

转发查询给server leader。

server模式启动时使用-server选项指定,用于维护Consul集群状态、Raft协议进行选举。

2、agent必须在每个Consul节点运行,所有运行Consul agent节点构成Consul集群。

3、官方建议Consul集群至少3或5个节点运行Consul agent server模式,client节点不限。

4、通过join或rejoin选项加入集群。一旦加入,集群信息使用gossip算法同步到整个集群节点。

(三)架构设计

在现实工作中,我们一直渴望着追求提供高质量、高可用的服务架构体系,同时减少不必要的部署和维护代价,减少容错率。面对如此高的要求,可以有两种架构方案:

1、Docker+Etcd+Confd+Nginx

2、Docker+Consul+Nginx

使用 Docker 将 Consul、Consul Template、Registrator 和 Nginx 组装成一个值得信任且可扩展的服务框架,这套架构在这个框架中添加和移除服务,不需要重写任何配置,也不需要重启任何服务,一切都能正常运行。工作流程很简单:

(四)架构优势

Docker+Consul+Nginx虽然看起来是三个组件的运用,但却证明是一个有机的整体。它们互相联系、互相作用,完全满足我们对高可用、高效服务架构方案的需求,是Docker生态圈中最理想的组合之一,具有以下优势:

1、自动发现与注册组件consul使用 Raft 算法来保证一致性,比复杂的Paxos 算法更直接。相比较而言,zookeeper 采用的是 Paxos,而 etcd 使用的则是 Raft;

2、支持多数据中心,多数据中心集群可以避免单数据中心的单点故障,zookeeper 和 etcd 均不提供多数据中心功能的支持;

3、自动、实时发现及无感知服务刷新,具备资源弹性,伸缩自如;

4、支持健康检查,负载能动态在可用的服务实例上进行均衡,etcd 不提供此功能;

5、支持足够多台Docker容器(前提架构资源足以保证性能支撑);

6、支持http 和dns 协议接口,zookeeper 的集成较为复杂,etcd 只支持 http 协议;

7、服务规模方便进行快速调整,官方提供web管理界面,etcd 无此功能;

8、Consul template 搭配consul使用,支持多种接入层,如Nginx、Haproxy。

四、构建自动发现的 Docker 服务架构

(一)建立 Consul 服务

要想利用 Consul 提供的服务实现服务的注册与发现,我们需要建立 Consul 服务。在 Consul 方案中,每个提供服务的节点(Docker主机)上都要部署和运行 Consul 的 client,所有运行 Consul agent节点的集合构成 Consul Cluster。Consul agent 有两种运行模式:Server 和 Client。 这里的 Server 和 Client 只是 Consul 集群层面的区分,与搭建在 Cluster 之上的应用服务无关。以 Server 模式运行的 Consul agent 节点用于维护 Consul 集群的状态,官方建议每个 Consul Cluster 至少有 3 个或以上的运行在 Server mode 的 Agent,Client 节点不限。

1、Consul集群部署

如下图所示,左边三台Consul agent server 集群通过选举,选出一台Leader。来管理右边的client。获取集群状态信息。

Consul agent server -bootstrap自动选举本机为Leader。管理台client。获取集群信息。

2、consul高可用

3台允许坏1台;5台允许坏2台

|---------|-----------------|------------------------------|
| 主机名 | IP地址 | 软件 |
| huyang1 | 192.168.100.121 | nginx consul consul-template |
| huyang2 | 192.168.100.122 | docker-ce registrator |
| huyang3 | 192.168.100.123 | docker-ce registrator |

(二)安装consul

1、下载consul二进制包

下载地址 Install | Consul | HashiCorp Developer

[root@huyangl ~]# unzip consul_0.9.2_linux_amd64.zip

[root@huyangl ~]# mv consul /usr/bin/

[root@huyangl ~]# nohup consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=192.168.100.131 -client=0.0.0.0 -node=consul-server01 &> /var/log/consul.log &

配置项说明:

****agent:****运行一个consul代理。

****-server :****切换代理到服务器模式。

****-bootstrap:****用来控制一个 server 是否在 bootstrap 模式,在一个 datacenter 中只能 有一个 server 处于 bootstrap 模式,当一个 server 处于 bootstrap 模式时,可以自己 选举为 raft leader。

****-data-dir :****参数指定数据存储目录

****-bind -bind:****该地址用来在集群内部的通讯,集群内的所有节点到地址都必须是可达的,默认是 0.0.0.0。

-ui: 参数指定开启 UI 界面,这样可以通过 ****http://localhost:****8500/ui 这样的地址访问 consul 自带的 web UI 界面。

-client consul绑定在哪个 client 地址上,这个地址提供 HTTP、DNS、RPC 等服务, 默认是 127.0.0.1。

****-node:****节点在集群中的名称,在一个集群中必须是唯一的,默认是该节点的主机名。

安装 consul 是用于服务注册,也就是容器本身的一些信息注册到 consul 里面,其他程 序可以通过 consul 获取注册的相关服务信息,这是就是所为的服务注册与发现。

3、查看集群信息

查看huyangl ~集群成员信息

[root@huyangl ~]# consul members

查看huyangl ~集群中的leader

[root@huyangl ~]# consul info | grep leader

查看huyangl ~集群中管理的服务

[root@huyangl ~]# consul catalog services

查看监听的端口:

启动consul后默认会监听5个端口:

8300: replication、leader farwarding的端口

8301: lan cossip的端口

8302: wan gossip的端口

8500: web ui界面的端口

8600: 使用dns协议查看节点信息的端口

可参考下图查看端口的意思:

4、通过API获取集群信息

[root@huyangl ~]# curl 127.0.0.1:8500/v1/status/peers //查看集群 server 成员

[root@huyangl ~]# curl

127.0.0.1:8500/v1/status/leader //集群 Raf leader

[root@huyangl ~]# curl

127.0.0.1:8500/v1/catalog/services

//注册的所有服务

[root@huyangl ~]# curl

127.0.0.1:8500/v1/catalog/nginx //查看 nginx 服务信息

[root@huyangl ~]# curl

127.0.0.1:8500/v1/catalog/nodes //集群节点详细信息

五、容器服务自动加入 Nginx 集群

1. 基于 Registrator 镜像部署容器

Registrator 服务会检查应用服务容器的运行状态,进行自动注册和注销 docker 容器服务到服务配置中心Consul上。目前支持与 Consul、etcd 和 SkyDNS2等软件进行整合。

在 192.168.100.132/192.168.100.133 节点操作

1)安装docker-ce

[root@huyang2 ~]# wget -O

/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

[root@huyang2 ~]# yum -y install yum-utils device-mapper-persistent-data lvm2

[root@huyang2 ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

[root@huyang2 ~]# ls /etc/yum.repos.d/

[root@localhost ~]# yum -y install docker-ce

[root@localhost ~]# systemctl start docker

[root@localhost ~]# systemctl enable docker

2)阿里云镜像加速器

阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台

[root@huyang2 ~]# cat << END > /etc/docker/daemon.json

{

        "registry-mirrors":[ "https://nyakyfun.mirror.aliyuncs.com" ]

}

END

[root@huyang2 ~]# systemctl daemon-reload

[root@huyang2 ~]# systemctl restart docker

[root@huyang2 ~]# docker version

3)部署registrator容器服务

注意192.168.100.133主机需要注意IP地址

****[root@huyang2 ~]#****docker run -d --name=registrator --net=host -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest -ip=192.168.100.132 consul://192.168.100.131:8500

****[root@huyang3 ~]#****docker run -d --name=registrator --net=host -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest -ip=192.168.100.133 consul://192.168.100.131:8500

2. 测试服务发现功能是否正常

创建Tomcat测试页面,并部署tomcat测试容器

1)huyang2主机

[root@huyang2 ~]# mkdir /web

[root@huyang2 ~]# vim /web/index.jsp

配置如下:
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
	<head>
		<title>docker consul test page</title>
	</head>
	<body>
		<% out.println("Welcome to consul site,http://www.consul.com");%>
	</body>
</html>

[root@huyang2 ~]# docker run -itd -p:8001:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang2-t1 -h huyang2-t1 tomcat

[root@huyang2 ~]# docker run -itd -p:8002:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang2-t2 -h huyang2-t2 tomcat

访问网页测试:192.168.100.132:8001

192.168.100.132:8002

2)huyang3主机

[root@huyang3 ~]# mkdir /web

[root@huyang3 ~]# vim /web/index.jsp

配置如下:
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
	<head>
		<title>docker consul test page</title>
	</head>
	<body>
		<% out.println("Welcome to consul site,http://www.consul.com");%>
	</body>
</html>

[root@huyang3 ~]# docker run -itd -p:8001:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang3-t1 -h huyang3-t1 tomcat

[root@huyang3 ~]# docker run -itd -p:8002:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang3-t2 -h huyang3-t2 tomcat

访问网页测试:192.168.100.133:8001

192.168.100.133:8002

3. 验证Tomcat服务是否注册到了consul集群

浏览器输入 http://192.168.100.131:8500,点击"NODES",再点击"consul-server01"", 会出现 5 个服务。

[root@huyang1 ~]#

curl 127.0.0.1:8500/v1/catalog/services

从以上结果中发现Tomcat服务已经注册到 consul 里面,说明服务正常

4. 安装 consul-template

Consul-Template 是基于 Consul 的自动替换配置文件的应用。在 Consul-Template 没出现之前,构建服务大多采用的是 Zookeeper、Etcd+Confd 这样类似的系统。

Consul-template 是一个守护进程,用于实时查询 consul 集群信息,并更新文件系统上的任意数量的指定模板,生成配置文件,更新完成以后可以选择运行 shell 命令执行更新操作,例如:重新加载 nginx。

Consul-Template 可以查询 Consul 中的服务目录、Key、Key-values 等。这种强大的抽象功能和查询语言模板可以使 Consul-Template 特别适合动态的创建配置文件。例如:创建 Apache/Nginx Proxy Balancers、Haproxy Backends、Varnish Servers、Application Configurations 等。

5. 准备 template nginx 模板文件

[root@huyang1 ~]# mkdir consul

[root@huyang1 ~]# cd consul/

[root@huyang1 consul]# vim /root/consul/nginx.tmp

6. 编译安装 nginx

[root@huyang1 ~]# yum -y install gcc gcc-c++ make pcre-devel zlib-devel openssl-devel

[root@huyang1 ~]# tar xf nginx-1.16.0.tar.gz

[root@huyang1 ~]# cd nginx-1.16.0/

[root@huyang1 nginx--1.16.0]# ./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_realip_module --with-pcre --with-http_ssl_module && make -j 2 && make install

7. 配置 nginx

[root@huyang1 ~]# vim

/usr/local/nginx/conf/nginx.conf

include vhost/*.conf; //在 http 段里面添加虚拟主机目录

[root@huyang1 ~]# mkdir /usr/local/nginx/conf/vhost/

[root@huyang1 ~]# /usr/local/nginx/sbin/nginx

8. 配置并启动 consul-template

手动上传 consul-template_0.19.3_linux_amd64.zip 包到/root 目录下

[root@huyang1 ~]#wget https://releases.hashicorp.com/consul-template/0.19.3/consul-template_0.19.3_linux_amd64.zip

[root@huyang1 ~]# unzip consul-template_0.19.3_linux_amd64.zip

[root@consul ~]# mv consul-template /usr/bin/

在前台启动 template 服务,需要指定 template 模板文件及生成路径即可,启动后不要按 ctrl+c 中止。

[root@huyang1 ~]# consul-template -consul-addr 192.168.100.131:8500 -template "/root/consul/nginx.tmp:/usr/local/nginx/conf/vhost/crushlinux.conf:/usr/local/nginx/sbin/nginx -s reload" --log-level=info

生成的配置文件如下。

[root@consul ~]# cat

/usr/local/nginx/conf/vhost/crushlinux.conf

[root@huyang1 ~]# netstat -lnpt | grep nginx

9. 访问 template-nginx 配置文件

通过浏览器访问nginx 监听的8080 端口

10. 增加一个测试的容器节点

1)增加一个tomcat容器节点,测试服务发现及配置更新功能。

[root@huyang2 ~]# docker run -itd -p:8003:8080 -v /web:/usr/local/tomcat/webapps/ROOT --name huyang2-t3 -h huyang2-t3 tomcat

2)观察consul-template服务,他会自动从模板更新/usr/local/nginx/conf/vhost/crushlinux.conf 文件内容,并且重载 nginx 服务。

3)查看/usr/local/nginx/conf/vhost/crushlinux.conf 文件内容

[root@huyang1 ~]# cat

/usr/local/nginx/conf/vhost/crushlinux.conf

相关推荐
叶北辰CHINA30 分钟前
nginx反向代理,负载均衡,HTTP配置简述(说人话)
linux·运维·nginx·http·云原生·https·负载均衡
不惑_1 小时前
在 Ubuntu 安装 Python3.7(没有弯路)
linux·运维·ubuntu
theo.wu2 小时前
使用Buildpacks构建Docker镜像
运维·docker·容器
枫叶丹44 小时前
【在Linux世界中追寻伟大的One Piece】进程信号
linux·运维·服务器
刻词梨木5 小时前
ubuntu中挂载点内存不足,分配不合理后使用软链接的注意事项
linux·运维·ubuntu
灯火不休ᝰ5 小时前
[win7] win7系统的下载及在虚拟机中详细安装过程(附有下载文件)
linux·运维·服务器
HHoao9 小时前
Ubuntu启动后第一次需要很久才能启动GTK应用问题
linux·运维·ubuntu
小灰兔的小白兔9 小时前
【Ubuntu】Ubuntu常用命令
linux·运维·ubuntu
winds~9 小时前
ubuntu中软件的进程管理-结束软件运行
linux·运维·ubuntu
bush410 小时前
使用root账号ssh登录虚拟机ubuntu
运维·ubuntu·ssh