自动化运维中间件架构概况

kubernetes+jenkins

安装k8s后

设置 Jenkins 任务 :
- 在 Jenkins 中创建一个新的任务：
  - 配置源代码管理：选择 Git，并提供 GitLab 仓库的 URL、凭据和分支信息。
  - 配置构建步骤：选择 Maven 构建，并设置 Maven 的路径和构建命令（例如，clean install）。
  - 配置后续操作：
    - 如果您要部署到 Kubernetes，请使用 Kubernetes 插件或者 kubectl 命令在 Jenkins 中配置 Kubernetes 集群的凭据和服务器信息。
    - 如果您需要其它定制化操作，可以添加适当的插件或脚本。

Prometheus+grafana

安装和配置 Prometheus:
- 下载并安装 Prometheus：访问 Prometheus 官方网站（https://prometheus.io/download），选择适合您操作系统的版本，并按照官方文档进行安装。
- 编辑 Prometheus 配置文件：
  - 打开 Prometheus 的配置文件 prometheus.yml，根据需要配置要监控的目标和指标。
  - 示例配置文件内容如下：
```
yaml复制代码scrape_configs:
  - job_name: 'node_exporter'
    static_configs:
      - targets: ['localhost:9100']
```
  - 上述示例配置了一个名为 node_exporter 的作业，监控本地主机的 9100 端口上运行的 node_exporter。
启动 Prometheus:
- 使用命令行启动 Prometheus，指定配置文件的路径。例如：./prometheus --config.file=prometheus.yml
安装和配置 Grafana:
- 下载并安装 Grafana：访问 Grafana 官方网站（https://grafana.com/grafana/download），选择适合您操作系统的版本，并按照官方文档进行安装。
- 启动 Grafana：安装完成后，使用命令行或者服务管理工具启动 Grafana。
- 配置 Grafana 连接到 Prometheus：
  - 打开 Grafana 界面，登录并导航到配置页面。
  - 添加一个数据源，选择 Prometheus，并配置 Prometheus 的地址。
  - 保存并测试数据源配置，确保成功连接到 Prometheus。
创建监控面板:
- 在 Grafana 中创建监控面板：
  - 导航到 Grafana 主界面，单击 "Create" 或 "+" 创建新的面板。
  - 选择数据源为 Prometheus，并根据需求定义查询和指标。
  - 使用 Grafana 的丰富可视化组件和选项，创建自定义的监控面板。
  - 配置面板的样式、布局和警报规则等。
展示和共享:
- 在 Grafana 中展示和共享监控面板：
  - 在 Grafana 中访问创建的监控面板，查看实时的监控数据和图表。
  - 可以将面板导出为图片或 PDF，或者使用 Grafana 的共享功能将面板链接分享给其他人。

ELK

简单了解

ELK，通常是指 Elasticsearch、Logstash 和 Kibana 这三个开源工具的组合。ELK 被广泛用于日志管理与分析，它们各自的功能如下：

Elasticsearch :
- Elasticsearch 是一个分布式、RESTful 的搜索和分析引擎，用于存储、搜索和分析数据。它可以快速地索引大量数据，并提供复杂的搜索、聚合和分析功能。
- 您可以使用 Elasticsearch 来存储各种类型的数据，包括结构化数据、非结构化数据和时间序列数据（如日志）。
Logstash :
- Logstash 是一个用于收集、处理和转发数据的工具。它支持从多种来源收集数据，经过过滤和转换后将数据发送到各种目的地。
- Logstash 通常用于收集日志数据，对数据进行结构化处理，并将数据发送到 Elasticsearch 或其他存储/分析系统中。
Kibana :
- Kibana 是一个用于数据可视化和分析的工具，它提供了丰富的图表、表格和地图等可视化组件，帮助用户直观地理解和分析存储在 Elasticsearch 中的数据。
- 使用 Kibana，您可以创建各种类型的仪表盘和报表，以及执行复杂的数据分析和查询操作。

安装和配置

安装和配置 Elasticsearch:
- 下载并安装 Elasticsearch：访问 https://www.elastic.co/downloads/elasticsearch，选择适合您操作系统的版本，并按照官方文档进行安装。
- 启动 Elasticsearch 服务：安装完成后，使用命令行或者服务管理工具启动 Elasticsearch。
安装和配置 Logstash:
- 下载并安装 Logstash：访问 https://www.elastic.co/downloads/logstash，选择适合您操作系统的版本，并按照官方文档进行安装。
- 创建 Logstash 配置文件：
  - 编辑一个 .conf 文件，定义数据来源、过滤器和输出目的地。例如，您可以创建一个 logstash.conf 文件，指定从标准输入读取数据，并将数据发送到 Elasticsearch 中。
  - 示例配置文件内容如下：
    yaml 复制代码
```
复制代码input {
  stdin { }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "myindex-%{+YYYY.MM.dd}"
  }
}
```
- 启动 Logstash：使用命令行运行 Logstash，并指定上面创建的配置文件。例如：bin/logstash -f logstash.conf
安装和配置 Kibana:
- 下载并安装 Kibana：访问 https://www.elastic.co/downloads/kibana，选择适合您操作系统的版本，并按照官方文档进行安装。
- 启动 Kibana 服务：安装完成后，使用命令行或者服务管理工具启动 Kibana。
- 连接到 Elasticsearch：打开浏览器，访问 Kibana 的地址（默认是 http://localhost:5601），并按照界面上的指引连接到已经运行的 Elasticsearch 实例。
集成和使用:
- 将 Logstash 配置为将收集的数据发送到 Elasticsearch 中：根据您的需求，编辑 Logstash 配置文件，配置数据的来源和输出目的地。
- 使用 Kibana 创建仪表盘、可视化图表和执行数据查询分析：在 Kibana 界面上，通过"Management"设置索引模式，然后使用"Discover"和"Visualize"功能来创建仪表盘和可视化图表。

Gitlab+Maven+Jenkins 构建CICD流程

配置 Jenkins 服务器：
- 下载并安装 Jenkins。您可以从 Jenkins 的官方网站（https://www.jenkins.io/）下载适合您操作系统的安装程序，并按照指南进行安装。
- 启动 Jenkins 服务并访问 Jenkins 控制台。
安装必要的插件：
- 在 Jenkins 控制台中，点击左侧导航栏的 "Manage Jenkins"。
- 然后选择 "Manage Plugins"。
- 切换到 "Available" 选项卡，搜索并选择安装 "GitLab Plugin" 和 "Maven Integration plugin" 插件。
- 安装完成后，重启 Jenkins 服务。
配置 GitLab 凭据：
- 在 Jenkins 控制台中，点击左侧导航栏的 "Credentials"。
- 点击 "System" 下的 "Global credentials"。
- 点击 "Add Credentials"。
- 在 "Kind" 中选择 "Username with password"。
- 输入您的 GitLab 用户名和访问令牌，并为凭据提供一个描述。
- 点击 "OK" 保存凭据。
创建 Jenkins 项目：
- 在 Jenkins 控制台中，点击左侧导航栏的 "New Item"。
- 输入项目名称，并选择 "Freestyle project" 或 "Pipeline"。
- 点击 "OK" 创建项目。
配置 Jenkins 项目：
- 在 "General" 部分，选择 "Git" 作为源码管理器，并提供您的 GitLab 仓库 URL。
- 在 "Credentials" 中，选择您之前配置的 GitLab 凭据。
- 在 "Branches to build" 中，选择您要构建的分支。
- 其他设置根据您的需求进行配置。
添加构建步骤：
- 在 "Build" 部分，点击 "Add build step"，选择 "Invoke top-level Maven targets"。
- 在 "Goals" 中，输入您需要运行的 Maven 命令，例如 "clean install"。
- 其他设置根据您的需求进行配置。
集成测试和部署：
- 根据您的需求，您可以在 "Build" 部分添加额外的构建步骤，例如运行集成测试、生成部署包等。
保存并构建：
- 点击 "Save" 保存 Jenkins 项目的配置。
- 点击 "Build Now" 手动触发一次构建，以验证配置是否正确。