MongoDB（55）如何监控分片集群？

监控MongoDB分片集群是确保系统性能、稳定性和可扩展性的关键。可以通过各种工具和方法来监控MongoDB分片集群的健康状态、性能指标和资源使用情况。以下是一些常用的监控方法和工具，并结合代码示例来展示如何实现监控。

常用监控方法和工具

1. MongoDB自身的监控工具：

   • MongoDB监控命令 ：如db.stats()、sh.status()等。
   • MongoDB Cloud Manager 和 Ops Manager：官方提供的监控和备份解决方案。
   • MongoDB Atlas：一种数据库即服务（DBaaS）解决方案，包含内置的监控和告警功能。

2. 开源监控工具：

   • Prometheus + Grafana：组合使用来收集和展示MongoDB性能指标。
   • Elastic Stack（ELK）：ElasticSearch、Logstash和Kibana，用于日志分析和监控。

3. 第三方服务：

   • New Relic 、Datadog：提供综合的监控解决方案，支持MongoDB的性能监控。

配置和使用MongoDB监控命令

使用db.stats()获取数据库统计信息

use myDatabase;
var stats = db.stats();
printjson(stats);

使用sh.status()查看分片状态

sh.status();

使用Prometheus和Grafana进行监控

1. 安装并配置Prometheus MongoDB Exporter

Prometheus MongoDB Exporter是一个收集MongoDB性能指标的工具。

安装MongoDB Exporter：

wget https://github.com/percona/mongodb_exporter/releases/download/v0.20.4/mongodb_exporter-0.20.4.linux-amd64.tar.gz
tar -xzf mongodb_exporter-0.20.4.linux-amd64.tar.gz
cd mongodb_exporter-0.20.4.linux-amd64
./mongodb_exporter --mongodb.uri "mongodb://localhost:27017"

配置Prometheus：

编辑Prometheus的配置文件prometheus.yml：

scrape_configs:
  - job_name: 'mongodb'
    static_configs:
    - targets: ['localhost:9216']

启动Prometheus：

./prometheus --config.file=prometheus.yml

2. 配置Grafana

安装Grafana：

# For Debian/Ubuntu
sudo apt-get install -y software-properties-common
sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"
sudo apt-get update
sudo apt-get install grafana

# Start Grafana
sudo systemctl start grafana-server
sudo systemctl enable grafana-server

配置数据源：

1. 访问Grafana: http://localhost:3000
2. 登录默认账户（admin/admin）。
3. 添加Prometheus作为数据源（Settings -> Data Sources -> Add data source -> Prometheus）。

创建仪表盘：

1. 添加新的仪表盘（Dashboards -> New Dashboard）。

2. 添加一个面板（Add Panel），选择Prometheus作为数据源，并输入查询语句，如：

   sum(rate(mongodb_opcounters_insert_total[5m])) by (instance)

使用Elastic Stack（ELK）进行监控

1. 安装ElasticSearch、Logstash和Kibana

以Ubuntu为例：

# Install ElasticSearch
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update && sudo apt-get install elasticsearch
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch

# Install Logstash
sudo apt-get install logstash
sudo systemctl start logstash
sudo systemctl enable logstash

# Install Kibana
sudo apt-get install kibana
sudo systemctl start kibana
sudo systemctl enable kibana

2. 配置MongoDB日志收集

编辑Logstash配置文件/etc/logstash/conf.d/mongodb.conf：

input {
  file {
    path => "/var/log/mongodb/mongod.log"
    start_position => "beginning"
    type => "mongodb"
  }
}

filter {
  if [type] == "mongodb" {
    grok {
      match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
    }
    date {
      match => [ "timestamp", "ISO8601" ]
    }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
  }
  stdout { codec => rubydebug }
}

启动Logstash：

sudo systemctl restart logstash

3. 配置Kibana

访问Kibana: http://localhost:5601

1. 创建索引模式（Index Patterns），选择logstash-*。
2. 创建可视化面板（Visualizations）和仪表盘（Dashboards）。

结论

监控MongoDB分片集群是确保其高效运行的关键。通过MongoDB内置的监控命令、Prometheus + Grafana、Elastic Stack等工具，可以全面监控MongoDB分片集群的健康状态和性能指标。通过示例代码和配置，可以帮助你快速搭建并实现对MongoDB分片集群的监控。