Kubernetes 日志管理

一、基础原理：Kubernetes 中的日志来源

在深入命令之前，必须明确日志的来源机制：

• 容器标准输出（stdout/stderr） ：K8s 默认只采集容器进程写入 stdout 和 stderr 的内容。这是 kubectl logs 能读取的唯一来源。
• 日志不持久化：Pod 删除后，其日志随之消失（除非配置了日志收集器如 Fluentd、Loki、ELK）。
• 每个容器独立日志流：一个 Pod 可包含多个容器（主应用 + sidecar），每个容器有独立日志。
• 旧实例日志不可见 ：若 Pod 被重建（如滚动更新），kubectl logs 默认只显示当前运行实例的日志；需加 --previous 查看上一个容器的日志。

✅ 最佳实践：应用应将所有结构化日志输出到 stdout/stderr，避免写入容器内文件系统。

---

二、kubectl logs 核心语法与参数

2.1 基本语法

kubectl logs [-f] [-p] (POD | -l label-selector) [-c CONTAINER] [options]

2.2 关键参数说明

参数	全称	作用	注意事项
-f	--follow	实时跟踪日志（类似 tail -f）	需保持终端连接；Ctrl+C 退出
-p	--previous	显示已终止容器的日志（用于 CrashLoopBackOff 调试）	仅适用于当前 Pod 中上一个容器实例
-c	--container	指定容器名称（多容器 Pod 必须指定）	可通过 kubectl describe pod 查看容器名
-l	--selector	通过 Label 选择 Pod	仅返回第一个匹配 Pod 的日志（重要！）
-n	--namespace	指定命名空间	若未设置，默认使用 default 或上下文中的 namespace
--tail=N	---	仅显示最后 N 行日志	默认为全部；设为 0 表示全部
--all-containers	---	同时输出 Pod 中所有容器的日志	自动为每个容器添加分隔标识
--timestamps	---	在每行日志前添加 RFC3339 时间戳	便于时间对齐分析
--since=duration	---	仅显示指定时间段内的日志（如 5m, 2h）	与 --tail 互斥，优先级更高

⚠️ 重要限制 ：-l（Label 选择器）在 kubectl logs 中不会遍历所有匹配 Pod，而是按 Pod 名称字典序取第一个。这是设计行为，非 bug。

---

三、典型使用场景与命令示例

场景 1：查看单个 Pod 的主容器日志（最常用）

kubectl logs my-app-pod-7d5b8c9f4-xk2vq -n production

场景 2：实时跟踪日志（调试进行中问题）

kubectl logs -f my-app-pod-7d5b8c9f4-xk2vq -n production --tail=100

场景 3：多容器 Pod 中指定容器日志

# 先查看 Pod 有哪些容器
kubectl get pod my-pod -n staging -o jsonpath='{.spec.containers[*].name}'

# 再查看特定容器日志
kubectl logs my-pod -c app-container -n staging
kubectl logs my-pod -c nginx-sidecar -n staging

场景 4：查看所有容器日志（含 sidecar）

kubectl logs my-pod -n staging --all-containers=true

输出示例：

===> app-container <===
INFO: Server started on port 8080

===> nginx-sidecar <===
127.0.0.1 - - [09/Jan/2026:10:00:00 +0000] "GET /healthz HTTP/1.1" 200

场景 5：查看崩溃前的日志（CrashLoopBackOff 调试）

kubectl logs my-failing-pod -n production --previous

场景 6：按时间范围过滤日志（替代 --tail）

# 查看最近 5 分钟日志
kubectl logs my-pod -n production --since=5m

# 查看从某时间点开始的日志（需集群支持）
kubectl logs my-pod -n production --since-time="2026-01-09T10:00:00Z"

🔔 注意：--since-time 依赖 kubelet 的日志时间戳功能，部分旧版本可能不支持。

---

四、高级技巧：批量日志收集与自动化

由于 kubectl logs -l 无法自动遍历多 Pod，生产环境中常需脚本辅助。

4.1 导出所有匹配 Pod 的日志（每个 Pod 一个文件）

#!/bin/bash
# save-all-pod-logs.sh

set -euo pipefail

NAMESPACE="${1:-default}"
LABEL_SELECTOR="${2:?Usage: $0 <namespace> <label-selector>}"
OUTPUT_DIR="logs_$(date +%Y%m%d_%H%M%S)"

mkdir -p "$OUTPUT_DIR"

echo "🔍 Finding pods in namespace '$NAMESPACE' with label '$LABEL_SELECTOR'..."
PODS=$(kubectl get pods -n "$NAMESPACE" -l "$LABEL_SELECTOR" --no-headers -o custom-columns=":metadata.name" 2>/dev/null)

if [ -z "$PODS" ]; then
  echo "❌ No pods found."
  exit 1
fi

echo "📦 Found $(echo "$PODS" | wc -l) pod(s). Exporting logs to '$OUTPUT_DIR'..."

while IFS= read -r POD; do
  if [ -n "$POD" ]; then
    echo "  → $POD"
    kubectl logs -n "$NAMESPACE" "$POD" --all-containers=true --tail=1000 > "$OUTPUT_DIR/${POD}.log"
  fi
done <<< "$PODS"

echo "✅ Done. Logs saved in: $OUTPUT_DIR"

使用方式：

chmod +x save-all-pod-logs.sh
./save-all-pod-logs.sh xiaoli "app=test-be"

4.2 合并所有日志到单个文件（带标识）

#!/bin/bash
NAMESPACE="xiaoli"
LABEL="app=test-be"
OUTPUT="combined_$(date +%Y%m%d_%H%M%S).log"

{
  echo "# Combined logs for pods with label '$LABEL' in namespace '$NAMESPACE'"
  echo "# Generated at: $(date -Iseconds)"
  echo
} > "$OUTPUT"

kubectl get pods -n "$NAMESPACE" -l "$LABEL" --no-headers -o name | while read -r pod_name; do
  POD=$(basename "$pod_name")
  echo "=== POD: $POD ===" >> "$OUTPUT"
  kubectl logs -n "$NAMESPACE" "$POD" --all-containers --timestamps --tail=500 >> "$OUTPUT" 2>&1
  echo -e "\n\n" >> "$OUTPUT"
done

echo "✅ Combined log saved to: $OUTPUT"

4.3 实时跟踪多个 Pod（开发调试用）

⚠️ 仅建议在 Pod 数量少（≤3）时使用，否则终端混乱。

#!/bin/bash
NAMESPACE="dev"
LABEL="app=my-debug-app"

kubectl get pods -n "$NAMESPACE" -l "$LABEL" --no-headers -o custom-columns=":metadata.name" | while read -r POD; do
  if [ -n "$POD" ]; then
    echo "Starting log stream for $POD..."
    kubectl logs -n "$NAMESPACE" -f "$POD" --tail=50 &
  fi
done

# 等待所有后台任务（Ctrl+C 终止全部）
wait

---

五、常见陷阱

❌ 陷阱 1：误以为 -l 会输出所有 Pod 日志

现象 ：Deployment 有 5 个副本，但 kubectl logs -l app=xxx 只输出 1 个 Pod 的日志。
原因 ：kubectl logs 设计如此，仅取第一个匹配项。
解决方案：使用上述脚本遍历所有 Pod。

---

❌ 陷阱 2：多容器 Pod 未指定 -c 导致报错

错误信息：

error: a container name must be specified for pod xxx, choose one of: [app nginx]

解决方案：

• 使用 -c <container> 指定容器；
• 或使用 --all-containers 查看全部。

---

❌ 陷阱 3：Pod 不存在或标签错误

错误信息：

Error from server (NotFound): pods "xxx" not found

排查步骤：

1. 确认命名空间正确：kubectl get ns
2. 确认标签存在：kubectl get pods -n <ns> --show-labels
3. 确认 Pod 处于 Running 状态：kubectl get pods -n <ns> -l <label>

---

❌ 陷阱 4：日志量过大导致命令卡死

建议：

• 始终使用 --tail=N（如 1000 行）限制输出；
• 避免在 CI/CD 中无限制导出日志；
• 对于长期运行服务，优先使用集中式日志系统（如 Loki + Grafana）。

---

六、安全与权限控制

6.1 RBAC 权限要求

要执行 kubectl logs，用户需具备以下 RBAC 权限：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: xiaoli
  name: pod-logs-reader
rules:
- apiGroups: [""]
  resources: ["pods/log"]
  verbs: ["get", "list"]

🔐 最小权限原则 ：仅授予必要命名空间的 pods/log 读权限，避免全集群访问。

6.2 敏感信息防护

• 日志中可能包含密码、Token、用户数据等敏感信息。
• 禁止将日志文件上传至公共仓库或未加密存储。
• 建议在日志收集层做脱敏处理（如 Fluentd 插件）。

---

七、生产环境最佳实践

场景	推荐做法
日常调试	kubectl logs -f <pod> --tail=100
多副本应用日志收集	使用脚本批量导出，或接入集中式日志系统
崩溃分析	结合 --previous + kubectl describe pod 查看事件
长期日志保留	部署 EFK（Elasticsearch+Fluentd+Kibana）或 Grafana Loki
结构化日志	应用输出 JSON 格式日志，便于后续解析
日志轮转	由容器运行时（如 containerd）或日志代理处理，K8s 不负责

📌 黄金法则 ：kubectl logs 是临时调试工具，不是生产日志解决方案。关键业务必须部署持久化、可查询、可告警的日志平台。

---

八、附录：常用命令速查表

目标	命令
查看 Pod 最近 100 行日志	kubectl logs <pod> -n <ns> --tail=100
实时跟踪日志	kubectl logs -f <pod> -n <ns>
查看多容器日志	kubectl logs <pod> -n <ns> --all-containers
查看崩溃前日志	kubectl logs <pod> -n <ns> --previous
按标签查 Pod（验证用）	kubectl get pods -n <ns> -l app=xxx
导出单 Pod 日志到文件	kubectl logs <pod> -n <ns> > app-$(date +%Y%m%d).log
查看带时间戳日志	kubectl logs <pod> -n <ns> --timestamps