服务器日志自动上传到阿里云OSS备份

BinaryBoss2025-01-21 22:41

背景

公司服务器磁盘空间有限，只能存近15天日志，但是有时需要查看几个月前的日志，需要将服务器日志定时备份到某个地方，需要查询的时候有地方可查。

针对这个问题，想到3个解决方法：

1、买一个配置比较低，磁盘空间比较大的服务器，专门用来存储其他服务器日志

2、将服务器日志实时同步到阿里云日志服务

3、将服务器日志定期同步到阿里云OSS

方法1比较传统，且有丢失风险；由于我们历史日志查询频率不会很高（可能发现历史问题了，才能查询一次），所以优先选择的方法3.

步骤

1、先在阿里云上开通存储服务OSS，创建好bucket

2、在服务器上安装ossutil，参考如何安装ossutil_对象存储(OSS)-阿里云帮助中心（注意，如果服务器是阿里云的ECS，配置Endpoint的时候一定要输入阿里云的内网Endpoint路径，例如oss-cn-hangzhou-internal.aliyuncs.com，否则传输速度很慢）

3、在服务器上编写执行脚本xxx-log-backup.sh

复制代码

#!/bin/bash

# 获取当前日期的前十天的日期
date_10_days_ago=$(date -d "-10 days" +%Y-%m-%d)

# 创建指定路径
ossutil mkdir oss://xxx-log-backup/项目名称/$date_10_days_ago

# 拷贝指定文件，下面语句表示拷贝"/home/admin/项目名称/logs"路径下"xxx_2025-01-10*"的所有日志
ossutil cp /home/admin/项目名称/logs oss://xxx-log-backup/项目名称/$date_10_days_ago --include "xxx_${date_10_days_ago}*" --ignore-existing

4、先执行sh xxx-log-backup.sh看下日志是否正常拷贝到OSS，正常情况下如下图

5、定时执行xxx-log-backup.sh，crontab -e

复制代码

0 2 * * * sh /home/admin/log-backup/xxx-log-backup.sh >> /home/admin/log-backup/xxx-log-backup.log