服务器日志自动上传到阿里云OSS备份

背景

公司服务器磁盘空间有限,只能存近15天日志,但是有时需要查看几个月前的日志,需要将服务器日志定时备份到某个地方,需要查询的时候有地方可查。

针对这个问题,想到3个解决方法:

1、买一个配置比较低,磁盘空间比较大的服务器,专门用来存储其他服务器日志

2、将服务器日志实时同步到阿里云日志服务

3、将服务器日志定期同步到阿里云OSS

方法1比较传统,且有丢失风险;由于我们历史日志查询频率不会很高(可能发现历史问题了,才能查询一次),所以优先选择的方法3.

步骤

1、先在阿里云上开通存储服务OSS,创建好bucket

2、在服务器上安装ossutil,参考如何安装ossutil_对象存储(OSS)-阿里云帮助中心 (注意,如果服务器是阿里云的ECS,配置Endpoint的时候一定要输入阿里云的内网Endpoint路径,例如oss-cn-hangzhou-internal.aliyuncs.com,否则传输速度很慢)

3、在服务器上编写执行脚本xxx-log-backup.sh

复制代码
#!/bin/bash

# 获取当前日期的前十天的日期
date_10_days_ago=$(date -d "-10 days" +%Y-%m-%d)

# 创建指定路径
ossutil mkdir oss://xxx-log-backup/项目名称/$date_10_days_ago

# 拷贝指定文件,下面语句表示拷贝"/home/admin/项目名称/logs"路径下"xxx_2025-01-10*"的所有日志
ossutil cp /home/admin/项目名称/logs oss://xxx-log-backup/项目名称/$date_10_days_ago --include "xxx_${date_10_days_ago}*" --ignore-existing

4、先执行sh xxx-log-backup.sh看下日志是否正常拷贝到OSS,正常情况下如下图

5、定时执行xxx-log-backup.sh,crontab -e

复制代码
0 2 * * * sh /home/admin/log-backup/xxx-log-backup.sh >> /home/admin/log-backup/xxx-log-backup.log
相关推荐
张小姐的猫8 小时前
【基于 WebSocket 的多用户网页五子棋】—— 整合封装服务器模块设计实现2️⃣
服务器·websocket·网络协议
HMS工业网络9 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕10 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
星恒随风11 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
IT大白鼠12 小时前
eBPF 观测入门:用 bpftrace 给服务器装上“内核摄像头“
运维·服务器·ebpf
星恒随风12 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
分布式存储与RustFS12 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋13 小时前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器
江华森14 小时前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
布莱克60514 小时前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包