服务器日志自动上传到阿里云OSS备份

背景

公司服务器磁盘空间有限,只能存近15天日志,但是有时需要查看几个月前的日志,需要将服务器日志定时备份到某个地方,需要查询的时候有地方可查。

针对这个问题,想到3个解决方法:

1、买一个配置比较低,磁盘空间比较大的服务器,专门用来存储其他服务器日志

2、将服务器日志实时同步到阿里云日志服务

3、将服务器日志定期同步到阿里云OSS

方法1比较传统,且有丢失风险;由于我们历史日志查询频率不会很高(可能发现历史问题了,才能查询一次),所以优先选择的方法3.

步骤

1、先在阿里云上开通存储服务OSS,创建好bucket

2、在服务器上安装ossutil,参考如何安装ossutil_对象存储(OSS)-阿里云帮助中心 (注意,如果服务器是阿里云的ECS,配置Endpoint的时候一定要输入阿里云的内网Endpoint路径,例如oss-cn-hangzhou-internal.aliyuncs.com,否则传输速度很慢)

3、在服务器上编写执行脚本xxx-log-backup.sh

复制代码
#!/bin/bash

# 获取当前日期的前十天的日期
date_10_days_ago=$(date -d "-10 days" +%Y-%m-%d)

# 创建指定路径
ossutil mkdir oss://xxx-log-backup/项目名称/$date_10_days_ago

# 拷贝指定文件,下面语句表示拷贝"/home/admin/项目名称/logs"路径下"xxx_2025-01-10*"的所有日志
ossutil cp /home/admin/项目名称/logs oss://xxx-log-backup/项目名称/$date_10_days_ago --include "xxx_${date_10_days_ago}*" --ignore-existing

4、先执行sh xxx-log-backup.sh看下日志是否正常拷贝到OSS,正常情况下如下图

5、定时执行xxx-log-backup.sh,crontab -e

复制代码
0 2 * * * sh /home/admin/log-backup/xxx-log-backup.sh >> /home/admin/log-backup/xxx-log-backup.log
相关推荐
好名字更能让你们记住我1 小时前
Linux多线程(十二)之【生产者消费者模型】
linux·运维·服务器·jvm·windows·centos
门思科技1 小时前
设计可靠 LoRaWAN 设备时需要考虑的关键能力
运维·服务器·网络·嵌入式硬件·物联网
小锋学长生活大爆炸1 小时前
【知识】RPC和gRPC
服务器·网络协议·rpc
学习编程的gas1 小时前
Linux开发工具——gcc/g++
linux·运维·服务器
大大。1 小时前
van-tabbar-item选中active数据变了,图标没变
java·服务器·前端
_可乐无糖1 小时前
AWS WebRTC: 判断viewer端拉流是否稳定的算法
linux·服务器·webrtc·aws
老友@2 小时前
服务器异常宕机或重启导致 RabbitMQ 启动失败问题分析与解决方案
服务器·rabbitmq·启动失败·宕机
dessler2 小时前
Kafka-消费者(Consumer)和消费者组(Consumer Group)
linux·运维·kafka
程序猿追2 小时前
免费版安全性缩水?ToDesk、TeamViewer、向日葵、网易UU远程访问&隐私防护测评
服务器·网络·科技·teamviewer
进击的程序汪2 小时前
Linux 启动过程流程图--ARM版
linux·运维·arm开发