Linux上 log日志很大,如何获取部分内容?

lumen.log日志非常大时,直接打开或传输会消耗大量 I/O 和 CPU 资源,影响服务器性能。以下是几种对服务器影响最小的获取部分内容的方法:

1. 查看最后 N 行(最常用,查看最新报错)

如果你只是想看最新的报错信息,不要打开整个文件,使用 tail

  • 查看最后 100 行:

    复制代码
    tail -n 100 lumen.log
  • 实时监控最新日志(类似 tail -f):

    复制代码
    tail -f lumen.log

2. 提取指定时间段的日志(精准获取)

如果错误发生在特定时间(比如你之前提到的 08:09:27),可以用 sedgrep截取那一段时间的日志,而不是加载整个文件。

  • 提取 08:09:00 到 08:10:00 之间的日志:

    复制代码
    sed -n '/2026-02-26 08:09:/,/2026-02-26 08:10:/p' lumen.log > /tmp/part.log

    解释:只把匹配到的内容写入 /tmp/part.log,这样不会占用太多内存。

  • 使用 grep过滤特定关键词(如你之前的报错):

    复制代码
    grep "queryOrderHelper" lumen.log > /tmp/error_part.log

3. 分割大文件(如果必须下载)

如果日志实在太大,且你需要保留格式下载到本地分析,可以使用 split命令将其切成小文件。

  • 每 50MB 切分一个文件:

    复制代码
    split -b 50M lumen.log part_

    这会在当前目录生成 part_aa, part_ab等小文件,你可以只下载其中一个。

如:

4. 打包压缩(减少传输量)

在传输前先压缩,能显著减少 I/O 读写和网络传输时间。

  • 仅打包今天的日志并压缩:

    复制代码
    # 假设今天是2026-02-26
    grep "2026-02-26" lumen.log | gzip > /tmp/today.log.gz

💡 性能优化建议 (Performance Tips)

  1. 避免用 vimcat打开大文件:这会一次性加载文件到内存,可能导致服务器卡顿甚至 OOM(内存溢出)。

  2. 使用管道 | :像上面的 sedgrep命令,通过管道处理,通常是流式读取,对内存占用极小。

  3. 输出到 /tmp :处理完的文件放在 /tmp目录下,方便下载,且重启后通常会自动清理,不占业务磁盘空间。

相关推荐
冰封之寂9 小时前
Docker 资源管理终极指南:CPU、内存与 IO 的精细化控制
linux·运维·服务器·docker·云计算
xiaoye-duck9 小时前
《Linux系统编程》Linux 系统多线程(五):<线程同步与互斥>线程互斥(上):从条件变量到生产者消费者模型详解
linux·线程
一叶龙洲11 小时前
向日葵远程Ubuntu,支持隐私屏
linux·运维·ubuntu
酷可达拉斯11 小时前
Linux操作系统-shell编程之Grep与正则表达式
linux·运维·服务器·正则表达式·centos
寒水馨12 小时前
Linux下载、安装llama.cpp-b10068(附安装包llama-b10068-bin-ubuntu-vulkan-x64.tar.gz)
linux·ubuntu·llm·llama·本地部署·llama.cpp·推理引擎
我星期八休息14 小时前
网络编程—UDP与TCP
linux·运维·网络·数据库·网络协议·tcp/ip·udp
ziguo112215 小时前
C/C++ 错误处理全解:从 errno 到 C++ 异常
linux·c语言·c++·windows·visual studio
三84416 小时前
使用Samba/NFS实现文件共享/自动挂载共享目录/autofs自动挂载服务
linux·服务器·网络
高铭杰17 小时前
万物皆可KV(2)SurrealDB 存储布局分析
linux·服务器
无小道17 小时前
深入解析操作系统文件缓冲区:页缓存、基数树与f_pos的协同设计
linux·缓存·文件缓冲区