Linux系统故障排查思路实践教程(下)

Linux系统故障排查思路实践教程(上)https://blog.csdn.net/xiaochenXIHUA/article/details/155874383?spm=1001.2014.3001.5501

一、su命令切换用户问题解决

su命令切换用户问题现象:

直接提示"su: warning: cannot change directory to /home/oracle: Permission denied. su failed to execute /bin/bash:Permission denied"。

解决思路:

《1》用户目录的权限检查;

《2》su程序执行权限检查;

《3》程序依赖的共享库权限检查;

《4》SELinux问题导致;

《5》系统根空间问题;

bash 复制代码
#解决思路逐一验证
#1-用户目录的权限检查
ll -a /home | grep oracle

#2-su程序执行权限检查
ll -a /bin/su

#3-程序依赖的共享库权限检查(都能够找到,没有红色标识则表示正常);
ldd /bin/su

#4-SELinux问题导致;
getenforce
cat /etc/selinux/config

#5-系统根空间问题(【/】【/boot】【/usr】【/var】空间是否已满);
df -hT
stat /

解决方法:

根目录权限问题导致,修改根目录权限即可。

bash 复制代码
#定位到问题是由于根目录的权限不对导致的,因此需要将根目录的权限修改与正常系统的一致即可
chmod 555 /

二、"Too many open files"问题解决

问题现象:

应用程序的日志显示如"java.io.IOException: Too many open files"。

解决思路:

《1》404找不到文件,我们进入服务器检查这个网站及其内容是否存在(存在则排除);

《2》查看Tomcat的运行日志【/usr/local/tomcat8】(了解真正的报错原因【提示打开文件过多】);

《3》针对资源问题首先想到的就是ulimit(ulimit主要是用来限制进程对资源的使用情况的,它支持各种类型的限制)【资源限制的配置文件是【/etc/security/limits.conf】】(注意:若在【/etc/security/limits.conf】里面设置了进程数,在centos系统中还要查看【/etc/security/limits.d/ 20-nproc.conf 】是以这个文件的为主)。

《4》查看【/etc/security/limits.conf】配置修改的时间与【tomcat】程序启动的时间来确定生效情况。

bash 复制代码
#查看资源配置文件的详情命令
stat /etc/security/limits.conf

#查看tomcat程序的启动时间
ps -eo pid,lstart,etime | grep tomcat的PID

线上Linux服务器的优化设置、系统安全与网络安全策略https://coffeemilk.blog.csdn.net/article/details/149913938

|--------|--------------|------------------------------|
| 序号 | ulimit参数 | 说明 |
| 1 | -a | 显示当前系统所有的limit资源信息。 |
| 2 | -H | 设置硬资源限制,一旦设置不能增加。 |
| 3 | -S | 设置软资源限制,设置后可以增加,但是不能超过硬资源设置。 |
| 4 | -C | 最大的core文件的大小,以 blocks 为单位。 |
| 5 | -f | 进程可以创建文件的最大值,以blocks 为单位。 |
| 6 | -d | 进程最大的数据段的大小,以Kbytes 为单位。 |
| 7 | -m | 最大内存大小,以Kbytes为单位。 |
| 8 | -n | 可以打开的最大文件描述符的数量。 |
| 9 | -s | 线程栈大小,以Kbytes为单位。 |
| 10 | -P | 管道缓冲区的大小,以Kbytes 为单位。 |
| 11 | -u | 用户最大可用的进程数。 |
| 12 | -v | 进程最大可用的虚拟内存,以Kbytes 为单位。 |
| 13 | -t | 最大CPU占用时间,以秒为单位。 |
| 14 | -l | 最大可加锁内存大小,以Kbytes 为单位。 |
[ulimit主要是用来限制进程对资源的使用情况]

解决方法:

由于ulimit限制的添加时间晚于tomcat最后一次的启动时间,而在此期间内, tomcat服务一直未重启过,操作系统也一直未重启过,那么ulimit资源限制对于tomcat来说始终是不生效的。

bash 复制代码
#1-先将tomcat的进程杀死
killall -9 java

#2-重启tomcat
/usr/local/tomcat8/bin/startup.sh

三、Linux网络故障问题解决

3.1、检查网线状态

方法一: 直接到机房里检查网线两端是否都亮灯,普通服务器的话应该是绿灯常亮为正常,交换机绿灯闪烁表示正在传输数据。

**方法二:**可以通过命令【ethtool 网卡名称】来查看指定网卡的链路是否物理连通(显示结果最后的【Link detected】后面的值显示【yes】表示网卡的物理连通)。

3.2、检查网卡状态

bash 复制代码
#查看网卡的驱动加载是否正常
ethtool -i ens33

lsmod

ifconfig

lspci|grep Ethernet

3.3、检查网卡的配置文件

在红帽系的系统中网卡的配置文件是在【/etc/sysconfig/network-scripts/】目录下以【ifcfg】开头的文件中(如ifcfg-ens33)。

RHEL/Centos7.0以及之后的系统版本中,所有网络设置和管理都统一由NetworkManager服务来维护,相对于旧的【/etc/init.d/network】脚本管理方式, NetworkManager是动态的、事件驱动的网络管理服务。

bash 复制代码
#查看【NetworkManager】服务状态
systemctl status NetworkManager


#若还是需要使用之前的【/etc/init.d/network】则需要将【NetworkManager】服务关闭
systemctl stop NetworkManager

3.4、检查DNS解析文件

Linux的DNS解析配置文件是【/etc/resolve.conf】,可以在这个文件里面配置。

注意:【NetworkManager】服务会自动管理DNS解析文件(即:体现在在DNS配置文件配置了内容重启后配置的内容会丢失,不生效)。

3.5、检查系统防火墙

bash 复制代码
#1-查看防火墙的所有规则
iptables -L -n

#2-配置SELinux的配置文件
#2.1-查看当前SELinux的状态
getenforce
#2.2-临时关闭SELinux
setenforce 0
#2.3-临时启用SELinux
setenforce 1
#2.4-永久禁用SELinux(将文件中的【SELINUX=enforcing】修改为【SELINUX=disabled】后保存退出并重启系统生效)
more /etc/selinux/config

Linux的软件防火墙iptables

SELinux配置与防火墙端口放开操作

3.6、检查网络连通性以及路由信息

bash 复制代码
#1-通过ping命令查看网络连通性
ping coffeemilk.blog.csdn.net

#2-通过route命令检查系统路由表信息是否正确
route -n

#3-检查远程路由信息
mtr coffeemilk.blog.csdn.net
traceroute coffeemilk.blog.csdn.net

#4-查看主机的端口
netstat -antlp

#5-查看指定域名或IP的指定端口是否放开
telnet traceroute coffeemilk.blog.csdn.net 80
telnet 192.168.1.2 80
相关推荐
无忧.芙桃4 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
最强小杰5 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
谙弆悕博士7 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
戊本菌7 小时前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx8 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
张小姐的猫9 小时前
【基于 WebSocket 的多用户网页五子棋】—— 整合封装服务器模块设计实现2️⃣
服务器·websocket·网络协议
江无行者9 小时前
Linux 服务器 top 命令详解
linux
HMS工业网络9 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕10 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
嵌入式 Linux手记11 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式