Month: April 2024

步骤一：开启 Kdump

1.1 确保 kdump 软件包已安装

如果是 RHEL 8 & RHEL 9：

# yum install kexec-tools

如果是 RHEL 10：

# dnf install kdump-utils makedumpfile 

1.2 设置内核崩溃信息的存放位置

# vim /etc/kdump.conf

确保部分内容如下：

......
path /var/crash
......

（
补充：
1) 默认的存放位置是 /var/crash
2) 把这里修改成想要存放内核崩溃信息的目录
3) 为了保险起见存放内核崩溃信息的位置最好有大于内存大小的剩余空间
）

1.3 重新启动 kdump 服务并设置为开机自启

# systemctl restart kdump ; systemctl enable kdump

1.4 确保 kdump 服务已经开启

# systemctl status kdump

（补充：当显示输出结果里包含 operational 或者 Active: active (exited) 时，则说明 Kdump 已经启用）

步骤二：设置收集内核崩溃信息的触发条件

2.1 当内存不够杀进程时 (OOM-Kill event occurs) 自动触发

2.1.1 设置当内存不够杀进程时 (OOM-Kill event occurs) 自动触发

# vim /etc/sysctl.conf

添加以下内容：

......
vm.panic_on_oom = 1

2.1.2 让修改的 /etc/sysctl.conf 文件生效

# sysctl -p /etc/sysctl.conf

2.1.3 当内存不够杀进程时 (OOM-Kill event occurs) ，系统会自动收集内核崩溃信息并重启

（步骤略）

（
注意：
1) 只有当内存不够杀进程时 (OOM-Kill event occurs) 时才会自动产生 dump
2) 此过程系统会自动重启
）

2.2 当某个进程发生软锁时自动触发 （触发几率高于某个进程卡住时触发）

2.2.1 设置当某个进程发生软锁时自动触发

# vim /etc/sysctl.conf

添加以下内容：

......
kernel.softlockup_panic = 1

2.2.2 让修改的 /etc/sysctl.conf 文件生效

# sysctl -p /etc/sysctl.conf

2.2.3 当某个进程发生软锁时，系统会自动收集内核崩溃信息并重启

（步骤略）

（
注意：
1) 只有当处理器线程软锁时才会自动产生 dump
2) 此过程系统会自动重启
）

（注意：触发几率低于某个进程软锁时触发）

2.3 当某个进程卡住进入 Uninterruptible Sleep (D-state) 状态超过阈值时 （默认 120 秒） 自动触发 （触发几率低于某个进程软锁时触发）

2.3.1 设置当某个进程卡住进入 Uninterruptible-Sleep (D-state) 状态超过阈值时 （默认 120 秒） 自动触发

# vim /etc/sysctl.conf

添加以下内容：

......
kernel.hung_task_panic=1

（补充：设置阈值的参数名是：kernel.hung_task_timeout_secs）

2.3.2 让修改的 /etc/sysctl.conf 文件生效

# sysctl -p /etc/sysctl.conf

2.3.3 当内核崩溃时，系统会自动收集内核崩溃信息并重启

（步骤略）

（
注意：
1) 只有任务卡住时才会自动产生 dump
2) 此过程系统会自动重启
）

（注意：触发几率低于某个进程软锁时触发）

2.4 当内核崩溃时使用魔术键收集内核崩溃信息

2.4.1 设置当内核崩溃时使用魔术键收集内核崩溃信息

# vim /etc/sysctl.conf

添加以下内容：

......
kernel.sysrq = 1

2.4.2 让修改的 /etc/sysctl.conf 文件生效

# sysctl -p /etc/sysctl.conf

2.4.3 当内核崩溃时，使用魔术键收集内核崩溃信息并让系统自动重启

同时先后按下以下三个按键：

ALT + PRINTSCREEN + C

（
注意：
1) 此过程会让系统自动重启
2) 只是系统死机并不代表有 kernel panic
）

2.5 当内核崩溃时使用硬件发送 NMI 收集内核崩溃信息

2.5.1 设置当内核崩溃时使用硬件发送 NMI 收集内核崩溃信息

# vim /etc/sysctl.conf

添加以下内容：

......
kernel.unknown_nmi_panic = 1
kernel.panic_on_unrecovered_nmi = 1
kernel.panic_on_io_nmi = 1

2.5.2 让修改的 /etc/sysctl.conf 文件生效

# sysctl -p /etc/sysctl.conf

2.5.3 当内核崩溃时，联系硬件技术支持使用硬件发送 NMI 收集内核崩溃信息

（步骤略）

步骤三：手动触发内核崩溃测试 Kdmup

# echo c > /proc/sysrq-trigger

（注意：此操作会造成系统重启）

参考文献：

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html/system_design_guide/installing-and-configuring-kdump_system-design-guide
https://access.redhat.com/solutions/916043
https://access.redhat.com/solutions/3698411
https://access.redhat.com/solutions/6038
https://access.redhat.com/solutions/23069