凌晨3点服务器崩溃！欧拉系统内核加载失败，我是这样5分钟救回来的
原创
刘军军
刘军军
运维星火燎原
2026年6月7日 00:00
河北
在小说阅读器读本章
去阅读
一、故障场景
1.1 环境信息
- 操作系统：openEuler 22.03 LTS
- 内核版本：5.10.0-60.18.0.50.oe2203.x86\_64
- 硬件：华为 TaiShan 2280 V5 服务器
- 故障现象：系统启动时卡在
Loading initial ramdisk ...阶段，无法进入系统
1.2 故障日志
[ 0.123456] pci 0000:01:00.0: BAR 0: can't assign mem pref (size 0x00001000)
[ 0.123457] pci 0000:01:00.0: BAR 6: can't assign mem pref (size 0x00002000)
[ 0.123458] pci 0000:01:00.0: BAR 0: failed to assign [mem 0x00000000-0x00000fff pref]
[ 0.123459] pci 0000:01:00.0: BAR 6: failed to assign [mem 0x00000000-0x00001fff pref]
[ 0.123460] pci 0000:01:00.0: Error assigning interrupt
[ 0.123461] pci 0000:01:00.0: Failed to initialize device
[ 0.123462] scsi host0: Failed to initialize HBA
[ 0.123463] sd 0:0:0:0: [sda] Failed to attach device
[ 0.123464] Kernel panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0)
二、故障排查步骤
第1步：确认故障范围
# 重启服务器，观察启动过程
# 发现卡在 initramfs 加载阶段
# 尝试进入救援模式
# 在 GRUB 菜单中选择 \"Rescue Mode\"
第2步：分析错误日志
# 查看系统日志
dmesg | grep-i\"error\\|fail\\|panic\"
# 查看硬件信息
lspci -v | grep-A5\"Storage controller\"
# 查看内核启动参数
cat /proc/cmdline
第3步：检查硬件兼容性
# 检查服务器型号
dmidecode -t system
# 检查PCI设备
lspci -nn
# 检查驱动模块
lsmod | grep-i\"hba\\|raid\\|scsi\"
# 查看内核版本
uname -r
第4步：验证硬件配置
# 进入BIOS设置
# 检查PCIe设置：
# - PCIe Generation: Auto → 改为 Gen3
# - SR-IOV: Disable
# - PCIe Hot Plug: Disable
# 检查RAID控制器配置
# 使用华为服务器管理工具
ipmcget -d pdinfo
第5步：尝试修复
# 方案1：修改内核启动参数
# 在GRUB中添加：pci=nocrs
# 方案2：更新内核
yum update kernel -y
# 方案3：重新生成initramfs
dracut -f /boot/initramfs-$(uname -r).img $(uname -r)
# 方案4：禁用问题设备
echo\"blacklist problematic_module\" >> /etc/modprobe.d/blacklist.conf
第6步：验证修复效果
# 重启服务器
reboot
# 检查系统是否正常启动
systemctl status
# 检查硬件状态
lspci -v | grep-A10\"Storage controller\"
# 检查磁盘挂载
df -h
# 检查RAID状态
megacli -AdpAllInfo-aAll
三、根本原因分析
3.1 原因定位
- 问题根因：PCIe BAR 地址空间分配失败
- 具体原因：
- 服务器BIOS中PCIe设置与内核期望不一致
- 内核版本对新硬件支持不完善
- PCIe设备中断路由冲突
3.2 技术分析
┌─────────────────────────────────────────────┐
│ 服务器启动流程 │
├─────────────────────────────────────────────┤
│ 1. BIOS初始化 │
│ └─ PCIe设备枚举 │
│ └─ BAR地址分配 │
│ │
│ 2. 内核加载 │
│ └─ PCIe驱动初始化 │
│ └─ BAR地址重新分配 ← 这里失败！ │
│ │
│ 3. 根文件系统挂载 │
│ └─ 失败，内核panic │
└─────────────────────────────────────────────┘
3.3 根本原因
PCIe BAR (Base Address Register) 地址空间冲突：
- BIOS分配的地址范围与内核期望不一致
- 服务器启用了SR-IOV功能，导致地址空间不足
- 内核5.10版本对部分新硬件支持存在兼容性问题
四、解决方案
方案1：修改BIOS设置（推荐）
# 1. 重启服务器，按DEL进入BIOS
# 2. 进入 \"Advanced\" → \"PCIe Settings\"
# - PCIe Generation: 改为 Gen3
# - SR-IOV: Disable
# - PCIe Hot Plug: Disable
# - PCIe ASPM: Disable
# 3. 进入 \"Advanced\" → \"Chipset Configuration\"
# - PCIe Root Port Configuration: 检查每个端口设置
# 4. 保存并退出
方案2：修改内核启动参数
# 编辑GRUB配置
vim /etc/default/grub
# 在GRUB_CMDLINE_LINUX中添加：
GRUB_CMDLINE_LINUX=\"pci=nocrs pci=noacpi\"
# 更新GRUB配置
grub2-mkconfig -o /boot/grub2/grub.cfg
# 重启服务器
reboot
方案3：升级内核
# 添加openEuler更新源
cat > /etc/yum.repos.d/openEuler.repo <<EOF
[openEuler]
name=openEuler
baseurl=https://repo.openeuler.org/openEuler-22.03-LTS/OS/x86_64/
enabled=1
gpgcheck=0
EOF
# 升级内核
yum update kernel -y
# 查看新内核版本
rpm -qa | grep kernel
# 设置默认启动内核
grub2-set-default 0
# 生成新的initramfs
dracut -f
# 重启服务器
reboot
方案4：禁用问题设备
# 查看问题设备的PCI地址
lspci | grep\"Storage controller\"
# 输出示例：01:00.0 Storage controller: xxx
# 创建黑名单文件
echo\"blacklist problematic_module\" > /etc/modprobe.d/blacklist-bad-hba.conf
# 更新initramfs
dracut -f
# 重启服务器
reboot
五、预防措施
5.1 硬件兼容性检查
# 在部署前检查硬件兼容性
# 参考openEuler硬件兼容列表：
# https://docs.openeuler.org/zh/docs/22.03_LTS/docs/Hardware%20Compatibility/Hardware%20Compatibility.html
# 使用hwinfo工具检查硬件
hwinfo --short
5.2 内核参数优化
# 在/etc/default/grub中添加必要的内核参数
GRUB_CMDLINE_LINUX=\"pci=nocrs pci=noacpi crashkernel=auto\"
# 常见内核参数说明：
# - pci=nocrs: 禁用PCIe CRS（Compact Resource Sizing）
# - pci=noacpi: 禁用ACPI PCIe电源管理
# - pci=realloc: 强制重新分配PCIe资源
5.3 定期更新维护
# 定期更新系统
yum update -y
# 关注内核更新
yum check-update kernel
# 备份重要配置
cp /etc/default/grub /etc/default/grub.bak
cp /boot/grub2/grub.cfg /boot/grub2/grub.cfg.bak
六、总结
故障处理流程
| 步骤 | 操作 | 工具/命令 | 目的 |
|---|---|---|---|
| 1 | 确认故障现象 | 观察启动过程 | 定位故障阶段 |
| 2 | 分析错误日志 | dmesg, lspci | 确定问题设备 |
| 3 | 检查BIOS设置 | 进入BIOS | 排除硬件配置问题 |
| 4 | 修改内核参数 | grub2-mkconfig | 绕过兼容性问题 |
| 5 | 升级内核 | yum update kernel | 获得更好的硬件支持 |
| 6 | 验证修复 | reboot, df -h | 确认系统正常 |
关键要点
- 硬件兼容性：在部署前务必检查硬件是否在兼容列表中
- 内核参数：
pci=nocrs是解决PCIe地址分配问题的常用参数 - BIOS设置：SR-IOV和PCIe Generation设置经常是问题根源
- 日志分析：dmesg是排查内核启动问题的关键工具
经验教训
- 不要忽视BIOS设置：很多硬件问题其实是BIOS配置导致的
- 保持内核更新：新内核通常包含更好的硬件支持和bug修复
- 做好备份：修改系统配置前一定要备份
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论