一行代码让 Debian 12 服务器升级后几分钟死机,同样的错误 3 月就被发现
原创
XueMian
XueMian
雪面科技
2026年11月17日 08:54
澳大利亚
去阅读
目前
“
时间为北京时间(UTC+8),截至 2026 年 11 月 17 日 7:45 左右。本文的事实来自 Debian 故障报告、内核邮件列表、提交记录和发行版公告,出处见文末。
11 月 16 日凌晨 5 点半,一位 Debian 用户提交一份故障报告。他的服务器跑着邮件、网页和 SSH,内核升级到 6.1.0-55 之后重启,几分钟后这几样服务远程全都连不上。他给服务器接上一台 VGA 显示器,按电源键硬重启,本地还能登录,能执行 ls、cat 这类简单命令,翻日志时看到一大段内核 Oops,接着本地终端也没了反应。他再次硬重启,在 GRUB 里选上一个内核 6.1.0-54,服务器正常起来。他又换回 6.1.0-55 试一次,这回趁着还能连上,用 SSH 登进去执行 dmesg;几分钟后显示器上又报错,他马上再执行一次 dmesg,报告里贴的就是这次的输出。他提交报告时,服务器已经回到 6.1.0-54,平稳运行了 45 分钟 [1]。
接下来的十几个小时里,同样的报告一份接一份地进来,物理机、Xen、Hyper-V、KVM、VMware 都有,架构从 x86、arm64 到 32 位老机器都有,最后一共 12 份报告被合并成了一份 [1][2]。
硬件完好,也没有入侵迹象。毛病出在一行判断上:从新内核搬到 6.1 的代码,用 IS_ERR() 检查一个函数是否失败,而这个函数在 6.1 里失败时返回的是 NULL。IS_ERR(NULL) 永远为假,这道检查形同虚设,编译器也一声不吭。
还有一层更值得写:同一组提交在 3 月就因为同样的崩溃被拦下过一次,10 月又进了 6.1 稳定版。
先看当天的时间线:
图:11 月 16 日从安全公告发出到 bug 关闭的经过,北京时间。时间取自邮件头和 Debian 安全仓库目录。
一、发生了什么
1. 一次带着上千个 CVE 修复的安全更新。11 月 16 日 3:17,Debian LTS 团队发出安全公告 DLA-4906-1,Debian 12(bookworm)的内核更新到 6.1.192-1,公告里列出的 CVE 编号有 1,271 个 [3]。在 Debian 里,这个版本的内核包名叫 linux-image-6.1.0-55-amd64,用户口中的“6.1.0-55”指的就是它。开了自动安全更新(unattended-upgrades)的机器会自己装上它,下次重启时生效 [2]。
图:DLA-4906-1 公告开头:软件包 linux,版本 6.1.192-1,后面是很长的 CVE 列表。图源:lists.debian.org
两个多小时后,5:31,开头那份报告提交了,严重等级填的是 critical,理由写的是“让整个系统不可用” [1]。
图:第一份报告:升级到 6.1.0-55 并重启后,几分钟内服务器远程无响应;退回 6.1.0-54 后稳定运行 45 分钟。图源:bugs.debian.org
后面的回复和新报告里,症状高度一致:dmesg 里出现 BUG: kernel NULL pointer dereference,出错位置都在 ext4 文件系统的 ext4_mb_load_buddy_gfp 函数 [1][2]。
2. 影响范围:硬件五花八门,共同点是 ext4。合并进来的报告和回复里,物理机有华硕 H410M 主板的服务器、Intel i9-13900 加 RAID1 的服务器和 AMD EPYC 4345P 数据库服务器;架构有 amd64、arm64,还有一台只有 233 MB 内存的 i686 老机器;通用版、cloud 版、686-pae 版内核都出了事 [1][2]。
虚拟机的报告最多,按虚拟化平台分 [1][2]:
- Xen
两位用户的虚拟机都跑在 Xen 上,一台开机约 3 分钟崩溃,另一台在执行 apt update 时崩溃,内核时间戳是开机后 264 秒。
* Hyper-V
一位用户说自己好几台机器都出了问题,Hyper-V 虚拟机也在其中。
* KVM
报告最多。一位用户在 Hetzner 和 OVH 的 5 台云主机,开机后 25 秒到约 5 小时陆续崩溃;Linode 一台在下载 1.4 GB 安装包时崩溃;netcup 一台在建目录、解包时反复崩溃;OpenStack 上一台装大包时崩溃,另一台跑着 34 个容器,5 次开机次次在 2 到 4 分钟内崩溃。还有用户在 KVM 虚拟机里只用清缓存、写文件两条命令就复现了,换上测试内核后不再出现。
* VMware
ESXi 上一台邮件服务器开机 369 秒崩溃,1 号进程被杀,内核直接 panic;vSphere 上一台跑 Docker 的虚拟机开机 35 到 40 秒就崩;另一台用 LVM 的虚拟机撑了半小时左右。
图:报告 #1154108:两台 bookworm 虚拟机升级后几分钟内崩溃,A 是 VMware ESXi 上的邮件服务器(开机 369 秒),B 是 1 GB 内存的 KVM 虚拟机(413 秒);两台都处在内存压力下,另外三台内存充足的跑了 40 分钟没出问题。图源:bugs.debian.org
这份报告里有一组现成的对照:同一批升级的 5 台虚拟机,出事的两台都在内存压力下,一台是快把 1 GB 内存用光的虚拟机,一台是用着交换分区的繁忙邮件服务器;另外三台有 3 到 4 GB 内存、大半空闲,跑了 40 分钟没出问题,报告者出于谨慎还是把它们退回了旧内核 [2]。
图:各份报告自述的开机后崩溃时间,对数轴;数字是报告者给的约数,没有做过统计抽样。
开机到崩溃的时间差得很远。最快的是一台 Hetzner 的 arm64 云主机,开机 25 秒,一个程序删文件时就崩了;最慢的一台物理机撑了 4 个小时左右。同一位报告者手上的 5 台虚拟机,崩溃时间从 25 秒到大约 5 小时不等,他在报告里特意提醒,看起来没事的机器可能只是还没碰上 [1]。
有一位报告者摸到的规律很清楚。他的两台虚拟机每小时跑一次定时任务 sync; echo 3 > /proc/sys/vm/drop_caches,四次死机全部发生在开机后这个任务第一次运行之后 [1]。原因放在第三节讲。
3. 为什么看上去像死机。严格说,内核大多还在跑,有的机器还能 ping 通 [2]。可是出错的进程在崩溃那一刻正持有 ext4 的日志句柄,它被杀掉以后,所有要写这个文件系统的进程都排队卡住,日志停写,SSH 登不上,关机命令也没反应,最后只能硬重启 [2]。根分区是 ext4 的机器,从外面看就是整机死了。
二、先补几个概念
1. 稳定版内核和回移。Linux 主线大约每两三个月发一个新版本。为了让服务器能长期用同一个版本,内核社区会挑一些版本做长期维护(longterm),6.1 就是其中之一。维护的办法是把主线上的修复“回移”(backport)到旧版本上,按编号一版版往上发:6.1.190、6.1.191、6.1.192……Debian 12 的内核跟的就是 6.1 这条线。
2. 依赖提交。主线上的修复是在新代码上写的,旧版本里如果缺少它依赖的改动,补丁就打不上。常见做法是把那些前置提交也一起回移,提交说明里写一行 Stable-dep-of:,表示“这个提交是作为另一个提交的依赖被带进来的” [10]。
3. 页缓存和 folio。文件系统会把磁盘上的数据缓存在内存里,这部分叫页缓存。内存紧张时,内核会回收一部分缓存页,等用到时再从磁盘读回来。folio 是近几年内核引入的新写法,用来替换原来直接操作“页”(page)的代码。ext4 用一张位图记录哪些磁盘块空闲,这张位图也缓存在页缓存里。
4. NULL 和错误指针。C 语言里函数失败时有两种常见的表达方式:返回 NULL,也就是 0 地址;或者返回一个“错误指针”,把错误码编进指针值里,Linux 内核里写作 ERR_PTR。判断错误指针用 IS_ERR(),它只检查指针是否落在地址空间最顶端那 4,095 个值里 [13]。0 在地址空间的最底端,所以 IS_ERR(NULL) 为假。
三、到底错在哪
图:
__filemap_get_folio() 在上游 6.4 起和 6.1 里的失败返回值对比;6.1 里所有失败情况都返回 NULL,IS_ERR() 全部判为假。
__filemap_get_folio() 这个函数负责在页缓存里找一页。2023 年 3 月,上游把它的失败返回值从 NULL 改成了错误指针,好让调用者分清是“没找到”“内存不足”还是“需要等待”,这个改动随 6.4 发布 [12]。6.1 停留在改动之前,两个版本的函数注释写得明明白白,6.1 是“找到的 folio,否则返回 NULL”,6.4 是“否则返回 ERR\_PTR()” [13]。
2024 年 4 月,上游把 ext4 位图缓存相关的代码改成了 folio 写法,用的自然是新约定:
folio = __filemap_get_folio(
inode->i_mapping, pnum,
FGP_ACCESSED, 0);
if (IS_ERR(folio) ||
!folio_test_uptodate(folio) ||
folio_test_locked(folio)) {
这段代码出现在 6.1.191 的 fs/ext4/mballoc.c 里(为适应手机屏幕折了行)[13]。在新内核里,查不到页时 IS_ERR(folio) 为真,代码转去走慢路径读盘。在 6.1 里,查不到页时 folio 是 NULL,IS_ERR 判为假,代码接着调用 folio_test_uptodate(NULL) 去读 0 地址,内核当场 Oops。
编译器为什么没有报警?NULL 和错误指针是同一个类型(struct folio *),函数名和参数也都原样保留,变的只是“失败时返回什么”这一条约定。对编译器来说,这段代码放在 6.1 上完全合法。
图:从缓存页被回收到整机没有反应的四步,按修复补丁说明和故障报告整理。
负载越高崩得越快,修复补丁的说明里写了原因:这条“快路径”查找时没要求创建新页,只要某个块组的位图缓存页被挤出了内存,无论是有人执行了 drop_caches 还是内存压力所致,下一次从这个块组分配磁盘块就会崩 [6]。删除文件时释放磁盘块,也会走进同一个函数 [1]。
所以触发要凑齐两个条件,先是位图缓存页被回收,然后有写入或删除。内存小、负载重、文件读写频繁的机器,比如邮件服务器、跑数据库或很多容器的主机,两个条件都来得快;每小时手动 drop_caches 的机器,等于定时替它凑齐了第一个条件。有报告者给出了几秒钟内必崩的复现步骤,写一批文件,清缓存,再删掉这批文件 [1]。在受影响的内核上,这几步会让整个文件系统卡死,生产机上千万别试。
关于数据会不会坏这个问题?我目前没有看到磁盘数据损坏的报告。两位报告者在崩溃后检查了文件系统,一位做了强制 fsck,只发现日志回放和孤儿 inode,位图和空闲块都没有报错;另一位用 dumpe2fs 看到状态为正常、错误计数为 0 [2]。我的理解:崩溃发生在读缓存的路径上,磁盘上的位图本身没被改写;硬重启倒是会丢掉还没落盘的写入,数据库、邮件队列这类应用该做的一致性检查还得做。
四、问题是怎么产生的
图:6.1.191 里与这次故障有关的 7 个提交及其关系,按 6.1.191 的 ChangeLog 整理。
1. 起点是一个和 6.1 无关的修复。2026 年 1 月,上游修了 ext4 的一个竞态问题:页面迁移和位图修改同时发生时,ext4 会报告位图不一致 [10]。这个修复写在 folio 写法的代码上,要把它回移到 6.1,就得先带上 2024 年的两个 folio 转换提交,再加三个更小的准备提交。6.1.191 的 ChangeLog 里,这五个提交都标着 Stable-dep-of: bdc56a9c46b2 (\"ext4: fix e4b bitmap inconsistency reports\") [10][11]。
真正决定返回值约定的那个上游改动(66dabbb65d67)没有一起回移。它牵涉所有调用这个函数的地方,修复补丁的作者也认为放进稳定版太重 [5]。
2. 3 月:第一次被拦下。这组提交第一次出现是在 6.1.167-rc1 里。3 月 24 日,测试人员在 arm 和 arm64 板子上看到了同一位置的空指针 Oops,二分查找定位到 ext4: convert bd_bitmap_page to bd_bitmap_folio;ext4 维护者在 x86\_64 上确认了这个结果,请求撤下三个提交 [9]。
图:3 月 25 日,ext4 维护者确认二分结果,推测自动挑选工具把两个 folio 转换当成了前置提交,请求撤下三个提交。图源:lkml.iu.edu(LKML 镜像)
他在邮件里推测,稳定版的自动挑选流程认定这两个 folio 转换是前置提交,又因为它们能干净地打上,就收了进来,原话是 “it patches cleanly, ship it!” [9]。三个提交当天就被撤下了 [9]。
同一串讨论里,那个竞态修复的原作者还补了一句:引入竞态的那个提交(060913999d7a)6.1 根本没有,6.1 里压根没有这个竞态,这个回移也就用不着 [9]。
图:竞态修复的原作者回复(邮件署 3 月 25 日):6.1 里没有引入竞态的那个提交,这个回移对 6.1 是多余的。图源:lkml.iu.edu
3. 10 月:又进来了。6.1.191 一共有 1,881 个提交。候选版 rc1 在北京时间 10 月 29 日凌晨发出,rc2 当天发出,30 日晚上正式发布,前后不到两天 [10]。3 月撤下的那组提交,连同 3 个准备提交和 1 个后续修复,都在里面 [10]。那个后续修复(a8d83471c560)只把出错路径上的释放改成了 IS_ERR_OR_NULL,前面那道判断原样留着 [10][11]。
这组提交撤下 7 个月后为什么又被收进来,我目前没有找到任何说明。
4. 11 月 2 日:上游已经有人修了。NixOS 用户在 6.1.191 上碰到同样的崩溃,修复补丁 11 月 2 日发到邮件列表 [5]。补丁说明把原因讲得很透:这些 folio 转换是为 6.4 及以后的内核写的,6.1 缺了返回值那次改动,回移时应该检查 NULL,IS_ERR 在这里用错了 [5]。
图:11 月 2 日修复补丁系列的说明:原因是回移时沿用了新内核的返回值约定;作者用 Coccinelle 扫描全树,在 ntfs3 里又找到一处同类问题。图源:lkml.iu.edu(LKML 镜像)
讨论里也有人提议把这七个提交整组撤回,让 mballoc 的代码回到 6.1.190 的样子,还说自己测过,撤回之后崩溃就没了 [8]。稳定版最后选的是修判断,11 月 3 日补丁排进 6.1 队列,维护者回复说下一个 6.1 版本会修好 [8]。
5. 时间差。随后的 6.1.192(kernel.org 记为 11 月 6 日发布,北京时间 7 日凌晨)只有 4 个提交,这个修复没在其中 [10][15]。Debian 的 6.1.192-1 基于这个版本,11 月 14 日进入安全仓库,16 日凌晨发了公告 [3][14]。算下来,修复补丁发到邮件列表已经将近两周,却还没进任何一个正式的 6.1 版本;发行版按正式版本打包,问题就跟着安全更新一起到了用户手上。
图:从上游改动到 Debian 用户死机的长时间线,日期只到天。
五、修复
1. Debian 当天出包。16 日 15:56,Debian 内核维护者把这份报告关联到上游补丁,16:31 提交合并请求,16:58 发出测试内核,请受影响的用户帮忙验证 [1][4]。17:47 起陆续有人回报,原来会崩的机器跑了 15 分钟还好好的,按复现步骤测试也崩不了了 [1]。18:24,6.1.192-2 出现在 Debian 安全仓库里 [14]。17 日 4:52,bug 关闭,标注为在 6.1.192-2 中修复 [1]。
图:Debian bug #1154101 的状态:严重等级 critical,合并了 11 份重复报告,在 6.1.192-1 中发现、6.1.192-2 中修复。图源:bugs.debian.org
补丁本身很小,只改一个文件的 14 行,把 IS_ERR(folio) 换成 !folio,失败时返回 -ENOMEM,用补丁里的话说,“和转换之前一样” [4][6]。
图:修复补丁说明:6.1 里
__filemap_get_folio() 失败返回 NULL,回移来的 IS_ERR() 检查永远为假;改为检查 NULL 并返回 -ENOMEM。图源:lkml.iu.edu(LKML 镜像)
2. 上游稳定版还在路上。补丁已经进了 linux-stable-rc 的 6.1 队列,Debian 补丁注明的来源提交是 56bd540c [4][8]。截至发稿,kernel.org 上 6.1 的最新正式版本仍是 6.1.192 [15]。其他自己编译 6.1.191 或 6.1.192 的发行版和用户,比如最早发现问题的 NixOS,得等下一个 6.1 版本,或者自己打上这个补丁。
3. ntfs3 里的同类问题。修复补丁的作者用 Coccinelle 把整个源码树扫过一遍,专找类似的漏改,在 ntfs3 文件系统里又找到一处,同样是回移时留下了 IS_ERR() 检查 [5][7]。那一处要在读压缩文件时恰好分配内存失败才会触发,作者是专门做了故障注入才复现出来的 [5]。Debian 的 6.1.192-2 只带了 ext4 这一个补丁 [4]。我的理解:对绝大多数用户,ntfs3 那一处的实际风险远小于 ext4 这一处。
六、你该怎么做
1. 先确认自己装的是哪个版本。6.1.192-1 和 6.1.192-2 的包名都是 6.1.0-55,uname -r 显示的完全一样,要看 uname -v:
uname -v
# 受影响:... Debian 6.1.192-1 (2026-11-14)
dpkg -l 'linux-image-6.1.0-55*'
受影响的只有用 6.1 内核的 Debian 12(bookworm)。Debian 13(trixie)用的是 6.12,那边的 __filemap_get_folio() 本来就返回错误指针,按原因推断应当安全 [13]。
2. 升级到 6.1.192-2,然后重启。
apt update && apt full-upgrade
装完先确认版本号是 6.1.192-2,再重启。正在跑 6.1.192-1 的机器随时可能崩,越早换越好。
3. 暂时没法升级,就从 GRUB 启动 6.1.0-54。报告里大家普遍用的就是这个临时办法,6.1.0-54 运行稳定 [1][2]。代价也要心里有数:6.1.0-54 缺着 DLA-4906-1 修掉的那批漏洞,有报告者专门提到了这一点 [2]。退回去只能算权宜之计,能升级了就尽快升级。
4. 停掉定时 drop\_caches 只去掉了一个触发点。内存压力照样会回收这些缓存页,问题还在。
5. 已经崩过的机器。硬重启之后先检查服务日志和应用数据,方便时再安排一次文件系统检查。报告里没有出现磁盘数据损坏 [2],还没落盘的写入则可能已经丢了。
6. 给运维的长期建议:
- 内核更新分批推。先在一两台负载有代表性的机器上跑一天,再铺到全部机器。这次最快 25 秒、最慢 5 小时才触发,跑几分钟平安无事,能证明的东西很少。
- 保留上一个能用的内核,并且确认在远程控制台里能选到 GRUB 菜单。
- 打开
kernel.panic_on_oops=1配合自动重启,或者配好 kdump。有报告者这样设置以后,“卡死 1.5 小时”变成了“自动重启”;另一位配了 kdump,抓到了完整的崩溃信息 [2]。适不适合你的环境,要自己权衡。
再说回开头那位用户。他做的事情很普通,装上一个安全更新,重启服务器。让他的服务器停摆的,是他看不到的几个环节:上游 2023 年改了一个函数的返回值约定;2026 年 10 月,一组依赖提交被收进 6.1,正是 3 月被撤下的那一组,当时修复的原作者已经说过 6.1 用不着它们。从他提交报告到 Debian 的修复包进仓库,用了大约 13 个小时。
截图于北京时间 2026 年 11 月 17 日 7:39。截图中的个人邮箱已打码,正文也不引用个人联系方式。本文不构成运维或安全审计意见,升级前请按自己环境的流程测试。
参考来源
[1] Debian bug #1154101,linux-image-6.1.0-55-amd64: System freeze after update to linux-image-6.1.0-55-amd64(2026-11-15 21:33 UTC 提交,2026-11-16 20:52 UTC 关闭):https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1154101
[2] 合并进 #1154101 的报告:#1154108、#1154119、#1154130、#1154132、#1154133、#1154139、#1154140、#1154151、#1154155、#1154164、#1154191,地址格式为 https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=<编号>(其中 #1154164 描述的是 SIGILL,症状不同,也被维护者合并)
[3] Debian LTS Advisory DLA-4906-1,linux security update,2026-11-15 19:17 UTC:https://lists.debian.org/debian-lts-announce/2026/11/msg00032.html
[4] Debian 内核团队合并请求 !2168,ext4: fix NULL folio dereference in mballoc(Closes: #1154101;补丁与 changelog 见 .diff):https://salsa.debian.org/kernel-team/linux/-/merge\_requests/2168
[5] Elliot Berman,[PATCH 6.1.y 0/2] Fix NULL folio dereferences from IS\_ERR() checks in 6.1.191,2026-11-02:https://lore.kernel.org/linux-ext4/[email protected]/ ;镜像:https://lkml.iu.edu/2611.0/03194.html
[6] [PATCH 6.1.y 1/2] ext4: fix NULL folio dereference in mballoc(Reported-by: Tom Bereknyei):https://lkml.iu.edu/2611.0/03158.html
[7] [PATCH 6.1.y 2/2] fs/ntfs3: fix NULL folio dereference in ntfs\_lock\_new\_page():https://lkml.iu.edu/2611.0/03144.html
[8] 同一邮件串的回复:Naman Jain(2611.0/03729)、Kevin Fernandez(2611.0/04974)、稳定版维护者排队确认(2611.0/07344、2611.0/11227),镜像地址前缀 https://lkml.iu.edu/
[9] Re: [PATCH 6.1 000/481] 6.1.167-rc1 review,2026-03-24 至 26:二分结果 https://lkml.iu.edu/2603.3/01511.html ;ext4 维护者确认并请求撤下 https://lkml.iu.edu/2603.3/02704.html ;撤下确认 https://lkml.iu.edu/2603.3/03175.html ;原作者说明 https://lkml.iu.edu/hypermail/linux/kernel/2603.3/05097.html
[10] kernel.org,ChangeLog-6.1.191 与 ChangeLog-6.1.192:https://cdn.kernel.org/pub/linux/kernel/v6.x/ChangeLog-6.1.191 ;https://cdn.kernel.org/pub/linux/kernel/v6.x/ChangeLog-6.1.192
[11] 6.1 分支上的提交 d34e4fd4e73f、862483175d3d、a8d83471c560(GitHub 镜像):https://github.com/gregkh/linux/commit/d34e4fd4e73f ;https://github.com/gregkh/linux/commit/862483175d3d ;https://github.com/gregkh/linux/commit/a8d83471c560
[12] 上游提交 66dabbb65d67,mm: return an ERR\PTR from \\_filemap\_get\_folio,2023-03-07:https://github.com/torvalds/linux/commit/66dabbb65d67
[13] 源码:mm/filemap.c(v6.1.191 与 v6.4)、fs/ext4/mballoc.c(v6.1.191)、include/linux/err.h:https://github.com/gregkh/linux/blob/v6.1.191/mm/filemap.c ;https://github.com/torvalds/linux/blob/v6.4/mm/filemap.c ;https://github.com/gregkh/linux/blob/v6.1.191/fs/ext4/mballoc.c
[14] Debian 安全仓库目录(linux\_6.1.192-1.dsc 2026-11-14 10:38、linux\_6.1.192-2.dsc 2026-11-16 10:24,按 UTC 理解):https://deb.debian.org/debian-security/pool/updates/main/l/linux/ ;Debian 安全追踪页:https://security-tracker.debian.org/tracker/source-package/linux
[15] kernel.org 版本列表:https://www.kernel.org/releases.json
END
突然想起以前我的推文都有图片分享环节.... 我加回来了
这是布里斯班的蓝花楹,拍摄于昆士兰大学 St Lucia 校区 公交站
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论