不用Docker手工造容器:从 unshare 到1号进程(含CRI冷启动对照)

admin 2026-11-21 02:30:06 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

不用 Docker 手工造容器:从 unshare 到 1 号进程(含CRI冷启动对照)

原创

衡水石头哥
衡水石头哥

金失三石

2026年11月15日 07:29
北京

去阅读

一、 为什么刚装完 containerd,ctr pull 却超时卡死,而手工 unshare 只需 4.4MB?

在很多入门认知里,“容器”几乎等价于一台装了独立操作系统的超轻量虚拟机——动辄几百 MB 的镜像、必须靠 Docker Desktop 或 containerd 守护进程才能跑起来。等真正进入 Kubernetes 排障现场,这种错觉会直接把排查方向带偏。

在完成裸机底座加固后,我们在工作节点 wk1-107 安装了纯净 containerd v2.4.2 与 cri-tools(crictl v1.33.0),刻意暂不安装 kubeadm、kubelet 与 CNI 插件。实验一开场就撞上两个最能打破直觉的实测现象:

  1. 同一台机器、同一套配置,为什么 ctr pull 超时、crictl pull 却秒通?
    同样拉取 docker.io/library/busybox:1.36,直接用 ctr -n k8s.io images pull 6 秒超时被杀(CTR_DIRECT_PULL_RC=124),而执行 crictl pull docker.io/library/busybox:1.36 瞬间落盘完成(2.22MB)。原因不是 containerd 坏了,而是 ctr 作为底层调试客户端默认不加载 /etc/containerd/certs.d 加速目录(除非手动传 --hosts-dir),它硬生生直连已被阻断的 registry-1.docker.io;而 crictl 走 CRI 插件路径,自动命中 docker.1ms.run / docker.m.daocloud.io。
  2. 解开 busybox:1.36 只有 4.4MB,404 个 Linux 命令全靠 1 个二进制和 405 个硬链接撑起来:
    目录里既没有 /boot,也没有任何内核 .ko 模块——只需要原生 Linux unshare + pivot_root + /proc 挂载,一个“五脏俱全的容器”就在没有任何守护进程介入下启动了。

二、 方案对比:KVM 虚拟机 vs chroot 目录隔离 vs unshare + pivot_root 手工容器

为了把容器、传统 chroot 与虚拟机的物理边界一次性讲透,先看实测机制对比:

对比维度 KVM 全虚拟化(如 wk1-107 本身) 传统 chroot 目录切换 本篇手工容器(unshare 5 命名空间 + pivot_root)
内核实例 独立客户机内核 (Guest OS 启动自带 vmlinuz 与独立硬件模拟) 共享宿主机内核 共享宿主机内核 (容器内 uname -r 与宿主机完全一致:6.8.0-110-generic)
根目录隔离机制 虚拟磁盘块设备整盘挂载 仅修改当前进程根目录指针,原挂载树仍在视野与可达边界内 先 mount --bind 建立独立挂载点,再 pivot_root 整体置换根文件系统并 umount -l /.oldroot 彻底摘除旧根
进程 / 网络 / 主机名隔离 完整独立 OS 栈 ❌ 零隔离(ps 看光宿主机所有进程,改 hostname 直接改宿主机) 独立 PID(容器内有自己的 PID 1)、独立 NET(空栈仅 lo)、UTS、IPC、MNT
镜像最小体积参考 完整安装 ISO/磁盘镜动辄数 GB 取决于拷贝的二进制集合 仅需 4.4MB BusyBox rootfs(不含内核与启动器)
生产运行时对应关系 IaaS / Hypervisor 层虚拟机 早期受限 SSH / 构建环境 与 runc 创建 OCI 容器的系统调用链路同源

🔄 【核心执行时序流】Lab\_P01 手造容器底层原语时序

步骤 01 · 镜像拉取与解包 OCI RootFS

crictl pull busybox:1.36 ➔ 解包提取 4.4MB rootfs (405 硬链接)

⬇

步骤 02 · 内核命名空间全面剥离 5 大隔离

unshare --pid --net --uts --ipc --mount --fork

⬇

步骤 03 · 挂载边界私有化 避开 EBUSY

mount --bind ROOT && mount --make-private $ROOT

⬇

步骤 04 · 根文件系统置换 切换根 /

cd $ROOT && pivot\_root . .oldroot

⬇

步骤 05 · 虚拟系统重建与旧根剥除 摘除 .oldroot

export PATH=/bin && mount -t proc proc /proc && umount -l /.oldroot

⬇

步骤 06 · 隔离态稳定运行 🎉 手工容器就绪

exec /bin/sh ➔ 共享宿主内核 6.8.0-110 · 容器内天然免疫 kill -9 1


三、 第一平面实操:纯净 CRI 冷启动对照与 OCI 镜像解包

3.1 containerd v2.4.2 在无 CNI 阶段的真实状态

在 wk1-107 执行 init-node.sh --skip-k8s 并单独安装 cri-tools 后,检查 crictl info 输出的 conditions 字段:

[
  {
    \"message\": \"\",
    \"reason\": \"\",
    \"status\": true,
    \"type\": \"RuntimeReady\"
  },
  {
    \"message\": \"Network plugin returns error: cni plugin not initialized\",
    \"reason\": \"NetworkPluginNotReady\",
    \"status\": false,
    \"type\": \"NetworkReady\"
  },
  {
    \"message\": \"\",
    \"reason\": \"\",
    \"status\": true,
    \"type\": \"ContainerdHasNoDeprecationWarnings\"
  }
]

判读重点:此时 /var/lib/containerd 已位于 Phase 0 备妥的 98G``/dev/sdb 独立数据盘上。RuntimeReady 为 true,NetworkReady 为 false(明确提示 cni plugin not initialized)——这恰恰把 Kubernetes 节点启动前的两大依赖拆分得一清二楚:运行时服务看 containerd 与 hosts.toml,网络就绪看后续 /etc/cni/net.d 与 /opt/cni/bin 核心目录。

3.2 ctr 直连超时的真实排错对照与 busybox:1.36 405 硬链接拆解

运行对照探针与 00-prepare.sh 后,拿到如下关键实测回显:

=== Contrast: ctr images pull WITHOUT --hosts-dir (timeout 6s) ===
CTR_DIRECT_PULL_RC=124
=== CRI pull via containerd certs.d mirror ===
Image is up to date for sha256:b116e155074440ffd9e449559433feb4cd2341eb3554b1da1c638c976e56451d
IMAGE                       TAG                 IMAGE ID            SIZE
docker.io/library/busybox   1.36                b116e15507444       2.22MB

⚠️ 【重要提醒】

镜像加速排障切勿误用 ctr 客户端工具:直接执行 ctr -n k8s.io images pull 时,由于默认不加载 /etc/containerd/certs.d 目录,请求会直连已被阻断的 registry-1.docker.io 并 6 秒超时退出(CTR_DIRECT_PULL_RC=124);排查与 kubelet 同源的 CRI 拉取配置时,必须使用 crictl pull 或显式补充 --hosts-dir /etc/containerd/certs.d。

将容器镜像从 containerd 导出为 OCI layout 并解包到 /opt/lab/p1-rootfs 后,可以看到容器镜像小巧到极致的秘密:

  • 多架构索引指针:index.json 指向多架构清单 sha256:73aaf090...,里面包含 amd64、arm64/v8 等多种架构与 attestation 条目,本次宿主机命中的 amd64 manifest digest 为 sha256:b7f3d86d6e84fc17718c48bcde1450807faa2d56704205c697b4bd5df7b9e29f;
  • 单层 2.2M 压缩包 -> 4.4M rootfs:最大 blob 034d6572bf287fa79604fee9be062f0683809ae3a3685bc7b0e17bd1c48c50e8(2.2M)解压出 404 个 BusyBox 命令(applet_count=404);
  • 同一 inode 硬链接:ls -li /opt/lab/p1-rootfs/bin/{busybox,ls,sh} 显示三者共享完全相同的 inode 编号 3670057(链接数高达 405 处硬链接,单二进制大小 1013320 字节),且根目录下无 /boot。

四、 第二平面实操:unshare + pivot_root 手工容器与宿主机双向同屏对照

4.1 脱离 Docker 启动手造容器

执行 P1-manual-container.sh,核心只靠一条 unshare --pid --net --uts --ipc --mount --fork:

############ 以下输出来自容器内部 ############
=== 1. 身份:主机名可以独立设置 ===
hostname 现在是: p1-container

=== 2. 进程视图:只能看到本命名空间内的进程 ===
PID   PPID  COMMAND
    1     0 sh
   11     1 ps

=== 3. PID 1 是谁 ===
PID 1 命令行: /bin/sh /inner.sh

=== 4. 网络视图:一个全新的、空的网络栈 ===
1: lo: <LOOPBACK> mtu 65536 qdisc noop qlen 1000\\    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

=== 5. 挂载视图:/ 就是镜像根,看不到宿主的盘 ===
/ ext4
/proc proc

=== 7. 内核是共享的:容器内看到的版本等于宿主 ===
6.8.0-110-generic

=== 8. PID 1 受内核保护,kill -9 杀不掉 ===
kill 返回成功(但不会真的死)
当前进程数: 5
############ 容器已退出,回到宿主机 ############

=== 宿主机的对照:主机名没变,进程还在,网络还在 ===
宿主 hostname : wk1-107
宿主进程数    : 238
宿主网卡      : lo ens4 ens6 ens7 ens8

4.2 关键取证升级:宿主机 vs 容器进程的双视角同框验证

光在容器退出后看一眼宿主机还不够透彻。我们进一步把一个手工 unshare 容器挂在后台(hostname p1-dual + sleep 30),在它存活期间同时从宿主机侧(lsns + /proc/$HOST_INIT/ns/*)和容器内侧(nsenter 读取容器自检结果)对齐每一个内核命名空间 ID:

  • 宿主机进程视图:unshare --pid ... --fork(宿主机 PID 16887)克隆出子进程 PID 16889,在宿主机看来这就是一个再普通不过的 /bin/sh -c ... 用户态进程。
  • 双向 Namespace Inode 精准对表(左侧为宿主机 PID 1,右侧为宿主机上的 PID 16889——即容器里的 PID 1):
Namespace 类型 宿主机 PID 1 (/proc/1/ns/*) 容器 PID 1 (PID 16889 / nsenter 内测) 隔离判定与原理结论
pid pid:[4026531836] pid:[4026532375] ✅ 已隔离:宿主机看见 16889,容器内看见 1
net net:[4026531840] net:[4026532376] ✅ 已隔离:全新网络协议栈,仅有未 UP 的 lo
uts uts:[4026531838] uts:[4026532373] ✅ 已隔离:容器改名 p1-dual,宿主机稳守 wk1-107
ipc ipc:[4026531839] ipc:[4026532374] ✅ 已隔离:信号量/共享内存队列完全独立
mnt mnt:[4026531841] mnt:[4026532350] ✅ 已隔离:容器 / 已替换为 p1-rootfs,旧根已卸载
user user:[4026531837] user:[4026531837] 未指定 --user,共享宿主 root 用户命名空间
cgroup cgroup:[4026531835] cgroup:[4026531835] 未隔离 cgroupfs,下一篇 Lab_P02 将手动施加资源限流
time time:[4026531834] time:[4026531834] 共享宿主机单调时钟与系统时间

五、 第三平面实操:三大可控故障注入与边界实证

只看成功回显永远不知道边界在哪。我们在 wk1-107 上刻意制造了手工容器中最常翻车的三个错误现场:

5.1 故障注入 1:省略 mount --bind,直接对目录执行 pivot_root

  • 注入操作:建立普通子目录 /opt/lab/p1-no-bind/.oldroot,跳过 mount --bind 与 mount --make-private,直接运行 unshare --mount /bin/bash -c \"cd /opt/lab/p1-no-bind && pivot_root . .oldroot\"。
  • 真实报错:

pivot_root: failed to change root from `.' to `.oldroot': Device or resource busy FAULT1_RC=1
* 根因解析:pivot_root(new_root, put_old) 在 Linux 内核系统调用层强要求 new_root 必须是一个独立的挂载点 mountpoint,且当前挂载命名空间下不能处于共享传播(shared propagation)或与当前工作父挂载同点冲突的目录状态,否则内核直接拒绝并返回 EBUSY(Device or resource busy)。执行 mount --bind \"$ROOT\" \"$ROOT\" 看似自己挂自己多此一举,实则是在 VFS 层原地制造了一个合法独立挂载边界。

5.2 故障注入 2:换根后忘切 PATH 且不挂 /proc

  • 注入操作:pivot_root 切换进 p1-rootfs 后,直接尝试执行原宿主机路径 /usr/bin/mount 和 /bin/ps:

--- 3a. Call mount without updating PATH (using host /usr/bin) --- /bin/bash: line 9: /usr/bin/mount: No such file or directory MOUNT_ERR_RC=127 --- 3b. Run /bin/ps BEFORE mounting /proc --- PID   USER     TIME  COMMAND
* 现象与恢复:因为宿主机 / 已被置换并卸载,/usr/bin/mount 已经物理消失(退出码 127);而在挂载新 /proc 前执行 BusyBox /bin/ps,只会打印空表头没有任何进程。一旦切回 export PATH=/bin 并执行 /bin/mount -t proc proc /proc,新 /proc 视图立刻按新 PID Namespace 输出隔离进程(1 bash、10 ps)。
* K8s 映射联想:生产集群容器报 exec: \"...\": no such file or directory,除了镜像架构不匹配(ELF interpreter 缺失),最常见原因就是被注入错误的宿主机二进制绝对路径或在精简 distroless/scratch 镜像里找不到 shell。

5.3 故障注入 3:PID 1 内核免死盾牌(SIGNAL_UNKILLABLE)的真实边界

很多人背过“容器内 kill -9 1 杀不死 1 号进程”,却容易误解成“宿主机也杀不死它”或“任何进程都能免疫 SIGKILL”。在双视角活跃容器中实测同一批进程的三种杀伤路径:

--- Try kill -9 1 from INSIDE container vs kill -9 child inside ---
PID   PPID  COMMAND
    1     0 sh
   16     0 sh
   17    16 ps
child_pid=18
child_exit_rc=137
--- Still alive on host? Yes -> Now kill -9 $HOST_INIT FROM HOST parent namespace ---
ALIVE_ON_HOST_AFTER_INNER_KILL9=yes
HOST_KILL9_WAIT_RC=1
  • 测试路径 1:容器内执行 kill -9 1:内核识别发送方与目标同属子 PID Namespace 的 PID 1,因缺乏用户显式注册且 SIGNAL_UNKILLABLE 保护孤儿进程托管者,SIGKILL 被静默丢弃(宿主侧 kill -0 16889 依然存活:ALIVE_ON_HOST_AFTER_INNER_KILL9=yes);
  • 测试路径 2:容器内执行 kill -9 18 子进程:非 PID 1 普通子进程毫无免死特权,瞬间被杀且返回退出码 137(128 + 9);
  • 测试路径 3:宿主机父 Namespace 执行 kill -9 16889:当 SIGKILL 来自上级(宿主机)PID Namespace 时,内核不再套用子 Namespace 的 PID 1 保护伞,16889 当场终止、unshare 父包装进程随之结束。

📌 【生产反思】 为什么 K8s 经常遇到 Pod Terminating 卡满 30 秒才被强杀?

正因为容器内业务进程如果恰好以 PID 1 身份运行(例如 shell 脚本启动或未托管信号的二进制),当它既没注册 SIGTERM 优雅退出处理器(kernel 同样屏蔽发往自身 PID 1 的未捕获 SIGTERM!),kubelet 下发 SIGTERM 后就会毫无反应,直到 terminationGracePeriodSeconds(默认 30s)耗尽,再由宿主机命名空间的运行时从外部发去一记 SIGKILL。


六、 关于 unshare 与容器核心机制的三个追问

1. 本实验手工建容器没有用 cgroups,它和完整 OCI 容器(runc)还差哪几块拼图?
完整 runc 容器在 unshare/clone(隔离视野)与 pivot_root(隔离目录)之外,还补上了四件事:一是 cgroups 资源限额与记账(下一篇 Lab_P02 主角);二是 CNI 网络打通(给空的 lo 配上 veth、bridge 和路由,见 Lab_P04);三是 Capabilities 降权 + Seccomp + AppArmor(收窄共享宿主机内核的攻击面);四是 OverlayFS 联合挂载(多层只读镜像 + 独立可写层,见 Lab_P07)。

2. 为什么手工 unshare 退出之后 /opt/lab/p1-rootfs 里面看不到 .oldroot,宿主机也丝毫未受 hostname p1-container 影响?
unshare --mount 的所有挂载动作仅存活在私有的挂载命名空间内存结构中;随着命名空间内最后一个进程退出,该 mnt Namespace 与 /proc 挂载连同内部修改的 uts(p1-container)自动随内核引用计数归零而销毁,唯独底层块设备目录上提前创建好的物理子目录 .oldroot 会因 mount --make-private 与普通目录创建语义留痕在硬盘上,若脚本里用 rmdir /.oldroot 就能干净抹掉。

3. 既然 ctr -n k8s.io images pull 不会读 /etc/containerd/certs.d,排查镜像拉取失败时该怎么验证?
记住黄金分工:怀疑 CRI 与镜像加速配置时,用 crictl pull 贴近真实调用链,排查失败优先看 containerd 日志与 hosts.toml 证书配置;只有明确需要绕开 CRI 做底层内容存储操作时,才用 ctr -n k8s.io images pull --hosts-dir /etc/containerd/certs.d 或 ctr images export。


七、 结语

  1. 操作层:我们在纯净 wk1-107 上先用 crictl pull 与 ctr pull 的一败一胜摸清了 certs.d 加速机制的生效边界,再用一组单二进制加 405 条硬链接构成 4.4MB 的 BusyBox rootfs,不靠任何守护进程亲手拉起了包含独立 PID 1、空网络栈与独立主机名的标准隔离容器。
  2. 设计层:通过宿主机与容器内的双向 Namespace inode 对表以及 pivot_root(EBUSY)、PATH/proc 缺失和 SIGNAL_UNKILLABLE 内外 SIGKILL 三项破坏性实验,把“容器不是小虚拟机,而是被命名空间与挂载树框住的普通 Linux 进程”这一底层模型钉成了可测量、可复现的工程铁证。
  3. 价值层:往后面对任何容器“找不到可执行文件”“ps 看不到宿主进程”“Terminating 杀不掉”或“镜像拉取 ctr 与 kubelet 表现不一致”的疑难杂症时,排查思路都能直接落回到对应的系统调用与配置文件,不再盲猜黑盒。

看清容器本质的那一刻,所有魔法指令都还原成了几行内核原语的严谨拼接。

\\\推荐阅读\\\

我们的WireGuard管理系统支持手机电脑了!全平台终端配置,支持扫码连接,一键搞定

保姆级教程:一条命令部署OpenVPN管理系统V4版,支持Win/Mac/安卓/iOS全平台接入

成本省下99.7%!用40元的腾讯云服务器自建IPsecVPN,成功对接企业级飞塔防火墙

告别配置敲到手抽筋!这套ZTP可视化管理神器,治好了我的配置丢失焦虑症

邻居卡Loading?网断了?高级网工必备的OSPF照妖镜与保命指令全解析

告别Full-Mesh噩梦!实战SR-MPLS跨域Option C + RR进阶架构

流量指哪打哪!手把手教你用静态Segment List玩转SRv6流量工程

嫌SRv6报文太胖跑不动?带你在Ubuntu+FRR实战uSID微段压缩

22秒跑出密码!算力碾压再升级,揭秘WiFi6+WPA3的致命短板

十倍性能提升!Ubuntu 26.04深度实测:当VPP遇上OpenVPN,带宽直接冲破 6.5Gbps!

性能暴涨670 %!当WireGuard遇上VPP,带宽直冲7.4 Gbps!

手机也能跑DeepSeek-R1/Qwen3了:零成本搭建AI推理平台

2048卡昇腾910C集群算力集群交付工程手册

2048卡H100算力中心100G无阻塞存储网建设方案

不用Docker手工造容器:从 unshare 到1号进程(含CRI冷启动对照) 网络安全文章

不用Docker手工造容器:从 unshare 到1号进程(含CRI冷启动对照)

本文探讨了手工构建容器的方法,包括使用unshare和pivot_root技术,并与KVM虚拟机和chroot目录隔离进行了比较。文章详细介绍了手工容器构建的步骤,包括镜像拉取、命名空间隔离、根文件系统切换等,并分析了手工容器与宿主机之间的关系。此外,文章还讨论了手工容器构建过程中可能出现的故障和解决方案。
评论:0   参与:  0