不用 Docker 手工造容器:从 unshare 到 1 号进程(含CRI冷启动对照)
原创
衡水石头哥
衡水石头哥
金失三石
2026年11月15日 07:29
北京
去阅读
一、 为什么刚装完 containerd,ctr pull 却超时卡死,而手工 unshare 只需 4.4MB?
在很多入门认知里,“容器”几乎等价于一台装了独立操作系统的超轻量虚拟机——动辄几百 MB 的镜像、必须靠 Docker Desktop 或 containerd 守护进程才能跑起来。等真正进入 Kubernetes 排障现场,这种错觉会直接把排查方向带偏。
在完成裸机底座加固后,我们在工作节点 wk1-107 安装了纯净 containerd v2.4.2 与 cri-tools(crictl v1.33.0),刻意暂不安装 kubeadm、kubelet 与 CNI 插件。实验一开场就撞上两个最能打破直觉的实测现象:
- 同一台机器、同一套配置,为什么 ctr pull 超时、crictl pull 却秒通?
同样拉取docker.io/library/busybox:1.36,直接用ctr -n k8s.io images pull6 秒超时被杀(CTR_DIRECT_PULL_RC=124),而执行crictl pull docker.io/library/busybox:1.36瞬间落盘完成(2.22MB)。原因不是containerd坏了,而是 ctr 作为底层调试客户端默认不加载 /etc/containerd/certs.d 加速目录(除非手动传--hosts-dir),它硬生生直连已被阻断的registry-1.docker.io;而crictl走 CRI 插件路径,自动命中docker.1ms.run/docker.m.daocloud.io。 - 解开 busybox:1.36 只有 4.4MB,404 个 Linux 命令全靠 1 个二进制和 405 个硬链接撑起来:
目录里既没有/boot,也没有任何内核.ko模块——只需要原生 Linuxunshare+pivot_root+/proc挂载,一个“五脏俱全的容器”就在没有任何守护进程介入下启动了。
二、 方案对比:KVM 虚拟机 vs chroot 目录隔离 vs unshare + pivot_root 手工容器
为了把容器、传统 chroot 与虚拟机的物理边界一次性讲透,先看实测机制对比:
| 对比维度 | KVM 全虚拟化(如 wk1-107 本身) |
传统 chroot 目录切换 |
本篇手工容器(unshare 5 命名空间 + pivot_root) |
|---|---|---|---|
| 内核实例 | 独立客户机内核 (Guest OS 启动自带 vmlinuz 与独立硬件模拟) |
共享宿主机内核 | 共享宿主机内核 (容器内 uname -r 与宿主机完全一致:6.8.0-110-generic) |
| 根目录隔离机制 | 虚拟磁盘块设备整盘挂载 | 仅修改当前进程根目录指针,原挂载树仍在视野与可达边界内 | 先 mount --bind 建立独立挂载点,再 pivot_root 整体置换根文件系统并 umount -l /.oldroot 彻底摘除旧根 |
| 进程 / 网络 / 主机名隔离 | 完整独立 OS 栈 | ❌ 零隔离(ps 看光宿主机所有进程,改 hostname 直接改宿主机) |
独立 PID(容器内有自己的 PID 1)、独立 NET(空栈仅 lo)、UTS、IPC、MNT |
| 镜像最小体积参考 | 完整安装 ISO/磁盘镜动辄数 GB | 取决于拷贝的二进制集合 | 仅需 4.4MB BusyBox rootfs(不含内核与启动器) |
| 生产运行时对应关系 | IaaS / Hypervisor 层虚拟机 | 早期受限 SSH / 构建环境 | 与 runc 创建 OCI 容器的系统调用链路同源 |
🔄 【核心执行时序流】Lab\_P01 手造容器底层原语时序
步骤 01 · 镜像拉取与解包 OCI RootFS
crictl pull busybox:1.36 ➔ 解包提取 4.4MB rootfs (405 硬链接)
⬇
步骤 02 · 内核命名空间全面剥离 5 大隔离
unshare --pid --net --uts --ipc --mount --fork
⬇
步骤 03 · 挂载边界私有化 避开 EBUSY
mount --bind ROOT && mount --make-private $ROOT
⬇
步骤 04 · 根文件系统置换 切换根 /
cd $ROOT && pivot\_root . .oldroot
⬇
步骤 05 · 虚拟系统重建与旧根剥除 摘除 .oldroot
export PATH=/bin && mount -t proc proc /proc && umount -l /.oldroot
⬇
步骤 06 · 隔离态稳定运行 🎉 手工容器就绪
exec /bin/sh ➔ 共享宿主内核 6.8.0-110 · 容器内天然免疫 kill -9 1
三、 第一平面实操:纯净 CRI 冷启动对照与 OCI 镜像解包
3.1 containerd v2.4.2 在无 CNI 阶段的真实状态
在 wk1-107 执行 init-node.sh --skip-k8s 并单独安装 cri-tools 后,检查 crictl info 输出的 conditions 字段:
[
{
\"message\": \"\",
\"reason\": \"\",
\"status\": true,
\"type\": \"RuntimeReady\"
},
{
\"message\": \"Network plugin returns error: cni plugin not initialized\",
\"reason\": \"NetworkPluginNotReady\",
\"status\": false,
\"type\": \"NetworkReady\"
},
{
\"message\": \"\",
\"reason\": \"\",
\"status\": true,
\"type\": \"ContainerdHasNoDeprecationWarnings\"
}
]
判读重点:此时 /var/lib/containerd 已位于 Phase 0 备妥的 98G``/dev/sdb 独立数据盘上。RuntimeReady 为 true,NetworkReady 为 false(明确提示 cni plugin not initialized)——这恰恰把 Kubernetes 节点启动前的两大依赖拆分得一清二楚:运行时服务看 containerd 与 hosts.toml,网络就绪看后续 /etc/cni/net.d 与 /opt/cni/bin 核心目录。
3.2 ctr 直连超时的真实排错对照与 busybox:1.36 405 硬链接拆解
运行对照探针与 00-prepare.sh 后,拿到如下关键实测回显:
=== Contrast: ctr images pull WITHOUT --hosts-dir (timeout 6s) ===
CTR_DIRECT_PULL_RC=124
=== CRI pull via containerd certs.d mirror ===
Image is up to date for sha256:b116e155074440ffd9e449559433feb4cd2341eb3554b1da1c638c976e56451d
IMAGE TAG IMAGE ID SIZE
docker.io/library/busybox 1.36 b116e15507444 2.22MB
⚠️ 【重要提醒】
镜像加速排障切勿误用 ctr 客户端工具:直接执行 ctr -n k8s.io images pull 时,由于默认不加载 /etc/containerd/certs.d 目录,请求会直连已被阻断的 registry-1.docker.io 并 6 秒超时退出(CTR_DIRECT_PULL_RC=124);排查与 kubelet 同源的 CRI 拉取配置时,必须使用 crictl pull 或显式补充 --hosts-dir /etc/containerd/certs.d。
将容器镜像从 containerd 导出为 OCI layout 并解包到 /opt/lab/p1-rootfs 后,可以看到容器镜像小巧到极致的秘密:
- 多架构索引指针:
index.json指向多架构清单sha256:73aaf090...,里面包含amd64、arm64/v8等多种架构与 attestation 条目,本次宿主机命中的amd64manifest digest 为sha256:b7f3d86d6e84fc17718c48bcde1450807faa2d56704205c697b4bd5df7b9e29f; - 单层 2.2M 压缩包 -> 4.4M rootfs:最大 blob
034d6572bf287fa79604fee9be062f0683809ae3a3685bc7b0e17bd1c48c50e8(2.2M)解压出 404 个 BusyBox 命令(applet_count=404); - 同一 inode 硬链接:
ls -li /opt/lab/p1-rootfs/bin/{busybox,ls,sh}显示三者共享完全相同的 inode 编号3670057(链接数高达 405 处硬链接,单二进制大小1013320字节),且根目录下无/boot。
四、 第二平面实操:unshare + pivot_root 手工容器与宿主机双向同屏对照
4.1 脱离 Docker 启动手造容器
执行 P1-manual-container.sh,核心只靠一条 unshare --pid --net --uts --ipc --mount --fork:
############ 以下输出来自容器内部 ############
=== 1. 身份:主机名可以独立设置 ===
hostname 现在是: p1-container
=== 2. 进程视图:只能看到本命名空间内的进程 ===
PID PPID COMMAND
1 0 sh
11 1 ps
=== 3. PID 1 是谁 ===
PID 1 命令行: /bin/sh /inner.sh
=== 4. 网络视图:一个全新的、空的网络栈 ===
1: lo: <LOOPBACK> mtu 65536 qdisc noop qlen 1000\\ link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
=== 5. 挂载视图:/ 就是镜像根,看不到宿主的盘 ===
/ ext4
/proc proc
=== 7. 内核是共享的:容器内看到的版本等于宿主 ===
6.8.0-110-generic
=== 8. PID 1 受内核保护,kill -9 杀不掉 ===
kill 返回成功(但不会真的死)
当前进程数: 5
############ 容器已退出,回到宿主机 ############
=== 宿主机的对照:主机名没变,进程还在,网络还在 ===
宿主 hostname : wk1-107
宿主进程数 : 238
宿主网卡 : lo ens4 ens6 ens7 ens8
4.2 关键取证升级:宿主机 vs 容器进程的双视角同框验证
光在容器退出后看一眼宿主机还不够透彻。我们进一步把一个手工 unshare 容器挂在后台(hostname p1-dual + sleep 30),在它存活期间同时从宿主机侧(lsns + /proc/$HOST_INIT/ns/*)和容器内侧(nsenter 读取容器自检结果)对齐每一个内核命名空间 ID:
- 宿主机进程视图:
unshare --pid ... --fork(宿主机PID 16887)克隆出子进程 PID 16889,在宿主机看来这就是一个再普通不过的/bin/sh -c ...用户态进程。 - 双向 Namespace Inode 精准对表(左侧为宿主机
PID 1,右侧为宿主机上的PID 16889——即容器里的PID 1):
| Namespace 类型 | 宿主机 PID 1 (/proc/1/ns/*) |
容器 PID 1 (PID 16889 / nsenter 内测) |
隔离判定与原理结论 |
|---|---|---|---|
pid |
pid:[4026531836] |
pid:[4026532375] | ✅ 已隔离:宿主机看见 16889,容器内看见 1 |
net |
net:[4026531840] |
net:[4026532376] | ✅ 已隔离:全新网络协议栈,仅有未 UP 的 lo |
uts |
uts:[4026531838] |
uts:[4026532373] | ✅ 已隔离:容器改名 p1-dual,宿主机稳守 wk1-107 |
ipc |
ipc:[4026531839] |
ipc:[4026532374] | ✅ 已隔离:信号量/共享内存队列完全独立 |
mnt |
mnt:[4026531841] |
mnt:[4026532350] | ✅ 已隔离:容器 / 已替换为 p1-rootfs,旧根已卸载 |
user |
user:[4026531837] |
user:[4026531837] |
未指定 --user,共享宿主 root 用户命名空间 |
cgroup |
cgroup:[4026531835] |
cgroup:[4026531835] |
未隔离 cgroupfs,下一篇 Lab_P02 将手动施加资源限流 |
time |
time:[4026531834] |
time:[4026531834] |
共享宿主机单调时钟与系统时间 |
五、 第三平面实操:三大可控故障注入与边界实证
只看成功回显永远不知道边界在哪。我们在 wk1-107 上刻意制造了手工容器中最常翻车的三个错误现场:
5.1 故障注入 1:省略 mount --bind,直接对目录执行 pivot_root
- 注入操作:建立普通子目录
/opt/lab/p1-no-bind/.oldroot,跳过mount --bind与mount --make-private,直接运行unshare --mount /bin/bash -c \"cd /opt/lab/p1-no-bind && pivot_root . .oldroot\"。 - 真实报错:
pivot_root: failed to change root from `.' to `.oldroot': Device or resource busy
FAULT1_RC=1
* 根因解析:pivot_root(new_root, put_old) 在 Linux 内核系统调用层强要求 new_root 必须是一个独立的挂载点 mountpoint,且当前挂载命名空间下不能处于共享传播(shared propagation)或与当前工作父挂载同点冲突的目录状态,否则内核直接拒绝并返回 EBUSY(Device or resource busy)。执行 mount --bind \"$ROOT\" \"$ROOT\" 看似自己挂自己多此一举,实则是在 VFS 层原地制造了一个合法独立挂载边界。
5.2 故障注入 2:换根后忘切 PATH 且不挂 /proc
- 注入操作:
pivot_root切换进p1-rootfs后,直接尝试执行原宿主机路径/usr/bin/mount和/bin/ps:
--- 3a. Call mount without updating PATH (using host /usr/bin) ---
/bin/bash: line 9: /usr/bin/mount: No such file or directory
MOUNT_ERR_RC=127
--- 3b. Run /bin/ps BEFORE mounting /proc ---
PID USER TIME COMMAND
* 现象与恢复:因为宿主机 / 已被置换并卸载,/usr/bin/mount 已经物理消失(退出码 127);而在挂载新 /proc 前执行 BusyBox /bin/ps,只会打印空表头没有任何进程。一旦切回 export PATH=/bin 并执行 /bin/mount -t proc proc /proc,新 /proc 视图立刻按新 PID Namespace 输出隔离进程(1 bash、10 ps)。
* K8s 映射联想:生产集群容器报 exec: \"...\": no such file or directory,除了镜像架构不匹配(ELF interpreter 缺失),最常见原因就是被注入错误的宿主机二进制绝对路径或在精简 distroless/scratch 镜像里找不到 shell。
5.3 故障注入 3:PID 1 内核免死盾牌(SIGNAL_UNKILLABLE)的真实边界
很多人背过“容器内 kill -9 1 杀不死 1 号进程”,却容易误解成“宿主机也杀不死它”或“任何进程都能免疫 SIGKILL”。在双视角活跃容器中实测同一批进程的三种杀伤路径:
--- Try kill -9 1 from INSIDE container vs kill -9 child inside ---
PID PPID COMMAND
1 0 sh
16 0 sh
17 16 ps
child_pid=18
child_exit_rc=137
--- Still alive on host? Yes -> Now kill -9 $HOST_INIT FROM HOST parent namespace ---
ALIVE_ON_HOST_AFTER_INNER_KILL9=yes
HOST_KILL9_WAIT_RC=1
- 测试路径 1:容器内执行 kill -9 1:内核识别发送方与目标同属子 PID Namespace 的 PID 1,因缺乏用户显式注册且
SIGNAL_UNKILLABLE保护孤儿进程托管者,SIGKILL被静默丢弃(宿主侧kill -0 16889依然存活:ALIVE_ON_HOST_AFTER_INNER_KILL9=yes); - 测试路径 2:容器内执行 kill -9 18 子进程:非 PID 1 普通子进程毫无免死特权,瞬间被杀且返回退出码
137(128 + 9); - 测试路径 3:宿主机父 Namespace 执行 kill -9 16889:当
SIGKILL来自上级(宿主机)PID Namespace 时,内核不再套用子 Namespace 的 PID 1 保护伞,16889当场终止、unshare父包装进程随之结束。
📌 【生产反思】 为什么 K8s 经常遇到 Pod Terminating 卡满 30 秒才被强杀?
正因为容器内业务进程如果恰好以 PID 1 身份运行(例如 shell 脚本启动或未托管信号的二进制),当它既没注册 SIGTERM 优雅退出处理器(kernel 同样屏蔽发往自身 PID 1 的未捕获 SIGTERM!),kubelet 下发 SIGTERM 后就会毫无反应,直到 terminationGracePeriodSeconds(默认 30s)耗尽,再由宿主机命名空间的运行时从外部发去一记 SIGKILL。
六、 关于 unshare 与容器核心机制的三个追问
1. 本实验手工建容器没有用 cgroups,它和完整 OCI 容器(runc)还差哪几块拼图?
完整 runc 容器在 unshare/clone(隔离视野)与 pivot_root(隔离目录)之外,还补上了四件事:一是 cgroups 资源限额与记账(下一篇 Lab_P02 主角);二是 CNI 网络打通(给空的 lo 配上 veth、bridge 和路由,见 Lab_P04);三是 Capabilities 降权 + Seccomp + AppArmor(收窄共享宿主机内核的攻击面);四是 OverlayFS 联合挂载(多层只读镜像 + 独立可写层,见 Lab_P07)。
2. 为什么手工 unshare 退出之后 /opt/lab/p1-rootfs 里面看不到 .oldroot,宿主机也丝毫未受 hostname p1-container 影响?
unshare --mount 的所有挂载动作仅存活在私有的挂载命名空间内存结构中;随着命名空间内最后一个进程退出,该 mnt Namespace 与 /proc 挂载连同内部修改的 uts(p1-container)自动随内核引用计数归零而销毁,唯独底层块设备目录上提前创建好的物理子目录 .oldroot 会因 mount --make-private 与普通目录创建语义留痕在硬盘上,若脚本里用 rmdir /.oldroot 就能干净抹掉。
3. 既然 ctr -n k8s.io images pull 不会读 /etc/containerd/certs.d,排查镜像拉取失败时该怎么验证?
记住黄金分工:怀疑 CRI 与镜像加速配置时,用 crictl pull 贴近真实调用链,排查失败优先看 containerd 日志与 hosts.toml 证书配置;只有明确需要绕开 CRI 做底层内容存储操作时,才用 ctr -n k8s.io images pull --hosts-dir /etc/containerd/certs.d 或 ctr images export。
七、 结语
- 操作层:我们在纯净
wk1-107上先用crictl pull与ctr pull的一败一胜摸清了certs.d加速机制的生效边界,再用一组单二进制加 405 条硬链接构成4.4MB的 BusyBox rootfs,不靠任何守护进程亲手拉起了包含独立 PID 1、空网络栈与独立主机名的标准隔离容器。 - 设计层:通过宿主机与容器内的双向 Namespace inode 对表以及
pivot_root(EBUSY)、PATH/proc缺失和SIGNAL_UNKILLABLE内外SIGKILL三项破坏性实验,把“容器不是小虚拟机,而是被命名空间与挂载树框住的普通 Linux 进程”这一底层模型钉成了可测量、可复现的工程铁证。 - 价值层:往后面对任何容器“找不到可执行文件”“
ps看不到宿主进程”“Terminating杀不掉”或“镜像拉取ctr与kubelet表现不一致”的疑难杂症时,排查思路都能直接落回到对应的系统调用与配置文件,不再盲猜黑盒。
看清容器本质的那一刻,所有魔法指令都还原成了几行内核原语的严谨拼接。
\\\推荐阅读\\\
我们的WireGuard管理系统支持手机电脑了!全平台终端配置,支持扫码连接,一键搞定
保姆级教程:一条命令部署OpenVPN管理系统V4版,支持Win/Mac/安卓/iOS全平台接入
成本省下99.7%!用40元的腾讯云服务器自建IPsecVPN,成功对接企业级飞塔防火墙
告别配置敲到手抽筋!这套ZTP可视化管理神器,治好了我的配置丢失焦虑症
邻居卡Loading?网断了?高级网工必备的OSPF照妖镜与保命指令全解析
告别Full-Mesh噩梦!实战SR-MPLS跨域Option C + RR进阶架构
流量指哪打哪!手把手教你用静态Segment List玩转SRv6流量工程
嫌SRv6报文太胖跑不动?带你在Ubuntu+FRR实战uSID微段压缩
22秒跑出密码!算力碾压再升级,揭秘WiFi6+WPA3的致命短板
十倍性能提升!Ubuntu 26.04深度实测:当VPP遇上OpenVPN,带宽直接冲破 6.5Gbps!
性能暴涨670 %!当WireGuard遇上VPP,带宽直冲7.4 Gbps!
手机也能跑DeepSeek-R1/Qwen3了:零成本搭建AI推理平台
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论