24GB 显存塞不下大模型？vLLM /llama.cpp/ Ollama 程序员选型指南

原创

维度攻防
维度攻防

维度攻防

2026年7月14日 11:24
安徽

在小说阅读器读本章

去阅读

很多 AI 工程师都遇到同一个难题：老板要求本地部署 GPT 级大模型，硬件预算只给到 2-4 张 RTX 4090（单卡 24GB 显存）。vLLM、llama.cpp、Ollama 三款主流工具该怎么选？它们不是竞品，而是适配不同场景的三套方案。本文基于 RTX4090（24GB 显存 + 128GB 内存）实测数据，一次性讲清选型逻辑、性能差距、适用场景与实操命令。

一、三大工具核心定位拆解

1. vLLM｜工业级高性能推理框架

核心优势：高吞吐、低延迟，核心技术 PagedAttention，显存调度效率接近操作系统内存管理。硬性短板：模型必须完整装入显存，一旦超出显存直接 OOM 崩溃，无降级兼容方案。适配场景：线上高并发服务、7B/13B 中小参数模型、对响应速度有强要求的业务。

2. llama.cpp｜极简 C++ 底层推理引擎

核心优势：主打 “能跑起来”，支持 CPU+GPU 混合推理，原生 GGUF 量化格式。杀手锏：支持内存 / 磁盘分层卸载，超大模型分层存放，GPU 放不下就分摊到内存、硬盘。短板：吞吐性能远低于 vLLM，速度偏慢；适合离线、低并发场景。适配场景：单卡跑 70B/120B 超大模型、私有化知识库 RAG、显存不足的硬件环境。

3. Ollama｜llama.cpp 封装开箱工具

底层完全基于 llama.cpp，只是做了一层封装，性能和原生 llama.cpp 基本持平。优势：一行命令启动，自动下载模型、自带 11434 端口 API，新手零门槛聊天调试。致命缺陷：黑盒封装，屏蔽 90% 底层调参能力，无法精细控制显存分层卸载；无完整日志、底层栈不可调试，出现异常只能重启重试。适配场景：新手快速本地对话、临时测试模型，不适合工程化调优落地。

二、24GB 4090 实测性能对比表

硬件环境：RTX4090 24GB 显存 + 128GB 内存，统一 Q4 量化模型

关键数据解读

1. 显存充足时 vLLM 断层领先：7B 模型速度是 llama.cpp 的 28 倍，高并发服务首选；
2. 超大模型 vLLM 直接失效，llama.cpp 依靠分层卸载勉强运行，15token/s 可支撑交互式 RAG；
3. Ollama 性能≈llama.cpp，但默认参数不支持 120B 级模型分层加载，直接启动失败；
4. Ollama 只是包装层，性能无提升，牺牲调优能力换取易用性。

三、极简选型决策树

判断逻辑

你的模型能否完整塞进 24GB 显存？

1. 能放下

• 追求高吞吐线上服务 → vLLM
• 仅内部简单测试、不想写复杂配置 → Ollama

2. 放不下（70B/120B 大模型）

• 可接受 10-20token/s 低速推理 → llama.cpp（手动配置 GPU 分层）
• 无法接受低速 → 增加显卡 / 升级显存 / 改用云端 API

一句话速记

• 24GB 单卡 + 小模型 + 要性能：vLLM
• 24GB 单卡 + 超大模型 + 能跑就行：llama.cpp
• 纯本地聊天、快速调试、新手：Ollama
• 120B 巨型模型：仅 llama.cpp 可用，接受低速推理

四、被神化的 Ollama，工程落地有大坑

国内技术圈普遍吹捧 Ollama，但站在开发运维视角，它存在难以解决的短板：

Ollama 能做到

1. 一键下载、切换、管理各类开源模型；
2. 内置 OpenAI 兼容 API，默认 11434 端口；
3. 极简 model 文件配置，新手快速上手。

Ollama 做不到（工程致命问题）

1. 不暴露 llama.cpp 底层参数，无法精细调整--n-gpu-layers显存分层；
2. 屏蔽完整推理日志，显存异常、推理波动无法定位根源；
3. 无底层调用栈，性能瓶颈无法性能剖析；
4. 量化参数不可自定义，无法根据硬件做深度优化。

行业实测结论：Ollama 出现推理不稳定、显存暴涨、速度骤降等问题，几乎没有有效调试手段，只能反复重启、切换模型；而 llama.cpp 可通过命令行参数灵活调优，快速修复问题。

五、三套框架可直接复用的部署命令

1. vLLM（7B/13B 小模型专用）

python -m vllm.entrypoints.openai.api_server \\  --model meta-llama/Llama-3-8B-Instruct \\  --gpu-memory-utilization 0.95 \\  --max-model-len 8192 \\  --port 8000

2. llama.cpp（70B 超大模型分层卸载）

--n-gpu-layers 35核心参数：35 层放入 GPU，剩余模型层卸载至内存

./llama.cpp \\  --model llama-3-70b-Q4_K_M.gguf \\  --n-gpu-layers 35 \\  --threads 16 \\  --ctx-size 4096 \\  --batch-size 512

3. Ollama（新手快速对话测试）

ollama run llama3

六、企业落地 4 条实操建议

1. 先评估是否必须本地部署仅数据合规、隐私敏感、低延迟强约束场景才私有化；普通业务直接调用 DeepSeek、智谱等云 API，成本更低、运维零负担。
2. 按模型参数量匹配框架7B/13B 轻量化模型统一用 vLLM；70B 大模型选用 llama.cpp；120B 超大规模模型优先升级硬件，不推荐单卡勉强运行。
3. 给管理层输出标准化选型表技术选型是工程师决策，不要让非技术领导凭直觉选择工具，用本文决策树做对比方案，降低后期踩坑成本。
4. Ollama 使用者建议补充学习 llama.cpp日常测试可用 Ollama 简化流程，但必须掌握 llama.cpp 底层命令；线上故障、性能调优场景，原生 llama.cpp 是唯一可行的调试方案。

结尾总结

不存在绝对最好的推理工具，只有贴合业务场景的最优解。多数企业内部 RAG、私有知识库场景，不需要 vLLM 的百万级 QPS 吞吐，llama.cpp 十几 token/s 的速度完全够用；Ollama 适合个人调试，不适合规模化工程落地；若长期维护本地大模型服务，llama.cpp 与 vLLM 才是程序员真正的选型。

不妨打开你的 LLM 部署脚本自查：如果当前使用 Ollama，提前思考一旦出现性能、稳定性问题，是否具备完整调试能力？

互动话题

你们本地部署大模型踩过哪些显存 OOM、推理速度崩盘的坑？欢迎评论区交流硬件搭配与调优经验！