本文深入解析SGLang中RadixCache的核心机制,通过前缀树实现KVCache共享,显著提升大模型推理吞吐量2-5倍。文章详细介绍了TreeNode和RadixKey数据结构、match_prefix的指数搜索与二分查找加速、节点分裂、lock_ref引用计数保护、多种驱逐策略以及page对齐等关键技术,并展示了在RAG场景下的实际效果。
网络安全文章














