ZONE.CI 全球网

本文深入探讨了线性注意力机制的演进，从普通线性注意力到KDA，分析了其在AIInfra领域的应用和影响，并讨论了RNN范式的局限和时序/因果并行的问题。

北京大学李挥教授实验室在软件工程与大模型代码安全领域取得系列进展，两篇论文被顶级会议ICSE2026录用。Argus框架通过多智能体协同检测有效提升敏感信息泄露识别能力，AttentionDistance指标利用大模型语义分析将定向模糊测试效率提升3.43倍。实验室还推出A.S.E代码安全评测框架和A.I.G红队测试平台，并在开源社区获广泛关注，体现学术与产业落地结合的综合实力。

本文详细介绍了腾讯混元AIInfra团队对Hy3Preview大模型推理性能的优化实践，重点从算子优化与融合、并行策略、多级缓存、调度优化和量化稀疏五个维度展开。通过动态调度负载均衡、双BF16重构FP32计算、全算子流水线重构等技术，在Hopper卡上实现了显著性能提升，包括Attention算子最高加速2.95倍、MoE推理加速1.2-1.6倍、采样算子提升5.5倍等成果。文章还展示了TPSP和DP+EP并行策略在Prefill和Decode场景下的具体优化效果。

清华大学MADSys实验室开源ktransformers项目，通过异构计算将大模型权重存于系统内存，GPU负责attention和热专家计算，利用AMX加速和专家延迟机制，实现单张24GB显存显卡运行671B参数模型，解码速度超30tok/s，成本从百万级降至十万级。

本文系统梳理大模型架构从Transformer到BERT、GPT及Jev的演进历程，分析Decoder-only成为主流的原因，介绍后训练与推理模型发展，并重点解析2026年Jev模型不生成文本而返回决策与概率的新范式，以及DeepSeek与Qwen等前沿模型的技术特点。

本文系统解析了Transformer架构中encoder、decoder和encoder-decoder三类核心结构的区别，指出其关键在于信息流动方式、注意力范围和任务目标的差异。encoder采用双向注意力，适合文本理解与表征任务，典型模型为BERT；decoder采用因果注意力，专长自回归文本生成，典型模型为GPT系列；encoder-decoder则结合两者，适用于序列到序列转换任务如翻译和摘要，典型模型为T5和BART。文章还解释了当前生成式大模型多采用decoder-only架构的原因，并总结了

本文详细介绍了腾讯混元AIInfra团队对Hy3Preview大模型推理性能的优化实践，重点从算子优化与融合、并行策略、多级缓存、调度优化和量化稀疏五个维度展开。通过动态调度负载均衡、双BF16重构FP32计算、全算子流水线重构等技术，在Hopper卡上实现了显著性能提升，包括Attention算子最高加速2.95倍、MoE推理加速1.2-1.6倍、采样算子提升5.5倍等成果。文章还展示了TPSP和DP+EP并行策略在Prefill和Decode场景下的具体优化效果。

清华大学MADSys实验室开源ktransformers项目，通过异构计算将大模型权重存于系统内存，GPU负责attention和热专家计算，利用AMX加速和专家延迟机制，实现单张24GB显存显卡运行671B参数模型，解码速度超30tok/s，成本从百万级降至十万级。

本文系统梳理大模型架构从Transformer到BERT、GPT及Jev的演进历程，分析Decoder-only成为主流的原因，介绍后训练与推理模型发展，并重点解析2026年Jev模型不生成文本而返回决策与概率的新范式，以及DeepSeek与Qwen等前沿模型的技术特点。

本文系统解析了Transformer架构中encoder、decoder和encoder-decoder三类核心结构的区别，指出其关键在于信息流动方式、注意力范围和任务目标的差异。encoder采用双向注意力，适合文本理解与表征任务，典型模型为BERT；decoder采用因果注意力，专长自回归文本生成，典型模型为GPT系列；encoder-decoder则结合两者，适用于序列到序列转换任务如翻译和摘要，典型模型为T5和BART。文章还解释了当前生成式大模型多采用decoder-only架构的原因，并总结了

北京大学李挥教授实验室在软件工程与大模型代码安全领域取得系列进展，两篇论文被顶级会议ICSE2026录用。Argus框架通过多智能体协同检测有效提升敏感信息泄露识别能力，AttentionDistance指标利用大模型语义分析将定向模糊测试效率提升3.43倍。实验室还推出A.S.E代码安全评测框架和A.I.G红队测试平台，并在开源社区获广泛关注，体现学术与产业落地结合的综合实力。

本文详细介绍了腾讯混元AIInfra团队对Hy3Preview大模型推理性能的优化实践，重点从算子优化与融合、并行策略、多级缓存、调度优化和量化稀疏五个维度展开。通过动态调度负载均衡、双BF16重构FP32计算、全算子流水线重构等技术，在Hopper卡上实现了显著性能提升，包括Attention算子最高加速2.95倍、MoE推理加速1.2-1.6倍、采样算子提升5.5倍等成果。文章还展示了TPSP和DP+EP并行策略在Prefill和Decode场景下的具体优化效果。

清华大学MADSys实验室开源ktransformers项目，通过异构计算将大模型权重存于系统内存，GPU负责attention和热专家计算，利用AMX加速和专家延迟机制，实现单张24GB显存显卡运行671B参数模型，解码速度超30tok/s，成本从百万级降至十万级。

本文系统解析了Transformer架构中encoder、decoder和encoder-decoder三类核心结构的区别，指出其关键在于信息流动方式、注意力范围和任务目标的差异。encoder采用双向注意力，适合文本理解与表征任务，典型模型为BERT；decoder采用因果注意力，专长自回归文本生成，典型模型为GPT系列；encoder-decoder则结合两者，适用于序列到序列转换任务如翻译和摘要，典型模型为T5和BART。文章还解释了当前生成式大模型多采用decoder-only架构的原因，并总结了

北京大学李挥教授实验室在软件工程与大模型代码安全领域取得系列进展，两篇论文被顶级会议ICSE2026录用。Argus框架通过多智能体协同检测有效提升敏感信息泄露识别能力，AttentionDistance指标利用大模型语义分析将定向模糊测试效率提升3.43倍。实验室还推出A.S.E代码安全评测框架和A.I.G红队测试平台，并在开源社区获广泛关注，体现学术与产业落地结合的综合实力。

本文详细介绍了腾讯混元AIInfra团队对Hy3Preview大模型推理性能的优化实践，重点从算子优化与融合、并行策略、多级缓存、调度优化和量化稀疏五个维度展开。通过动态调度负载均衡、双BF16重构FP32计算、全算子流水线重构等技术，在Hopper卡上实现了显著性能提升，包括Attention算子最高加速2.95倍、MoE推理加速1.2-1.6倍、采样算子提升5.5倍等成果。文章还展示了TPSP和DP+EP并行策略在Prefill和Decode场景下的具体优化效果。

清华大学MADSys实验室开源ktransformers项目，通过异构计算将大模型权重存于系统内存，GPU负责attention和热专家计算，利用AMX加速和专家延迟机制，实现单张24GB显存显卡运行671B参数模型，解码速度超30tok/s，成本从百万级降至十万级。

清华大学MADSys实验室开源ktransformers项目，通过异构计算将大模型权重存于系统内存，GPU负责attention和热专家计算，利用AMX加速和专家延迟机制，实现单张24GB显存显卡运行671B参数模型，解码速度超30tok/s，成本从百万级降至十万级。

本文系统梳理了从Transformer到Jev的大模型架构演进历程，涵盖Encoder-only与Decoder-only技术路线分化、Decoder-only成为主流的原因、后训练与推理模型发展，并重点介绍了TypeSafeAI发布的Jev决策模型，其以概率输出替代文本生成，定位为快思考系统，为自动化决策提供新范式。

本文系统梳理大模型架构从Transformer到Jev的演进历程，分析Encoder-only、Encoder-Decoder与Decoder-only三条技术路线的分化及Decoder-only成为主流的原因，包括训练信号密集、任务形态统一与KVcache复用等优势。文章还介绍后训练与推理模型特点，并重点解析TypeSafeAI发布的Jev模型，其不生成文本而直接返回决策概率，以毫秒级延迟实现自动化判断，代表一种新的后训练范式RLCD。

本文系统梳理了从Transformer到Jev的大模型架构演进历程，涵盖Encoder-Decoder原始结构、BERT与GPT代表的两条技术路线分化、Decoder-only成为主流的原因、后训练与推理模型发展，以及TypeSafeAI发布的Jev模型特点。Jev不生成文本，而是针对输入材料回答限定形式问题并返回概率，定位为快的系统一，与LLM形成互补。文章技术分析深入，结构清晰，对理解大模型架构演进具有参考价值。

本文系统解析GQA分组查询注意力技术，阐明其让多个查询头共享KV头以降低推理缓存，介于MHA与MQA之间。文章详述机制原理、核心参数、工程实现与验证方法，提供从MHA检查点转换权重的实操建议，并指出极端分组可能影响注意力质量，需结合真实负载评估。

FlashAttention是一种IO感知精确计算方法，用于优化大规模模型在显存和片上SRAM之间的访存，通过分块、在线softmax与重计算减少资源消耗，并提高训练稳定性与生成能力。

本文系统解析FlashAttention-2技术原理与工程实现，核心改进在于通过线程块与warp间工作划分优化并行度，减少非矩阵乘运算并降低HBM访问，在A100上实现较FA1近2倍内核加速及约50-73%理论峰值算力。文章涵盖机制设计、参数配置、验证方法、典型应用场景及局限，强调评测需明确层次与配置，并介绍FA3/FA4进展。

文章总结： 本文系统梳理了从Transformer到Jev的大模型架构演进历程，涵盖Encoder-only与Decoder-only技术路线分化、Decode