当代码遇上语义:CoREB如何重新定义代码检索评测"

admin 2026-10-20 16:59:12 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式
当代码遇上语义:CoREB如何重新定义代码检索评测" 网络安全文章

当代码遇上语义:CoREB如何重新定义代码检索评测"

蚂蚁集团推出的COREB代码检索评测基准旨在解决现有基准数据泄漏、硬负例质量差和评测粒度粗三大痛点。该基准基于LiveCodeBench竞赛题库,通过时间窗口划分杜绝数据污染,引入三级分级标注体系构建高质量硬负例,覆盖文本到代码、代码到代码、代码到文本三大任务,对11个主流模型评测发现,代码专用模型在特定任务上可超越通用大模型,且模型存在显著语言偏置,为代码嵌入模型提供了更真实、严格的评估标准。
拆解大模型几项核心操作背后的数学与Infra优化逻辑" 网络安全文章

拆解大模型几项核心操作背后的数学与Infra优化逻辑"

本文深入解析大语言模型中RMSNorm操作的数学原理与基础设施优化逻辑,通过对比LayerNorm阐明RMSNorm通过省略均值计算、仅保留均方根缩放来打破数据依赖,实现单次规约操作,从而减少寄存器占用和ALU指令,在GPU上达到极致访存优化与推理速度提升,同时保持模型训练稳定性。
评论:0   参与:  0