Ai2Shell:当文本越过工具边界" 网络安全文章

Ai2Shell:当文本越过工具边界"

本文探讨了AI模型中模型基础设施边界破坏的概念,即通过构造的输入导致模型返回无法被Agent正常消化的信息,影响模型可用性。文章详细分析了不同模型和推理框架的调用格式和解析过程,并提出了针对不同影响方式的实验验证。
【教案】LLMOWASPTOP10(上)" 网络安全文章

【教案】LLMOWASPTOP10(上)"

该教案介绍了LLMOWASPTOP10,阐述了LLM全生命周期涉及的安全风险,包括数据整理、预训练、模型微调、模型部署等阶段可能存在的安全问题,如数据投毒、供应链风险、系统提示泄露等,并提供了应对策略。
网络空间安全学院招聘30名专任教师" 网络安全文章

网络空间安全学院招聘30名专任教师"

网络空间安全学院招聘30名专任教师,要求具有博士学位,专业领域包括网络空间安全、计算机科学与技术等,并提供有竞争力的薪酬和科研启动经费。同时,网络安全攻防实验室提供网络安全学习资源和实战经验,吸引会员加入。
Ai2Shell:当文本越过工具边界" 网络安全文章

Ai2Shell:当文本越过工具边界"

本文探讨了AI模型在文本处理中的边界破坏问题,通过分析不同模型的工具调用格式和解析器行为,揭示了模型输出内容可能被恶意构造的文本影响,导致输出内容失真或调用结构损坏。研究提出了五种影响方式,并通过实验验证了这些方式在不同模型和推理框架上的表现。