文章总结： 文章系统梳理PPO、DPO、GRPO三大强化学习算法原理差异，指出PPO靠裁剪稳定更新但多模型耗资源，DPO直接拟合人类偏好省掉奖励模型却缺探索，GRPO砍掉Critic用自评估降成本并已在Deepseek-R1验证；给出LunarLander完整PPO代码与自定义奖励塑形对比实验，证明合理设计奖励可显著提升收敛速度与着陆成功率，为后续大模型后训练提供可复现的RLHF实操模板。 综合评分： 88 文章分类： AI安全,安全工具,实战经验,安全开发,解决方案

这里奖励最多的是距离着陆区越近越好，可以尝试各种猎奇的奖励（bushi

0x04 总结

通过这篇文章，我们深入探讨了PPO算法和奖励机制设计的结合。在强化学习中，合理的奖励设计能够帮助模型更好地学习任务目标，而通过自定义奖励机制，我们能够更精确地控制模型的行为。通过实际的对比实验，可以看到自定义奖励在强化学习训练中的优势。这些知识点在实际应用中非常重要，尤其是当涉及到复杂环境和高效的模型训练时

后续我们还将通过如今大语言模型后训练强化学习进行实战演练

参考文章

https://mp.weixin.qq.com/s/DiKulIhOnMc_VSJO4UJRSw

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：剑客古月的安全屋 苏心斋|月金剑客 苏心斋|月金剑客《ai基础-PPO&DPO&GRPO&实战》