G.O.S.S.I.P 阅读推荐 2026-06-03 从头开始训练语言模型！

原创

G.O.S.S.I.P
G.O.S.S.I.P

安全研究GoSSIP

2026年6月3日 19:50
上海

在小说阅读器读本章

去阅读

前几天有个新闻（不是胡彦斌vibe coding）：

一家未公布名字的公司一个月内在 Claude AI 上花掉了 5 亿美元，原因是公司忘记了为员工设置 Claude 使用限制。虽然没有公开名字，但能在 AI 上每月随意支出 5 亿美元且没有自己的 AI 大模型的公司寥寥无几。

盲猜一下这个“mystery company”是巨硬吧，不过估计就连M$都烧不起$了，我们这些自掏腰包给AI当衣食父母的打工人就更应该想想怎么更好地节衣缩食？不知道有多少读者经历过那个发短信一毛钱一条，信息都要编辑半天才发送出去的高效交流时代，而这个年代最缺少的美德之一可能是勤俭节约。不过万恶的资本主义大学之一的Stanford也很应景，在两年前就开设了一门叫做CS336: Language Modeling from Scratch的课程，一看名字就知道：手把手教你训练自己的~~毫无用处的~~语言模型：

课程网站：https://cs336.stanford.edu/

这门课程假设学习者已经有了一定的编程基础和机器学习的基础（比如假设你学过Stanford的CS221, CS229, CS230, CS124, CS224N等课程），而本课程算是一类比较工程化的教学，就是教你怎么样去搭建系统、处理数据直至最终训练出自己的模型。虽然课程坦承“Frontier models are out of reach for us”，但是通过学习这门课程，你可以收获三类知识（即使在这个时代，知识还是有意义的）：

Mechanics: how things work (what a Transformer is, how model parallelism works)
Mindset: squeezing the most out of the hardware, taking scaling seriously
Intuitions: which data and modeling decisions yield good accuracy

对，建立工程的思维模式，用我们中国的古话来说就是“艺多不压身”。不过这个课程还有个小小的门槛，那就是课程建议自学的大家去找B200来训练……（据说Stanford自己注册这门课的学生都有学校分配了算力的）这个确实有点强人所难，虽然课程也给了一些建议：

不过在HackerNews讨论区很多人说没必要，甚至4060 Ti也够了。

这个课程的课件也很有意思，并不是PPT或者PDF，而是用python代码的形式来展示（你好奇吗，访问一下底下这个链接）：

https://cs336.stanford.edu/lectures/?trace=lecture\_01

当然，老传统了，Stanford的课程肯定会给你Youtube播放列表的：

https://www.youtube.com/watch?v=JuoVZkPBiKk&list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV&index=1

这些资料都已经喂到你嘴边了，怎么样，赶紧开始？诶，2001年MIT开始搞大学开放课程的时候，全世界都在狂欢“大学已死”，这25年过去了，你大爷还是你大爷。大家总归有各种借口，比如没有显卡没有内存学不来对不对？来来来，打个广告吧：2026年的G.O.S.S.I.P暑期实习报名即将开启，如果大家想要加入到这个拥有一大堆5090显卡和几十T内存的团队，那么欢迎邮件我们咨询 intern [at] securitygossip.com 当然，正式的实习报名通知很快也会公布，敬请关注我们的公众号吧！