deepseek神鬼二相性真相大白?字节团队新论文打脸ds灰测传言
玄月调查小组
2026年10月15日 02:27
上海
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
编者荐语:
总不能大家都偷偷给我换了量化版本吧?
以下文章来源于矩阵哨兵
,作者矩阵哨兵
矩阵哨兵
.
重构认知边界,让AI成为你的第二大脑
大家还记得史上最短命模型DeepSeek-V4-Pro-0813吗?
8月份的时候,我在b站刷到过一堆deepseek灰测的视频。又是\"震惊瘫坐\",又是\"核弹爆炸\",然而真正发布后,我只能说拉完了,完全对不起期待,和灰测时候完全不符。
经过\"权重传错了\"、\"配置没搞对\"等等一系列反转再反转后,随着半个月后DeepSeek-V4.1-Flash的发布,V4-Pro的棺材板算是被钉上了。但有没有人和我一样很好奇,当初灰测的模型是什么来头?为什么和正式版差距那么大?
最近字节团队发布了一篇论文《Periodic Weak Spots》,揭露了deepseek v4系列模型神鬼二相性的真相。原来我们都搞错了,灰测模型和正式版可能还真是一个模型。
多一个等号,就能让Deepseek流口水
研究人员让 DeepSeek-V4-Flash-Base 补全一段代码。
正确答案应该是 8,但大肥鱼有时偏偏选择错误的 32。
更神奇的是,研究人员在不修改代码的前提下,只在无关注释里不断增加等号 =,神奇的一幕出现了:
- 某些位置,AI 坚定地选择错误答案
32。 - 往前多加几个无关字符,它又选择正确答案
8。 - 继续增加字符,错误又回来了。
而且,这种变化呈现出每4个 Token重复一次的规律。
同样的题目,大肥鱼准确率相差一倍
研究人员进一步给 DeepSeek V4 做了一场考验上下文性能的\"大海捞针\"测试。
他们准备了一份约12.8万个 Token 的长文本,藏入1.6万组编号和答案,再让模型寻找指定信息。
结果发现,在 DeepSeek-V4-Flash 的基础模型上:
信息落在最佳位置组时,准确率接近70%;落在最差位置组时,准确率却不到30%。
创新的记忆压缩机制竟是元凶
为什么偏偏是4个 Token?
大家还记得高中时候背书默写的痛苦时光吗?如果默写内容是一篇课文,逐字记完全记不住(内存不够),只能通过概要帮助记忆。
DeepSeek V4 记忆压缩机制原理类似,它会把连续8个 Token 的信息压缩,每向前移动4个 Token,再生成一份新的压缩记忆。
问题是:卡片上的不同位置,可能并没有得到同等重视。
比如,某些负责读取信息的组件特别关注前几个位置,另一些关注中间几个位置。
更麻烦的是,多个组件可能偏爱相同的位置,却没有人照顾另外一些位置。
类似于默写时候记得开头,记得结尾,中间忘了。
于是,大肥鱼就出现了周期性的记忆薄弱点。
深度求索团队很明显也发现了这个问题,V4.1-Flash模型在这方面改善了很多。
灰测谜团
回到开头b站的那些视频,我推测很大一部分正好抽卡抽到了SSR,翻车的肯定不会放出来,而社区反馈之所以褒贬不一,和大肥鱼不稳定的输出也有很大关系。
虽然大肥鱼稳定性确实一般,上限高下限低,但毕竟量大管饱,希望这个月的v4.1-pro能带给我们惊喜,梁子加油!
都看到这儿啦,点个关注再走嘛~
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论