字节 Seed 皆起初用化学想想搞大模子了——绍兴不锈钢保温施工队

度理是共价键、自我反想是氢键、自我探索是范德华力？！

传统的大模子长想维链理基本把 AI 的想考流程等同于线结构。

但很厚情况下，后续的个要道论断，可能需要回过甚去考据早早提议的假定。

CoT 把这种非线的依赖干系忽略了。

字节 Seed 在论文《The Molecular Structure of Thought》中次给大模子的长链想维界说了分子式结构。

在这种分子拓扑中，三种键是怎样互相当合的？

好的理像分子结构

团队把 DeepSeek-R1、gpt-OSS 等强理模子的长链想维拆成步步的，然后给每步之间的"卓越"上标签。

完标签发现，统共有的长链想维里，其实就三种基础作为往返组合。

种叫度理，像共价键样结子。

平凡来说等于访佛"因为 A 是以 B，因为 B 是以 C "的硬逻辑进。

团队在语义空间里作念了个很形象的量化分析，把模子的每步想考皆当成个点，看这些点后会散成多大个圈。

圈子越小，讲明模子越没跑题，想考越聚焦。

成果发现，加上度理之后，这个散点圈径直缩水 22。

度理如实起到了收束杂念、锁定中枢逻辑的要道作用。

二种叫自我反想，像氢键样有弹但褂讪。

访佛于"等等，我刚才那步是不是想错了""让我从头查验下前边的假定"，能把后头的想考拐总结跟前边的节点呼应上，酿成种折叠感。

团队测了模子自我反想时的想维轨迹，把每步想考皆看谚语义空间里的个点，然后计较反想时会跳回多远、落在那儿。

发现 81.72 的反想姿首，皆会落回之前仍是酿成的靠谱想路区域里。

还对比了反想前后的想维限度，反想前，语义空间体积是 35.2，反想后，径直压缩到 31.2。

再看聚类成果就澄莹了，反想之后，同类正确想路的点会牢牢抱团，而那些散、跑偏的分支会被自动开。

也等于说，自我反想氢键能把靠谱逻辑揉得紧实、把跑偏主见筛出去、稳住通盘理大局，让长链想考不再松散重大。

三种叫自我探索，像范德华力样弱，但粉饰面广。

这个就访佛于"要不我们试试这个角度""有莫得另种可能"绍兴不锈钢保温施工队，在语义空间里找新的解题旅途。

量化分析示，加上探索举止之后，模子在语义空间里的想维粉饰限度能从 23.95 扩大到 29.22。

天然想路开褂讪就会下跌，容易跑偏想歪，但能让模子跳出死巷子，不卡在局部解里，果真找到全新的解题路子。

征询发现，统共强理模子的三种想维举止比例和编削限定皆度致，酌量过 .9，讲明有长链理存在通用的褂讪拓扑结构。

你可能合计"共价键""氢键"仅仅个比方，但论文发现，这个比方背后藏着严格的数学对应。

在 Transformer 里，注见地权重的计较式长这样：

眼熟吗？这和统计力学里的玻尔兹曼散播阵势：

如若把负注见地分数看作能量，那么注见地权重等于模子在语义空间里按"能量"低采用旅途的概率等于能量越低，设备保温施工被选中的概率越。

论文升迁分析了三种举止对应的"注见地能量"。

度理往往发生在相邻姿首之间，能量低 ;

自我反想会跳回较远的姿首，能量中等 ;

自我探索跳得远，能量 .

这就解说了为什么强理模子的三种键比举例斯褂讪。

因为模子的注见地机制自己就在追求痴呆量的理旅途，而度理、反想、探索随机对应了不同距离下的能量层。

语义同分异构体和智能熵减

接着团队还抛出了语义同分异构体的主张。

这词儿是借的化学，雷同的分子式，原子鸠合式不同，就能搞出质不同的物资。

放到理里等于，雷同的题目，雷同的主张点，用不同的"化学键"组合去解，出来的理链条不错不样，但皆能解对。

但不是统共异构体皆合乎拿来教模子。

这里就要引入个要道主张熵减。

在热力学里，寂寞系统老是自愿走向重大（熵增），而个有的长链理流程，本体上等于在语义空间里不停裁减不祥情——

从堆可能的向中，逐步管束到唯正确的谜底。这个流程等于"熵减"。

而"注见地能量"机制，恰是模子杀青熵减的器用。

模子的注见地偏好能量低的旅途。

当度理（痴呆量）被反复选中，反想（中等能量）把前后逻辑折叠起来，探索（能量）偶尔探路但不喧宾夺主，通盘系统的"理熵"就会快速下跌，逻辑火速管束。

这如论文里说的，只好那些能动熵快速裁减的"化学键"组合，才是模子果真能学会、能捏续进化的褂讪态。

这在执行中有个很典型的风景，从 R1 和 OSS 两个不同强理模子中蒸馏出的理轨迹，语义层面的内容相似度达 95，但混在起历练，模子反而崩溃了。

这讲明，长链理的要道是想路结构必须褂讪、统，模子智力学得会。

MoLE-Syn：从合成褂讪理结构

发现问题就要惩办问题。

基于这整套发现，团队搞了个叫 MoLE-Syn 的法，来从合成褂讪的理结构。

具体操作就两步。

步，从强理模子（比如 R1、QwQ、gpt-OSS）的理链里，抽出张举止编削概率图。

这张图里每个节点是种理举止（化学键），每条边是从个举止跳到另个举止的概率。

二步，拿着这张图，让平常的教导模子照着图上画的概率去生成理链。

用这个法从合成的历练数据，喂给 Llama 梗概 Qwen，果迫临径直蒸馏 R1 的水平。

况且这样作念有个大公正等于资本低。只须拿到那张举止编削图，平常模子就能我方分娩及格的长链理数据。

团队把用 MoLE-Syn 启动化过的模子拿去作念强化学习，发现跑起来还额外稳。

比较径直用蒸馏数据启动化的模子，MoLE-Syn 版的在 RL 流程中收益捏续增长，颤动也小得多。

这讲明起初植入的想维结构够稳，后头的强化学习就不会出现逻辑偏移。

这项征询的认真东谈主为字节 Seed 算法黄文灏，曾在微软亚洲征询院担任征询员。

作家是哈尔滨工业大学博士、字节 Seed 实习征询员陈麒光。

妥洽单元还包括北京大学、277AI Foundation、南京大学、M-A-P、中南大学。

不得不说，这波操作有点畴昔薛定谔拿物理学公式生物学那味儿了。

给大模子理这个卷得飞起的域，开了个挺贯通的新脑洞。

论文地址：https://arxiv.org/abs/261.62

键三连「点赞」「转发」「提神心」

迎接在褒贬区留住你的主见！

—  完  —

� � 点亮星标 � �

科技前沿阐扬逐日见绍兴不锈钢保温施工队