Loop LLM：同一组参数，多算几遍为什么会更好？

1. 相对 LLaMA，循环的到底是什么？

本篇把 Loop LLM 理解为 沿网络深度反复执行共享模块的语言模型，也覆盖 Ouro 论文中的 LoopLM 路线。这里的循环发生在隐藏状态中；外部 agent 反复调用模型、生成“反思—修改”文本属于另一种系统，不能直接混用结论。

普通 decoder 的层可以写成 \(h^{\ell+1}=F_\ell(h^\ell)\)，不同层通常有不同参数。深度循环模型则反复执行同一个核心模块 \(R_\theta\)：参数相同，输入的隐藏状态在变，因此每一轮输出仍然可以不同。 核心内部仍可以是熟悉的 attention、MLP、残差与归一化。L2 L8

\(P\) 是输入前端，\(e\) 是持续可用的输入表示，\(s_r\) 是第 \(r\) 轮状态，\(C\) 是输出端。此式采用 Huginn 一类的分工来说明，并非所有循环模型都采用相同的初始化、输入注入或输出头。

三件容易混淆的事

文本 CoT 则通过生成中间 token 扩展序列。两者可以结合：例如 LOTUS 同时引入 latent slots 和循环，并使用显式 CoT token 监督。因此“有没有输出文字”“有没有增加位置”“有没有共享模块”是三个不同的问题。L14

2. 演化主线：共享计算 → 学会迭代 → 按预算执行

循环并不是近两年才出现的想法。新的进展在于把它训练成规模更大的语言模型，并处理不同计算预算、训练信号和推理缓存之间的关系。

HRM 与 TRM 也是重要的邻近路线：前者采用多时间尺度递归模块，后者用更小的共享网络简化递归求解。它们在结构化推理任务上的结果提供了设计线索，但不等于已经证明一个小递归模型普遍胜过通用预训练 LLM。L16 L17

3. 同一个模块，怎样做到第一轮和第二轮干不同的事？

一个可手推的例子：重复“查下一跳”

设输入保存三个映射：A → C、C → D、D → B。问题是“从 A 出发，沿映射走两步到哪里？”如果共享模块学到的是“用当前节点查询下一跳”，执行过程就是：

两轮的权重可以完全相同：第一轮的 query 表示 A，第二轮的 query 表示 C，所以 attention 读取了不同信息。若用 one-hot 状态和一个手工矩阵 \(M\) 表示这个查找算子，就是 \(s_1=Ms_0\)、\(s_2=M^2s_0\)。重复的是更新规则，而不是重复把同一个输入送进去、得到同一个输出。

这是说明迭代可能有用的构造例子，并不声称 Huginn 或 Ouro 内部真的实现了这张离散表。自然语言任务还需要保留问题、目标步数与更多连续状态；只会不停“查下一跳”，也不会自动知道什么时候该停。循环深度对若干迭代任务的价值有理论与实验研究，但不能因此推出所有语言任务都随轮数提升。L7

共享参数省了多少？多算了多少？

用“2 层前端 + 4 层核心 + 2 层输出端”作例子，这也对应 Huginn 报告的模块层数。唯一的 Transformer block 共 8 个；核心循环 \(R\) 次，则一条路径执行 \(2+4R+2\) 个 block。L8

表格是层数核算，不是准确参数量或延迟。输入注入层、输出头和不同宽度还会贡献参数；硬件也不会按这个比例保证加速。一个 4 轮模型至少应与两种普通模型分别比较：8 层模型用于理解相近参数预算下的效果；20 层模型用于理解相近执行深度下的效果。两种对照回答不同问题。

训练难点一：每一轮都需要知道原始问题

在足够多轮更新后，只沿残差状态传递的信息可能被改变。Huginn 的核心显式接收当前状态和前端表示，将二者拼接再投影，使每一轮都能重新读取输入。它还随机采样循环次数，并只对最后一段循环反向传播，以控制训练内存。L8

截断反向传播不是免掉早期计算：早期轮仍要前向执行，只是其完整梯度链被切断。因此需要区分参数显存、反向激活显存、总训练 FLOPs 与推理轮数四个量。也不能把 Huginn 的 3.5B 参数直接当成普通 3.5B 模型的推理成本。

训练难点二：只监督最后一轮，前几轮未必能输出好答案

Ouro 用各出口的预测损失训练循环路径。可把其第一阶段目标的结构理解为 \(\sum_r q(r\mid x)\mathcal L_r-\beta H(q)\)：出口分布加权任务损失，熵项鼓励训练覆盖多个出口。之后再训练出口选择，使其偏向合适的退出位置。这个熵项本身并不是显式的“每多算一步罚多少钱”。L10

LoopFormer 处理的是另一种需求：用户先给计算预算，模型应该在该预算内走完一条有用的轨迹。它加入时间与步长条件，用一致性约束联系不同长度的轨迹。这样，“跑 4 小步”和“跑 2 大步”可以被当作相关的训练目标；这与让每个 token 自行决定第几轮退出不同。L11

因此要分别检查三件事：代码是否允许改轮数；模型在这个轮数下是否训练过或能泛化；执行系统是否真的跳过了不用的步骤。第一件成立，不保证后两件。

系统难点：权重共享，为什么 KV 不一定能共享？

在自回归解码中，第 \(r\) 轮 attention 通常需要历史 token 在对应计算深度产生的 key/value。即使投影矩阵相同，\(K_r=W_Ks_r\)、\(V_r=W_Vs_r\) 仍会随 \(s_r\) 改变。同一份权重会产生不同的中间状态，缓存保存的是这些状态的投影。 Ouro 的缓存实验也区分了不同共享策略与 prefill / decode 阶段，不能从局部结果推出普遍无损共享。L10

在各轮独立保留标准 KV 的设定下，核心缓存的量级约为

这里 \(B\) 是 batch size，\(N\) 是已缓存序列长度，\(L_{core}\) 是核心层数，\(n_{kv}\) 是 KV 头数，\(d_{head}\) 是头维度，\(b\) 是每个元素的字节数；开头的 2 对应 K 和 V，尚未计入前端与输出端。公式只是布局推导：MQA 可以减小 \(n_{kv}\)，但仅共享参数不能自动删掉 \(R\)。

MoR 把 token 路由与递归缓存共同设计，包括只保留活跃 token 的递归缓存，以及共享缓存等不同方案。L9 CHASE 则在循环状态空间模型上研究真正跳步后的状态缺口适配；它的 2026 年 9 月修订已经包含实际跳步，状态空间缓存与 Transformer KV 不能直接当作同一种结构。L15

提前退出还会改变 batch 内的工作形状：一个 token 少跑两轮，未必能让整个 GPU kernel 同比例缩短。需要量实际首 token 延迟、逐 token 延迟、吞吐与峰值缓存，而不是只统计平均循环次数。

4. 怎样区分“多算有效”“收敛了”和“答案正确”？

循环提供了可复用的计算深度，但没有保证每多一轮都更好。 测试时应直接画出轮数—质量曲线，并注明哪些轮数在训练范围内。只有在相同数据、训练预算或明确匹配的推理预算下，才能判断收益来自循环结构，还是来自多做了计算。L7 L8

稳定性也有两层含义。例如自造更新式 \(s_{r+1}=0.5s_r+1\)，从 0 出发得到 1、1.5、1.75……并趋向 2。它数值上非常稳定，但如果任务答案应该是 3，收敛并没有解决问题。小状态变化、低输出熵、固定点残差小，都不能单独证明语义正确。

Parcae 从动力学角度控制循环更新；其局部或线性化分析应按假设理解，不能自动扩展为所有非线性输入上的全局保证。L12 DEQ 和 Attractor Models 用固定点及隐式梯度探索另一条路线：减少对完整展开反向图的依赖，不代表求解器的前向时间免费。L4 L13

最后，可解释的中间状态是线索，不是机制证明。循环表示中能读出某个推理阶段，可能只是相关信息；要证明它影响后续答案，需要在控制其他变量的前提下干预该状态。近期机制分析、LOTUS 的轨迹监督与 RLTT 的潜在轨迹奖励，为这个问题提供了不同入口。L19 L14 L18

5. 三个可以落实的研究方向

以下提案尚未实验验证。最近的工作已经覆盖共享权重、学习出口和稳定循环，研究问题应进一步说明“在什么条件下，哪一部分仍未得到可靠验证”。

资源有限时，可以先做方向 A 的离线收益可预测性诊断，但最终仍要回到真实跳步的系统实验。方向 B 更适合机制研究；方向 C 需要可控的预训练或从头训练环境。

与 TabPFN 的交叉问题

两篇笔记可以在一个具体问题上相遇：固定推理预算，应该多读一些训练行，还是对现有行表示多算几轮？ 可以先在小型行表示模型上扫描“上下文行数 × 循环次数”，记录质量、缓存和时间，再判断自适应分配是否有意义。循环式上下文拟合已有 Yang 等的工作 L21，自适应表格计算也已有 TabSwift，因此“给表格模型加循环／早停”不足以构成贡献；更有价值的是解释何种任务受益于更多证据，何种任务受益于更深计算。这里不假设 TabPFN 的产品 “Thinking” 已采用这种实现。