TabPFN：把学习算法装进一次前向传播

1. 相对普通表格模型，究竟改了哪一步？

假设你已经会用 XGBoost、MLP 或 Transformer 做分类。通常拿到一张新表，会在这张表的训练集上优化参数，再预测测试样本。TabPFN 的基础用法把这件事改成：把已知样本及其标签放进上下文，让一个预训练好的网络直接预测未知标签。

这里的“无需训练”只指基础推理时不用对目标任务做梯度更新。它有昂贵的预训练，也有预处理、上下文编码和预测成本；后来的微调、集成和蒸馏又引入了不同的训练流程。T1 T3 T4

PFN 为什么和贝叶斯推断有关？

PFN 是 Prior-data Fitted Network。先规定“任务可能怎样产生”的先验：例如随机采样一个函数、噪声水平和输入分布，再从中生成数据。网络训练时不断遇到不同任务，必须从少量已知样本判断这一次更像哪一种规则。

设已知数据为 \(D=\{(x_i,y_i)\}\)，未知样本为 \(x_*\)。预训练目标可以简写成：

交叉熵的理想解是该任务分布下的后验预测分布：它综合所有仍能解释 \(D\) 的规则，而非只选一个最优参数。实际网络只是有限数据、有限容量下的近似；先验覆盖什么，决定它在哪些任务上容易泛化。 T1

一个能手算的例子：它在综合什么？

下面是说明目标的自造例子，不是某个 TabPFN 检查点内部的真实计算。只有两种可能规则：A 为 \(y=x\)，B 为 \(y=1-x\)，先验各占一半。每个标签有 20% 的概率被独立翻转。现在观察到两条训练数据：\((0,0)\)、\((1,1)\)。

因为两个先验相同，归一化时把 0.64 除以 0.64 + 0.04，就得到 A 的后验权重 16/17。对一个新的 \(x_*=1\) 样本，再加权两种规则的预测：

这个概率不是 1，因为还存在标签噪声与规则不确定性。

真正的 PFN 不会在每次预测时枚举这两个公式。它在预训练中学习一个映射，使前向传播的输出接近这种“看到证据后重新分配可能性”的结果。这也解释了为什么只换上下文、不更新权重，预测仍会改变。

2. 演化主线：先学会小表，再改变大表的表示方式

这条历史有三条相互影响的线：任务先验决定模型见过什么；架构决定能读多大的表；适配与评测决定收益是否落到真实任务上。 TabICL 是独立工作，后来影响了 TabPFN-3，并不是 TabPFN 的一个旧版本。

几个版本的数字描述的是各自论文或文档的使用范围，不能直接拿来比较速度。还要同时固定行数、列数、类别数、硬件、集成次数和软件版本。尤其不要把“训练过的规模”“本地可装下的规模”和“API 接受的上限”当成同一个量。

3. 输入进去以后，到底怎样利用整张表？

第一步：训练标签是输入，测试标签是预测目标

以 3 条训练行、2 条测试行、4 个特征为例。模型拿到的是 \(X_{train}\in\mathbb R^{3\times4}\)、\(y_{train}\in\{0,1\}^{3}\)、\(X_{test}\in\mathbb R^{2\times4}\)，输出两组类别概率。测试行只提供特征，不能把真实标签编码进去。

这不是把 CSV 转成一长段自然语言再喂给 LLM：表格模型可以直接编码数值、类别与标签信息。上下文中的“示例”是一行特征和对应标签；不同论文用不同的行列组织和注意力掩码来完成信息交换。T2 T3

# 概念接口：不代表某一版本的实际 API
context = encode_support(X_train, y_train)
query = encode_query(X_test)          # 不含 y_test
probabilities = pretrained_model(context, query)
# 基础 ICL 不在这里执行 optimizer.step()

第二步：v2 为什么在“列”和“行”之间轮流做 attention？

先暂时忽略特征分组和标签通道，把表编码成 \(N\times F\times d\) 的网格。同行不同列交流，帮助模型表示“年龄和某个指标组合起来意味着什么”；同列不同行交流，帮助它判断该指标在这张表里的分布，以及与已知样本的关系。交替堆叠后，跨列的组合信息也能传给其他行。T3

如果把全部 \(NF\) 个单元格直接做完整自注意力，仅注意力配对数量就是 \(O(N^2F^2)\)。上述轴向分解对应 \(O(NF^2+FN^2)\)。这是按形状推导的配对量，省略了隐藏维度、分组、掩码和具体 kernel，不能直接当作实测运行时间。

v2.5 在这一路线上继续扩展。它的辅助 “thinking rows” 是可训练表示，给模型额外的内部计算位置；它们不是带真实观测的新样本，也不是文本思维链。 报告同时提供蒸馏到更小预测器的路径：这改变的是重复服务时的成本结构。T4

第三步：为什么 TabICL / v3 要先把每一行压成固定长度？

如果每一层跨行 attention 都要为很多特征重复执行，列数会持续放大开销。行表示路线先完成表内特征处理，之后主要让 \(N\) 个行向量交流，把“跨样本建模”与特征数量部分解耦。TabICL 提出了这种分工；v3 的三段式结构进一步采用列分布编码、行内汇总和行间 ICL。T5 T7

回到 5 行、4 特征的例子：中间网格可以示意为 \(5\times4\times d\)，行汇总后变为 \(5\times d_{row}\)，其中前 3 行是已知上下文、后 2 行是查询。\(d_{row}\) 不必等于 \(d\)。省下持续携带特征轴的开销，也就引出一个研究问题：如果少数列的罕见组合非常重要，有限宽度的行表示是否总能保留它？这个问题需要实验，不能仅凭“压缩”二字判断会丢失预测信息。

v3 用诱导点注意力和分块缓存处理前面的编码阶段，并在查询训练上下文时使用 MQA 等设计。它公布的扩展范围包括“百万行、200 特征”或“千行、两万特征”等不同组合，不是百万行与两万列可以同时任意组合；降低峰值显存也不等于所有跨行计算都变成线性。T7 T15

第四步：分类头怎样利用训练标签？

普通固定分类头常写作 \(\mathrm{softmax}(Wh)\)，输出维度和类别数绑定。v3 则采用训练标签检索式分类头：查询与训练表示计算注意力，取训练标签的 one-hot 向量作为 value，再汇总成类别概率。其标签置换等变性有 EquiTabPFN 等前序研究。T7 T10

举一个只有一个头的教学例子：三条训练行标签为 [红, 蓝, 红]，某个测试行对它们的注意力权重为 [0.2, 0.5, 0.3]。它得到：

把“红”和“蓝”的编号互换，只会互换概率向量里的两个位置。这与直接比较原始特征的 kNN 仍有区别：注意力的相似性来自学到的表示，而且这一步之前已经做过上下文计算。分类头能适配类别数，也不代表整个发布检查点没有限制；v3 报告中的检查点仍有 160 类的实现约束。T7

回归任务输出什么？

以 v2 为例，它用分段常数密度表示连续目标的预测分布，从而允许多峰结果，而不只是输出一个经过 MSE 训练的数值。T3 可以把这种输出理解为“各个数值区间分别有多少概率质量”；区间宽度不同时，概率质量与密度高度还要区分。由分布再提取点预测或分位数，是后续读出选择；分布的存在本身不保证置信区间已经校准。

别把四种“变快”混在一起

因此 fit() 很快、单条 predict() 很快和整个系统服务便宜，可以是三种不同的结论。

4. 目前的证据支持到哪里？

小中型表格上，预训练的上下文模型已经构成强基线；它不是所有表格任务的统一赢家。 v2 的 Nature 结果与后续 TabArena 工作值得作为出发点，但排行榜同时受到调参、集成、数据划分和预算影响。报告结果时要锁定基准与版本，而不是只写模型家族名。T3 T11

有三个边界特别影响研究设计。第一，合成任务分布和真实世界并不相同；v2 的开放环境评测已经讨论分布变化等问题，这不能直接当作 v3 仍存在同样缺陷的实验证据。T12 第二，采用结构因果模型生成预训练数据，并不使普通预测接口自动获得干预效应识别能力。第三，真实数据继续预训练后，目标基准是否与预训练任务重叠，成为必须记录的变量。T2 T9

对照实验至少应说明：数据集及划分版本、模型与权重版本、预处理和集成次数、硬件、是否允许目标任务微调、总调参预算。预处理、检索器与校准器只能利用协议允许的数据；时间预测必须按时间切分，测试标签不能参与样本选择。需要同时报告预测质量、冷启动和复用上下文后的延迟，以及峰值显存。

官方产品名中的 “Thinking” 也不能直接解释为深度循环或文本 CoT。公开结构支持什么就写什么，未披露的配方不能靠名称补全。T15

5. 三个值得做成实验的研究方向

以下是基于文献关系提出的研究假设，还没有跑实验，也不声称已经证明新颖性。优先顺序按“先验证问题，再增加方法复杂度”排列。

如果先做一个小项目，我会从方向 A 的诊断实验开始：它可以冻结已有模型，把变量集中在上下文选择和概率质量上。方向 B 需要可控制的训练资源；方向 C 更依赖数据与时间语义。三者都应先复现最近的工作，再决定是否值得新增模型模块。