TabPFN

TabPFN 是一个基于 Transformer 的模型，专为在小规模表格数据集上实现快速而准确的分类而设计。它利用了上下文学习（In-Context Learning, ICL），直接从标注样本中进行预测，无需超参数调整或额外训练。TabPFN 在数百万个合成数据集上预训练，因而能够很好地泛化到不同的数据分布，同时对缺失值和异常值具有较强的处理能力。它的优势包括高效处理异构数据以及对无信息特征的鲁棒性。

TabPFN 尤其适用于对速度和准确性要求较高的小规模应用场景。然而，它在处理大规模数据集时面临扩展性挑战，并且在回归任务中能力有限。作为一项前沿解决方案，TabPFN 值得评估，尤其是在表格分类任务中，它有潜力超越传统模型，并为 Transformer 在表格数据中的应用开辟新可能性。