大型表格模型：攻克大语言模型的结构化数据难题

AI

以ChatGPT、Claude和Gemini为代表的生成式AI聊天机器人所依赖的大语言模型，能够生成极具人类风格的文本与图像。然而，这些模型在一项看似应该手到擒来的技能上却表现欠佳——结构化数据分析。一种新型生成式AI正准备改变这一局面。

尽管你可以让主流聊天机器人解决复杂的数学难题、审阅厚重的法律文件、创作朗朗上口的流行歌曲，甚至制作精美的PPT演示文稿，但只要给它一张稍大一些的表格，它便往往束手无策。

对大多数企业和机构而言，最核心的数据都存放在电子表格里。无论是银行的交易日志、营销机构的网站流量数据、临床试验参与者的生命体征，还是大型强子对撞机等粒子加速器产生的海量质子碰撞数据，结构化的行列式数据支撑着整个世界的运转，而大语言模型却对此无能为力。

AI初创公司Fundamental正在开创一种名为大型表格模型（Large Tabular Model，LTM）的新型AI基础模型，以填补这一空白。2026年2月5日，Fundamental正式走出隐身模式，携2.75亿美元融资亮相，并发布了专为表格数据打造的模型NEXUS。目前，亚马逊云服务（AWS）等公司已开始采用该模型，与此同时，其他机构也在竞相构建自己的大型表格模型。

结构化数据之所以受到的关注相对较少，一定程度上源于人类自身的偏见。阿姆斯特丹资深AI研究员Boris van Breugel指出："人们喜欢看图像、视频和ChatGPT的回复，而表格数据始终落后，原因很简单——盯着一堆数字实在没有吸引力。"

van Breugel曾于2024年联合撰写了一篇颇具前瞻性的论文，他在文中解释道，不同的表格数据集之间很难进行比较。大多数自然语言具有相似的语义结构，使得大语言模型非常适合在海量文本数据上进行训练；但对于变量差异悬殊的表格数据而言，用单一模型进行训练则要困难得多。

此外，语言本身具有序列性（音乐、图像和视频同样如此）——改变句子中词语的顺序，往往会改变甚至彻底颠覆其含义。而电子表格中的结构化数据并不具备这种序列性：交换列的顺序或者打乱行的排列，数据所承载的事实含义依然不变。

这种对线性顺序的独立性，与大语言模型预测线性序列中下一个值的核心逻辑存在根本矛盾。Fundamental首席执行官Jeremy Fraenkel说："大语言模型的特点是，输入内容稍有变化，输出结果就会不同。这对大语言模型来说无妨，甚至往往是理想的特性。但在判断一笔交易是否存在欺诈时，你需要的是确定性的结果——无论输入顺序如何变化，预测结论必须保持一致。"

现有的表格数据解决方案局限于机器学习算法，例如已沿用超过15年、被全球各类机构广泛使用的XGBoost。这类算法——即梯度提升决策树——需要数据科学家针对每一个具体应用场景，耗费数月时间进行训练和调优。相比之下，NEXUS等新兴大型表格模型属于基础性模型，能够充分利用在多样化数据库上预训练所积累的知识，以极少的定制化特征工程或任务专属模型构建，跨越不同预测任务灵活应用。

与主要对Token序列进行建模的大语言模型不同，大型表格模型直接对表格数据的结构进行建模，将每个数据条目的数值大小、含义及其与其他条目的关联关系联合学习。举例来说，假设某杂货库存表格中有一条关于香蕉的记录：大型表格模型不仅能读取数值本身（比如500），还能理解这个数字代表当前香蕉的库存数量、其所属类别（生鲜农产品），以及将该条目与整列数据相关联的统计规律。正是这种情境理解能力，使得模型对结构化数据的推理和预测更加准确。

Fraenkel表示，Fundamental在开发NEXUS过程中面临的最大挑战之一，是获取合适的训练数据。自然语言数据量丰富、结构相对统一，而表格数据不仅难以获取（其中大量涉及敏感信息或专有数据），且形式极为多样——生物学数据集与金融数据集之间几乎毫无共同之处。这一系列因素叠加，迫使Fundamental投入大量资源构建规模庞大的训练集。

"我们使用数十亿张表格对NEXUS进行了预训练，训练数据来源包括：通过合作与授权获取的专有数据集、高质量的公开及开源数据集，以及用于扩展训练语料多样性与覆盖面的数据增强技术。"Fraenkel同时强调，NEXUS不使用客户数据进行训练。事实上，该平台采用机密计算架构，这意味着Fundamental在技术层面完全无法访问客户数据，更遑论将其用于训练。

这一特性很可能是今年6月AWS将NEXUS集成至Amazon SageMaker的关键考量因素之一。Amazon SageMaker被业界普遍视为安全机器学习的默认操作系统，此次集成使NEXUS能够触达众多客户往往十分敏感的数据——这与大语言模型的处理方式形成鲜明对比：后者通常需要将数据导入模型端进行处理。

"我们与亚马逊建立了一级合作关系，这意味着我们的模型在AWS平台上如同原生解决方案一样运行，"Fraenkel说，"未来，我们的目标是扩展此类合作关系，让终端用户能够在任何需要进行预测的地方，直接访问和使用自己的数据。"

尽管Fundamental在企业级应用领域率先领跑，但并非孤军奋战。今年3月，专注于欺诈和金融犯罪防控的Feedzai，以及信用卡巨头万事达卡，分别发布了各自专注于金融领域的类似专有技术。紧接着在6月下旬，谷歌推出了自研的基础模型TabFM，该模型完全基于数亿条合成数据集进行训练。

机器学习研究社区同样动作频频。FlexTab、TabICL和iLTM，仅是过去一年内研究人员开发的众多大型表格模型中的三个代表，它们都致力于将大语言模型的成功经验复制到表格数据领域。

对于所有参与者而言，未来的发展方向已然清晰。van Breugel表示："如果未来大多数数据处理和分析工作不能通过自动化系统来完成——无论是大语言模型、大型表格模型，还是两者的结合——我会感到非常意外。毕竟，大多数人并不热衷于做数据分析，而这些系统将能把这件事做得好得多。"

Fraenkel对此深表认同。"我认为大语言模型与大型表格模型之间的关系，有点像人类大脑的左右半球：左脑擅长推理、理解和文本归纳，右脑则擅长处理数字、统计和模式识别，"他说，"但只有将两者结合起来，才能发挥出真正强大的力量。"

Q&A

Q1：大型表格模型（LTM）和大语言模型（LLM）有什么区别？

A：大语言模型主要对Token序列进行建模，擅长处理文本，但难以应对结构化的表格数据。大型表格模型则直接对表格数据的结构建模，能够同时理解数据的数值大小、字段含义及字段间的统计关联，因此在处理电子表格、交易记录等结构化数据时更为准确和高效。

Q2：NEXUS模型是如何保护用户数据隐私的？

A：NEXUS采用机密计算架构，Fundamental在技术层面完全无法访问客户数据，也不会将客户数据用于模型训练。训练数据来源于合作授权的专有数据集、公开数据集以及数据增强技术生成的数据，与客户数据完全隔离。亚马逊云服务将NEXUS集成至Amazon SageMaker，也正是看重了这一安全特性。

Q3：大型表格模型和现有的XGBoost等算法相比，优势在哪里？

A：XGBoost等梯度提升决策树算法需要数据科学家针对每个具体场景耗费数月时间进行训练和调优，使用门槛高、周期长。而以NEXUS为代表的大型表格模型属于基础性模型，经过大规模多样化数据预训练后，可以在几乎不需要定制化特征工程的情况下，直接应用于多种不同的预测任务，大幅降低了使用成本和时间。