美国留学

UrbanGPT 团队贡献

量子比特|公众号QbitAI

时空预测技术，迎来ChatGPT时刻。

时空预测致力于捕捉城市生活的动态变化并预测其未来走向。它不仅关注交通、人流，还涵盖犯罪趋势等多个维度。目前深度时空预测技术依赖于大量训练数据的支持来生成准确的时空模型，在城市数据不足的情况下尤其困难。

香港大学和百度联合团队借鉴大规模语言模型的思想，提出了一种新的时空大规模语言模型UbanGPT。

该模型在多种城市应用场景中表现出良好的普适性。通过结合时空依赖性编码器和指令微调方法，该模型增强了对时间和空间上复杂关系的理解，即使在数据稀缺的条件下也能提供更准确的预测。通过一系列广泛的实验，UrbanGPT展示了其在多个城市相关任务上的出色表现，并证明了其在零样本学习领域的强大潜力。

视频加载中.

时空大语言模型UrbanGPT挑战一：标签稀缺和训练成本高

尽管尖端时空网络在预测任务上表现良好，但其性能由于依赖大量标记数据而受到限制。在城市应用中，获取数据往往非常困难。例如，监控整个城市的交通和空气质量的成本相当高。此外，这些模型在面对新区域或新任务时泛化能力往往不足，需要重新训练以适应不同的时空环境。

挑战2：LLM 和现有的时空预测模型在零样本泛化方面存在局限性

如图1 所示，大型语言模型LLaMA 能够根据输入文本信息推断流量模式。然而，当处理具有复杂时空依赖性的数值时间序列数据时，LLaMA 的预测能力有限，有时可能会产生与实际结果相反的预测。同时，虽然预训练的基线模型能够有效地编码时空依赖性，但由于对原始训练数据的过度适应，它们在没有先验经验的新场景（零样本场景）中可能表现不佳。

挑战三：如何将LLM优秀的推理能力延伸到时空预测领域：

时空数据有其独特的属性，与LLM编码的信息不同。弥合这一差距并建立一个时空大型语言模型，该模型可以在不同的城市任务中表现出出色的泛化性能，是当前的主要挑战。

图1：与LLM和现有的时空图神经网络相比，UrbanGPT可以在零样本场景下更好地预测未来时空趋势

时空大规模语言模型UrbanGPT 据团队介绍，这是创建时空大规模语言模型的首次尝试，该模型可以在不同数据集上预测多种城市现象，特别是在训练样本有限的情况下。

这项研究提出了一种名为UrbanGPT 的时空预测框架，它使大型语言模型能够深入理解时间和空间之间复杂的相互依赖关系。通过巧妙地将时空依赖编码器与指令微调策略相结合，该框架成功地将时空信息与大型语言模型的推理能力融合在一起。

对真实世界数据进行的大量实验验证了UrbanGPT在零样本时空学习场景中出色的泛化性能。这些实验结果不仅凸显了UrbanGPT模型强大的泛化潜力，而且证实了即使在没有训练样本的情况下，其在准确预测和理解时空模式方面的有效性。

图2: UrbanGPT整体框架

时空依赖编码器法学硕士在处理语言任务方面表现良好，但在解析时空数据固有的时间序列及其演化模式方面存在困难。为了克服这一困难，本文提出了一种创新方法，通过集成时空编码器来提高大型语言模型捕获时空上下文中的时间依赖性的能力。具体来说，设计的时空编码器由两个核心组件组成：一个是门控扩散卷积层，另一个是多级相关注入层。

门控时间扩散卷积层对不同级别的不同程度的时间依赖性进行编码，捕获不同粒度级别的时间演化特征。为了保留这些时间信息模式，该团队引入了一个多级相关注入层，旨在混合不同级别之间的互连。

为了应对可能的多样化城市场景，本文提出的时空编码器在模拟空间相关性时不依赖于特定的图结构。该方法考虑到在零样本预测的背景下，实体之间的空间连接可能未知或难以清晰定义。这样的设计保证了UrbanGPT在广泛的城市环境条件下保持其适用性和有效性。

时空指令微调框架时空数据文本对齐

为了让语言模型准确捕捉时空模式，确保文本信息和时空数据的一致性是关键。这种对齐使模型能够集成多种类型的数据并生成更丰富的信息表示。通过结合文本和时空域中的上下文特征，该模型不仅能够捕获互补信息，还能提取更具表现力的高级语义特征。

时空提示说明

在进行时空预测时，时间和空间维度都包含丰富的语义信息，这对于模型准确理解特定情况下的时空动态至关重要。例如，早上的交通流特征与交通高峰时段有明显不同，商业区和住宅区的交通模式也有不同的特征。 UrbanGPT框架集成了不同粒度的时间数据和空间特征作为其大规模语言模型的指令输入。具体来说，时间信息涵盖日期、具体时间等元素，空间信息则包括城市名称、行政区划、周边兴趣点（POI）等数据，如图3所示。这种多维度的时空信息整合使UrbanGPT能够准确捕获不同时间和地点的时空模式，显着增强其对未知样本的推理能力。

图3: 编码时空信息感知的时空提示指令

3.2.3 大语言模型的时空指令微调

利用大型语言模型(LLM) 进行指令微调以生成文本形式的时空预测时存在两个主要挑战。首先，这类预测任务依赖于数值数据，其结构和规则与法学硕士擅长处理的自然语言（侧重于语义和语法）不同。其次，LLM通常使用多分类损失函数来预训练来预测文本中的下一个单词，这与需要输出连续数值的回归问题不同。

实验结果：以相同的零样本预测性能对城市中未见过的区域进行预测

跨区域场景使用同一城市内某些区域的数据来预测模型未触及的其他区域的未来状况。通过仔细分析模型在此类跨区域预测任务中的表现，团队发现UrbanGPT表现出了优异的零样本预测性能。 UrbanGPT通过时空和文本信息的精确对齐，以及时空指令微调技术与时空依赖编码器的无缝集成，有效维护通用性和可转移的时空知识，从而实现零样本场景下的准确预测。此外，UrbanGPT在处理数据稀疏问题上也具有显着优势。尤其是在犯罪预测任务中，传统的基线模型往往由于数据稀疏而表现不佳，低召回率可能暗示过拟合问题。 UrbanGPT通过集成文本中的语义信息来注入丰富的语义洞察，增强了模型捕获稀疏数据中时空模式的能力，从而提高了预测精度。

表1：跨区域零样本预测场景性能对比

跨城市预测任务

为了测试模型在跨城市预测方面的表现，团队选择了CHI-taxi数据集进行评估，该数据集在模型的训练阶段并未使用。图4的评估结果表明，在每个时间点，该模型的表现都优于其他比较方法，这证实了UrbanGPT在跨城市知识转移方面的有效性。该模型通过综合考虑多种地理信息和时间要素，展示了将功能相似区域与同一历史时期的时空格局关联起来的能力，为跨城市场景下实现准确的零样本预测提供了有力支撑。

图4：跨城市零样本预测场景性能对比

典型的监督预测任务团队也探索了UrbanGPT在监督预测场景中的表现，特别是通过使用更大时间跨度的测试数据集来测试模型在长期时空预测中的有效性。例如，团队使用2017 年的数据来训练模型，使用2021 年的数据进行测试。测试结果表明，UrbanGPT在长期时间跨度场景下较基线模型具有明显优势，展现出其优异的泛化能力。这一特性意味着模型不需要频繁地重新训练或增量更新，使其更适合实际应用场景。此外，实验还证明引入额外的文本信息不会对模型性能产生负面影响或引入噪声，这进一步支持了使用大语言模型增强时空预测任务的策略的可行性。

表2：有监督环境下的预测性能评估

消融实验（1）时空背景的效用：-STC。当从指导文本中删除时空信息时，模型的性能会下降。这可能是由于缺乏时间维度数据，导致模型依赖时空编码器来处理与时间相关的特征并进行预测。同时，空间信息的缺乏也削弱了模型捕获空间相关性的能力，这使得识别和分析不同区域独特的时空模式变得更加困难。

(2) 使用多个数据集进行指令微调的影响：-Multi。该模型仅在纽约出租车数据集上进行训练。缺乏来自不同城市指标的广泛信息限制了模型深度表征城市时空动态的能力，导致预测结果不理想。然而，通过融合多个来源的时空数据，模型可以更有效地捕捉不同地理位置的独特属性和随时间演变的模式，从而加深对城市复杂性的洞察。

(3)时空编码器的作用：-STE。时空编码器的缺乏极大地限制了大型语言模型在时空预测任务中的性能。这凸显了设计的时空编码器在提高模型预测精度方面的重要性。

(4)指令微调中的回归层：T2P。 UrbanGPT 被直接指示以文本形式输出其预测结果。该模型的性能缺陷主要是由于其训练阶段主要使用多类损失函数进行优化，导致模型的概率输出与时空预测任务所需的连续数值分布不一致。为了解决这个问题，团队将回归预测模块集成到模型架构中。这一改进显着增强了模型在回归任务中生成更准确数值预测的能力。

图5：UrbanGPT消融实验

模型鲁棒性研究这部分评估UrbanGPT在处理不同时空模式场景时的稳定性。该团队根据特定时间段内该区域内数值波动的幅度来区分区域。方差较小的区域代表更恒定的时间模式，而方差较大的区域代表更可变的时间和空间模式，例如繁忙的商业区或人口稠密的区域。图6中的评估结果表明，大多数模型在方差较低且时空模式相对稳定的区域中表现更好。然而，基线模型在方差较高的区域表现不佳，尤其是方差在(0.75, 1.0]区间的区域，这可能是由于基线模型在推断未见区域的复杂时空模式方面存在局限性。其中，人口密集或繁忙商业区域的准确预测对于城市管理极为关键，包括交通信号控制和安全调度，UrbanGPT在方差在（0.75,1.0]区间的区域表现出显着的性能提升。凸显其出色的零样本预测能力。

图6：模型稳健性研究

案例研究本实验旨在评估不同大型语言模型（LLM）在零样本时空预测任务中的性能。根据表3的实验结果，团队可以看到各种类型的LLM都可以根据提供的指令生成预测结果，这证实了团队提示设计的有效性。

具体来说，ChatGPT 在预测中倾向于依赖历史平均值，而不是明确集成时间或空间数据。 Llama-2-70b能够分析特定时间段和区域的信息，但在处理数值时间序列的依赖性时遇到困难，这影响了其预测的准确性。相比之下，Claude-2.1可以有效地整合和分析历史数据，并利用高峰时段模式以及兴趣点（POI）信息来提高交通趋势预测的准确性。本研究提出的UrbanGPT模型通过时空指令微调，成功地将时空上下文信号与大语言模型的推理能力结合起来，显着提高了预测数值和时空趋势的准确性。这些发现凸显了UrbanGPT 框架在捕获普遍时空模式方面的潜力，并证实了其在实现零样本时空预测方面的有效性。

表3：不同LLM对纽约市自行车交通的零样本预测案例

总结与展望本研究介绍了UrbanGPT，一种在不同城市场景中具有出色泛化性能的时空大规模语言模型。通过采用创新的时空指令微调策略，团队成功实现了时空上下文信息和大语言模型（LLM）的紧密集成，使UrbanGPT掌握了广泛适用和可迁移的时空模式。实验数据充分证明了UrbanGPT模型架构及其核心组件的有效性。

虽然目前的结果很有希望，但该团队认识到未来的研究仍需克服挑战。作为未来工作的一部分，团队计划积极收集更加多样化的城市数据，以强化和提升UrbanGPT在更广泛的城市计算场景中的应用能力。此外，对UrbanGPT决策机制的深入理解也极其关键。虽然模型在性能方面表现出色，但提供决策过程的透明度和可解释性也同样重要。未来的研究将致力于开发能够解释其预测结果的UrbanGPT 模型。

项目链接： https://urban-gpt.github.io/code 链接： https://github.com/HKUDS/UrbanGPT 论文链接： https://arxiv.org/abs/2403.00813 实验室主页： https://sites.google.com/view/chaoh/home—完—Quantum Sign关注QbitAI·今日头条，第一时间了解前沿技术动态