• 论文 - 《IoT-LLM: Enhancing Real-World IoT Task Reasoning with Large Language Models》
• 关键词 - 物联网感知、数据增强、检索增强生成RAG、通用性方法、思维链CoT、大模型LLM、人体活动识别HAR、医疗诊断、人类定位、数据级别方法

摘要

• 研究问题
  • 大语言模型LLM+物联网IoT传感器
  • 探索通过物联网（IoT）传感器数据及相关知识来增强LLMs的感知能力，从而提升其在物理世界中的物联网感知任务推理能力。
• 本文工作
  • 系统性地研究了如何通过增强LLMs的感知能力和知识基础，使其更好地应对现实世界的物联网感知任务，并提出了一种统一的框架——IoT-LLM，以增强其相关能力。
  • 在IoT-LLM框架中，为LLMs定制了三个关键步骤：
    1. 预处理物联网数据，将其转换为适合LLMs处理的格式。
    2. 通过面向物联网的检索增强生成（RAG），基于上下文学习扩展LLMs的理解能力。
    3. 通过思维链提示（Chain-of-Thought Prompting）和特定角色定义激活其常识知识。
• 实验
  • 作者设计了一个包含五个现实任务的新基准测试，这些任务涵盖了不同的数据类型和推理复杂度。
  • 在六个LLMs上的实验结果显示，IoT-LLM显著提升了LLMs在物联网感知任务中的推理能力。

1 引言

• 感知重要性

  • 生成式大语言模型（LLMs）在文本与视觉任务中表现优异，但在物理世界推理中常出现“幻觉”，违背现实规律。这表明其对物理世界的理解仍有限，也促使研究者重新关注“世界模型”——即类脑建模物理世界的研究方向。
  • 值得注意的是，感知是获取物理世界信息的主要机制，有效的推理本质上依赖于对环境的准确感知。然而，在当前的大语言模型中，物理世界仅通过自然语言进行“感知”，即语义空间中的概念和词汇来表示。
  • 为了使大语言模型具备更强的现实世界推理能力，增强其感知能力至关重要。

• 启发

  • 人类认知机制中，会进行感知、推理与领域知识的整合。
  • 人类通过感官器官感知世界，而物联网（IoT）传感器则相当于机器的“感官器官”，用于采集物理世界的数据以实现自动化控制。
  • 人类通过经验和教育积累的领域知识来进一步处理感知数据。
  • 同样地，LLMs 也可以利用 in-context learning 整合有关物理世界和物联网传感器的知识，从而提升其推理能力。

• 在本研究中，旨在探讨以下三个关键问题：

  1. LLMs借助IoT感知能完成哪些现实任务？
  2. 如何系统性地增强LLMs在这些任务中的表现？
  3. LLMs是否真正理解了IoT数据并有效运用知识？

• 先前研究主要展示了使用 LLMs 进行 IoT 感知任务推理的可行性，但具有以下不足：

  • 这些研究仅关注特定任务，例如R波峰识别和动作识别，任务选择不够全面。
  • 直接输入原始IoT数据进行推理，但LLMs并不擅长处理密集的数值型数据和计算任务。
  • 评估对象受限于闭源模型，缺乏对不同参数规模的开源LLMs进行全面的基准测试。
  • 尽管其中一些研究也引入了外部领域知识以辅助LLMs完成任务，但它们依赖于专家手动设计的知识。

• 本文工作

  • 构建首个面向IoT感知任务的基准测试集，涵盖五个真实任务（人体活动识别、工业异常检测、心跳异常检测、WiFi人体感知、室内定位），涵盖多种数据类型；

  • 其次，作者提出了统一的框架 IoT-LLM，用于增强LLMs结合物联网数据的推理能力。IoT-LLM包含三个关键组成部分：

    • 物联网数据简化与增强
    • 面向物联网的知识检索增强机制
    • 提示词配置优化

2 相关工作

• 将LLM视为用户界面或智能系统中的协调组件，LLMs仅作为中介，并未直接解读物联网数据来执行现实世界的任务。（Li 等，2023；Cui 等，2023；Du 等，2023）
• Penetrative AI 和 HarGPT 尝试将物联网数据整合进LLMs中，以完成特定任务，并利用LLMs本身所具备的知识库进行推理。（Xu 等，2024b；Ji 等，2024）
  • Penetrative AI 将物联网数据转换为文本和数值格式，用于心电图（ECG）数据中的R波峰识别等基础任务，但其高度依赖人工设计的专家知识，限制了系统的自动化与可扩展性。
  • HarGPT 处理原始的惯性测量单元（IMU）数据，使用“思维链”技术识别人类活动，但该方法仅适用于特定类型的数据和任务，未能展示LLMs在更广泛物联网任务中的适用性。
• 局限：它们缺乏一个统一的框架来充分发挥LLMs的能力，也未对LLMs在物联网感知任务上的表现进行系统性的基准评估。

3 方法

• IoT-sensory task reasoning 问题：如何利用 LLM 及其上下文学习能力对物联网数据进行任务推理。例如，使用加速度计数据进行活动识别，或使用传感器数据进行异常检测等任务。

• LLM的提示应包含两个部分：数据和任务描述。

• 为了评估任务效果，作者构建了一个全新的基准测试集。

• 作者发现，直接让 LLMs 执行物联网感知任务（类似于Penetrative AI中的设置），LLM 表现并不理想，表明当前这种简单的提示方式未能使LLM真正理解物联网数据与任务之间的关系。

  • 通过对物联网数据特征和现实任务的分析，作者认为造成挑战的主要原因有两个：
    1. 密集数值型数据的抽象性较强。
    2. LLM缺乏特定领域的专业知识。

• 为了解决这个问题，作者提出了 IoT-LLM 框架，如图2所示，包含三个阶段：

  1. IoT数据简化与增强
  2. 面向IoT的知识增强
  3. prompt配置优化

3.1 IoT数据简化与增强

• IoT 数据的挑战
  • 多样性和复杂性。以时间序列形式存在，或包含多个变量的数据（如WiFi信道状态信息CSI）。而LLMs在处理密集型数值数据时表现不佳，尤其是在涉及长序列时间序列数据的情况下。
  • 原始的数值形式，缺乏必要的文本注释，例如单位、采集设备的信息、采样频率等元数据。
• 结合挑战，原始的 IoT 数据需要进行两个方面的处理：
  • 适当简化：降低数据复杂度，使其更易于LLM处理；
  • 信息增强：补充关键上下文和语义信息，以提升LLM的理解能力。
• 通过这种方式，将复杂的原始物联网数据转化为适合LLM处理的格式，为物联网感知任务推理奠定基础（图6的示意图）。

3.1.1 IoT数据简化

• 首先理解为什么 LLMs 在处理密集数值型数据时存在困难
  • （1）常见的分词方法（如Byte Pair Encoding）会将数字拆分成与数字位数不一致的 token，导致浮点数的分词不一致，并增加了算术运算的复杂性。
  • （2）长序列物联网数据的复杂性给LLMs带来了重大挑战。
• 接着，提出应对的简化方法
  • （1）除了进行下采样并保持固定精度（例如保留两位小数）以有效控制上下文长度外，作者还提出：在数字之间插入空格，确保每个数字位被单独分词；使用逗号来分隔时间序列中的每个时间步。
  • （2）借助外部工具（如Python脚本）提取关键的统计特征，例如均值、方差和FFT均值等。
• 最后，总结数据简化的优点：不仅在长度层面和token层面对物联网数据进行了简化，还将数据转换为更适合LLM分词和处理的形式。

3.1.2 IoT数据增强

• 数据增强的动机：仅靠原始物联网数据不足以让LLMs有效完成现实世界任务，需要引入物理世界的上下文信息来增强数据。
• 增强方法：在提示中提供了关于IoT数据采集过程和物理信息整合的全面概述。
  • 例如，对于惯性测量单元（IMU）数据，提供诸如采样频率（如10 Hz）、设备放置位置以及测量单位（如重力加速度 g 和弧度/秒 rad/s）等元数据。
  • 优点：使LLMs能够将三轴IMU数据与身体的空间方向相对应，并理解这些数值背后的物理意义，从而提升其在现实世界任务中的理解能力。

3.2 面向IoT的知识检索增强

• 背景 ：LLMs在物联网任务中需依赖专业知识（如ECG信号解读），但已有研究依赖人工设计的专家知识，扩展性差。
• 解决方案 ：提出自动化知识增强方法 ，利用LLMs的上下文学习能力，结合检索机制引入相关知识与示例。
• 主要步骤：
  1. 构建物联网领域知识库和示例知识库：用于存储通用的物联网领域知识以及特定任务的示例；
  2. 使用嵌入模型将文本转化为向量，并以键值对形式存储，便于高效检索；
  3. 同时保存元数据，以便后续通过元数据过滤等技术提升检索质量；
  4. 采用混合搜索方法（结合关键词匹配和向量化检索），确保获取语境丰富的相关信息；
  5. 应用重排序技术，进一步优化查询与检索结果之间的相似度，筛选出最相关的前m条信息作为补充知识。
• 无缝地扩展到新任务
  • 通过这种自动检索相关知识的方式，本文方法能够无缝地扩展到新任务。
  • 只需将与新任务相关的文档加入物联网知识库中，其余框架流程保持不变即可完成适配。

3.3 prompt 配置

• 除了上述改进，作者还通过精心设计 prompt 来激发LLMs的内部知识。
• 动机：大语言模型具有强大的“角色扮演”能力，并且将问题拆解为多个小步骤可以显著提升LLMs的推理能力。
• 解决办法
  • （1）为LLMs在特定任务中分配专业角色。例如，在心跳异常检测任务中，我们将LLM设定为一位专业的医生角色，从而调用其内在的领域知识。
  • （2）将推理过程分为两个阶段：首先引导LLMs分析物联网数据与任务背景，然后基于该分析生成最终答案。
• 综上，作者设计了一个 统一的提示模板 对上述内容进行结构化组织，如图4所示。

4 实验

4.1 IoT推理基准

• 作者设计了一个全面的评估IoT推理的基准测试
• IoT感知任务和数据集
  • 人体活动识别：使用惯性测量单元（IMU）数据。数据集（Reyes-Ortiz 等，2015）
  • 工业异常检测 ：基于温度、冷却功率和冷却效率等指标。数据集（Helwig 等，2018）
  • 心跳异常检测 ：使用心电图（ECG）数据。数据集（Goldberger 等，2000）
  • 基于WiFi信道状态信息（CSI）的人体感知。数据集（Zhuravchak 等，2022）
  • 基于WiFi信号强度的室内定位。数据集（Huang 等，2022）
• LLM
  • GPT-3.5-turbo、GPT-4o-mini、claude-3.5-sonnet、gemini-pro、Mistral-7B 和 LLaMA2-7B。

4.2 结果与分析

• 采用 Penetrative AI 作为基线方法，其提示中包含原始IoT数据、相应的任务描述，以及可选的手工设计专家知识。
• 基于WiFi的室内定位结果如表1所示，HAR、心跳异常检测、工业异常检测和人体感知结果如表2所示。
  • 本文方法 IoT-LLM 显著提升了所有LLMs在现实场景下完成物联网任务的表现。

4.3 消融实验

• 变体
  • （1）仅IoT数据简化与增强
  • （2）在（1）的基础上加入检索到的领域知识
  • （3）在（2）的基础上加入检索到的任务示例
  • （4）在（3）基础上进一步引入角色描述和思维链技术（完整版）
• 结果如表3所示