Google发布SensorFM：万亿分钟传感数据打造可穿戴健康大模型
背景与动机
可穿戴设备产生的连续生理信号已成为健康监测的重要来源，但传统模型往往针对单一预测任务进行训练，难以在标签稀缺的场景下发挥作用。Google Research、DeepMind 与多所大学联合构建了 SensorFM，旨在通过大规模无监督预训练，学习通用的时间序列表征，以支持多任务健康预测。
模型架构
- 输入特征：34 种一分钟聚合特征，覆盖 PPG、加速度、EDA、皮肤温度、气压计五类传感器。
- 骨干网络：ViT‑1D 编码器，Patch 大小为 [20, 1]，采用掩码自编码器（MAE）目标。
- 预训练规模：5 百万志愿者、超过 1 万亿分钟（≈ 2 十亿小时）数据，涵盖 100+ 国家、50 州及 20 多款 Fitbit 与 Pixel Watch 设备。
四个模型变体（XXS、XS、S、B）与等比例数据量共同扩展，详见下表：
| 变体 | 参数量 | 编码层 | 预训练数据（Sensor‑hours） | 参与者数 |
|---|---|---|---|---|
| XXS | 138 M | 64 | 2 × 10⁶ | 25 K |
| XS | 933 M | 128 | 2 × 10⁷ | 450 K |
| S | 7 290 M | 256 | 2 × 10⁸ | 8 500 K |
| B | 110 763 M | 768 | 2 × 10⁹ | 12 500 K |
规模效应
在同等数据比例下，模型规模提升带来显著的性能提升：
- 重构验证损失下降 31%（B vs. XXS）
- 生成损失下降 28%
- 下游分类 AUC 平均提升 0.09，回归 Pearson r 提升 0.21
- 在 35 项任务中，B 变体赢得 33 项，XXS 仅在 2 项领先。
值得注意的是，若模型容量远超数据量（如 B 在仅 5 K 参与者上训练），会出现过拟合，验证损失升至 1.082，训练提前终止。
Adaptive and Inherited Masking (AIM)
可穿戴数据常出现充电、脱腕、节能等导致的缺失。SensorFM 引入 AIM：将真实缺失掩码与人为掩码合并，仅在人工掩码覆盖的区块上计算损失。两阶段掩码（token dropout + attention masking）保持计算高效，使模型在恢复缺失信号的同时，实现即插即用的插值与预测功能。实验表明，SensorFM 在随机插值、时间插值、信号重建等基准上分别提升 74.8%~83.7%。
自动化头部搜索：Agentic Classroom
为避免手工调参，团队构建了一个 "课堂"，使用 Gemini‑2.5 flash、Gemini‑3.1 pro 等 5 种 LLM 代理自动生成、执行、评估 30 516 个预测头。结果显示：在 20 项分类任务中，代理生成的头部在 F1 上超越线性探针 16 项；在 15 项回归任务中提升 Pearson r 12 项。大多数最终方案仍保持 50‑100 维的低维投影，线性模型占比最高，说明规模化特征在可解释性和部署成本上具备优势。
临床评估：个人健康助理
Gemini‑3 Flash 基于 SensorFM 预测为 31 位真实受试者生成健康摘要，随后四位盲评医生对 1 860 条评分进行统计检验。加入 SensorFM 预测的条件显著优于仅使用人口统计与特征工程的基线（W=10110, p<0.001），并在所有评估维度上与真实标签无显著差异（p=0.396），表明模型在临床可解释性和可靠性方面已达到实用水平。
应用前景
- 筛查与风险分层：冻结编码器 + 单层线性头即可实现大规模人群的快速风险预警。
- 日常健康报告修复：在 60 分钟连续缺失的情况下，步数保留 99.7%，深度睡眠保留 99.9%。
- 标签稀缺研究：直接使用冻结嵌入进行下游任务，可显著降低标注成本。
- 交互式健康教练：通过 LLM 提示约束，模型输出可转化为自然语言建议，避免直接呈现数值或二元决策。
SensorFM 的发布标志着可穿戴健康领域迈向通用基础模型的关键一步，未来有望在个人健康管理、远程医疗以及大规模流行病监测中发挥核心作用。