Google推出LiteRT.js 在浏览器实现.tflite模型实时推理，WebGPU加速提升最高60倍

背景

Google于2026年7月9日正式推出LiteRT.js，这是其面向浏览器的轻量级推理解决方案。LiteRT本身是Google在移动端和嵌入式设备上使用的TensorFlow Lite后继库，LiteRT.js则将其原生运行时编译为WebAssembly，并提供JavaScript绑定，使得开发者可以在无需服务器的情况下直接在网页中执行.tflite模型。

关键特性

三后端统一运行时：CPU 使用 XNNPACK，支持多线程和SIMD；GPU 采用 ML Drift 通过 WebGPU 加速；NPU 通过实验性的 WebNN API 对接硬件加速。
完整模型兼容：模型必须能够完整委派至单一加速器，若部分算子不被支持则回落至Wasm执行。
手动张量管理：所有 Tensor 实例均需显式调用 .delete()，否则会导致设备内存泄漏。
跨平台复用：同一套模型优化（量化、算子融合等）可在 Android、iOS、桌面以及浏览器上共享。

性能表现

Google 在一台配备 Apple M4 芯片的2024年MacBook Pro上进行基准测试，得到以下结论：

与 TensorFlow.js 等现有网页推理框架相比，LiteRT.js 在 CPU 与 GPU 路径上最高可达 3 倍 的速度提升。
在 GPU（WebGPU）或 NPU（WebNN）全委派的情况下，相比其自身的 CPU 路径，推理速度可提升 5‑60 倍，尤其在实时目标追踪和音频转写等高负载场景表现突出。
实际加速幅度受本地 GPU 性能、热 throttling 与驱动优化影响。

使用示例

import {loadLiteRt, loadAndCompile, Tensor} from '@litertjs/core';
await loadLiteRt('path/to/wasm/');
const model = await loadAndCompile('model.tflite', {accelerator: 'webgpu'});
const input = new Tensor(new Float32Array(1*3*224*224), [1,3,224,224]);
const results = await model.run(input);
// 手动迁移并读取结果
const cpuTensor = await results[0].moveTo('wasm');
const output = cpuTensor.toTypedArray();
// 释放内存
input.delete();
results.forEach(t=>t.delete());
cpuTensor.delete();

上述代码展示了完整的加载、推理、结果迁移以及手动释放张量的流程，突显了 LiteRT.js 对内存管理的显式要求。

与 TensorFlow.js 对比

维度	LiteRT.js	TensorFlow.js
核心实现	本地原生 runtime 编译至 WASM	JavaScript 计算核
模型格式	.tflite（统一）	Graph Model / Layers Model
CPU 加速	XNNPACK，多线程 + SIMD	JS 线程，性能受限
GPU 加速	ML Drift + WebGPU	WebGL / WebGPU（性能弱）
NPU 支持	WebNN（实验）	无
内存管理	手动 `.delete()`	自动 `tf.tidy` / `tf.dispose`

可以看出，LiteRT.js 在算子覆盖、硬件加速深度以及跨平台模型一致性上具备明显优势，唯一的短板是需要开发者自行管理张量生命周期。

注意事项

张量泄漏风险：未调用 .delete() 将导致浏览器内存持续增长，尤其在长时间交互式应用中尤为致命。
WebNN 仍在实验：目前仅在 Chrome 与 Edge 的最新版本可用，兼容性尚未全面。
不支持部分委派：模型必须能够全部委派至选定加速器，否则会自动回退至 WASM，可能出现性能突降。

业界影响

LiteRT.js 的发布标志着浏览器端 AI 推理进入了“原生加速”阶段。过去，网页 AI 多依赖 TensorFlow.js 的纯 JavaScript 实现，性能受限且难以利用硬件潜能。现在，开发者可以在保持用户数据本地化的前提下，利用 WebGPU 和即将成熟的 WebNN 将高负载模型（如实时目标检测、语音转写）直接搬到前端，这将进一步推动隐私保护型 AI 应用、边缘计算以及跨平台 AI SaaS 的落地。随着 Chrome、Edge 对 WebGPU 与 WebNN 的持续优化，LiteRT.js 有望成为浏览器 AI 推理的事实标准。

“在浏览器中运行原生推理库是对 AI 隐私和性能的双重承诺。” — Google AI 团队