开放模型加速物理 AI 落地：NVIDIA Jetson 如何成为边缘智能的通用平台

从数据中心到真实机器，生成式 AI 正在边缘端释放巨大潜力

随着开源生成式 AI 模型的快速演进，这些强大的智能算法正逐渐走出数据中心，深入到现实世界的各类机器与设备中。从卡特彼勒的智能挖掘机，到能够制作抹茶的机器人双臂，再到全天候运行的个人 AI 助手，NVIDIA Jetson 平台正成为这场变革的核心引擎。

当挖掘机“听懂”指令：物理 AI 的真实落地

在今年的 CES 展会上，一台卡特彼勒 Cat 306 CR 小型挖掘机展示了令人惊叹的智能交互能力。操作员不再需要复杂的操纵杆技巧，而是可以直接与机器对话——询问当前设备状态、获取操作指导，甚至让机器协助完成复杂任务。

这台重约八吨、驾驶室仅有电话亭大小的紧凑型设备，通过 NVIDIA Jetson Thor 平台实现了本地化的智能交互。系统集成了多个 AI 模型：NVIDIA Nemotron 语音模型处理语音识别与合成，Qwen3 4B 大语言模型负责意图解析与响应生成，而 vLLM 则保障了在无云连接情况下的低延迟服务。

这正是物理 AI 的典型应用场景——机器不再是单纯的执行工具，而是能够理解环境、与人对话、自主决策的智能体。

从云端到边缘：为什么模型需要“落地”？

在过去，大模型通常部署在数据中心，依赖弹性计算和持续稳定的网络。然而，对于物理世界中的机器而言，这种部署方式存在明显局限：

• 延迟问题：工业设备需要毫秒级响应，云端的往返延迟难以满足实时交互需求

• 成本考量：每次查询都会产生持续的计算成本，长期运行经济性不足

• 可靠性要求：网络中断可能导致设备失能，这对于工程机械、医疗设备等场景是不可接受的

• 硬件限制：边缘设备需要功耗可控、行为稳定的系统

与此同时，随着模型效率的不断提升，开发者开始重新思考一个根本问题：模型在哪里运行才最合理？ 答案正越来越明确地指向设备端。

NVIDIA Jetson 系列平台恰好回应了这一需求。通过将计算单元与内存集成于单个系统级模块中，Jetson 既加速了硬件设计进程，也确保了元器件供应的可靠性。从入门级的 Jetson Orin Nano 8GB 到高性能的 Jetson Thor，开发者可以根据应用场景灵活选择合适的算力平台。

物理 AI 的广阔应用图景

?️ 工业与工程场景

卡特彼勒开发的驾驶舱内 Cat AI 助手，展示了生成式 AI 如何提升工程机械的安全性和易用性。系统在本地同时运行语音模型与语言模型，结合机器上下文为操作员提供精准指导——无论是新手学习操作技巧，还是资深技工查询故障信息，都能获得即时响应。

? 机器人研究与应用

在机器人领域，物理 AI 的进展更为显著：

• Franka Robotics 展示了 FR3 Duo 双臂系统，从环境感知到动作执行全程无需任务脚本，控制策略完全在设备端端到端运行

• NVIDIA GEAR 实验室的 SONIC 项目，利用超 1 亿帧动作捕捉数据训练人形机器人控制器，运动学规划器在 Jetson Orin 上单次推理仅需约 12 毫秒，策略控制环路稳定运行于 50 Hz

• UIUC SIGRobotics 团队凭借在 Jetson Thor 上运行的 GR00T N1.5 模型，打造了双臂抹茶制作机器人，在 NVIDIA 具身 AI 黑客松中荣获第一名

? 家庭服务与研究前沿

纽约大学机器人与具身智能中心在 Jetson Thor 上运行其 YOR 机器人，利用 NVIDIA Blackwell 架构的强大算力处理 AI 驱动运动所需的复杂计算。初步成果显示，YOR 能够执行精细的抓取与放置任务，在面对新物体和场景变化时展现出更强的泛化能力，加速其在烹饪、洗衣等家庭场景中的应用。

? 个人 AI 助手

开源模型还为独立开发者和普通用户打开了新可能。通过 OpenClaw，开发者可在 Jetson 上打造全天候在线的个人 AI 助手，不仅能零成本调用 API，还能确保完整的数据隐私。所有 Jetson 开发套件均支持 OpenClaw，用户可灵活切换 20 亿至 300 亿参数规模的开放模型，实时处理晨间简报、自动化日常任务、进行代码审查并控制智能家居系统。

Hugging Face 多模态研究负责人 Andrés Marafioti 在 Jetson AGX Orin 上构建的代理式 AI 系统，甚至能在深夜发消息提醒：“去睡觉吧，一切明早都会准备好。”

Jetson 上的开放模型生态

NVIDIA Jetson 已成为在边缘端运行开放模型的通用平台，全面支持各类开放模型与 AI 框架。以下主流模型均在 Jetson 上获得优化：

开发者可基于这些模型进行微调，构建专用的物理 AI 智能体，并借助 NVIDIA TRT、Llama.cpp、Ollama、vLLM、SGLang 等主流 AI 框架，无缝部署到实际系统中。

展望：物理 AI 的新时代

开放模型的崛起，正在改写 AI 落地的游戏规则。当智能不再受限于云端，当每一台机器都能拥有本地化的理解与决策能力，我们正迎来物理 AI 的黄金时代。

从工地的挖掘机到厨房的机械臂，从实验室的人形机器人家中的个人助手，NVIDIA Jetson 为这些智能体提供了强大的边缘计算基座。模型基准测试可在 Jetson AI Lab 获取，详细教程也在开放模型社区中不断涌现。