🔗 原文链接： https://mp.weixin.qq.com/s/6YmtVB-H…

⏰ 时间：2024年10月28日 16:00 (UTC+8)

作者： 郑程睿 算法工程师

最近，具身智能的概念很火。

不论是这几天稚晖君开源人形机器人全套图纸+代码，引发圈内热议。

还是各类具身智能产品，如李飞飞的 Voxposer、谷歌的 RT1 和 RT2、谷歌的 RTX、字节跳动的 Robot Flamingo、斯坦福的 ACT 和卡耐基梅隆的 3D_diffuser_act，均在不同任务和场景中展示了强大的能力，并有潜力带来革命性的变革。

那什么是具身智能呢？它又有什么用？

一文带你了解。

本文部分参考中国信息通信研究院和北京人形机器人创新有限公司的《具身智能发展报告》

一、具身智能基本概念

具身智能，即 “具身+智能”，是将机器学习算法适配至物理实体，从而与物理世界交互的人工智能范式。以 ChatGPT 为代表的“软件智能体”（或称“离身智能体”）使用大模型通过网页端、手机 APP 与用户进行交互，能够接受语音、文字、图片、视频的多种模态的用户指令，从而实现感知环境、规划、记忆以及工具调用，执行复杂的任务。在这些基础之上，具身智能体则将大模型嵌入到物理实体上，通过机器配备的传感器与人类交流，强调智能体与物理环境之间的交互。

通俗一点讲，就是要给人工智能这个聪明的“头脑”装上一副“身体”。这个“身体”可以是一部手机，可以是一台自动驾驶汽车。

而人形机器人则是集各类核心尖端技术于一体的载体，是具身智能的代表产品。

1. 具身智能的三要素：本体、智能、环境

具身智能的三要素：

• “本体”，即硬件载体；
• “智能”，即大模型、语音、图像、控制、导航等算法；
• “环境”，即本体所交互的物理世界。本体、智能、环境的高度耦合才是高级智能的基础。

不同环境下的会有不同形态的硬件本体以适应环境。比如室内平地更适用轮式机器人，崎岖不平的地面更适用四足机器人（机器狗）。在具身智能体与环境的交互中，智能算法可以通过本体的传感器以感知环境，做出决策以操控本体执行动作任务，从而影响环境。在智能算法与环境的交互中还可以通过“交互学习”和拟人化思维去学习和适应环境，从而实现智能的增长。

2. 具身智能的四个模块：感知-决策-行动-反馈

一个具身智能体的行动可以分为“感知-决策-行动-反馈”四个步骤，分别由四个模块完成，并形成一个闭环。

2.1 感知模块

感知模块负责收集和处理信息，通过多种传感器感知和理解环境。在机器人上，常见的传感器有：

1. 可见光相机：负责收集彩色图像。

2. 红外相机：负责收集热成像、温度测量、夜视和透视。红外相机能够检测物体发出的热辐射，即使在完全黑暗的环境中也能生成图像。这种能力使得红外相机适用于夜视和热成像。红外相机可以测量物体表面的温度，广泛应用于设备过热检测、能源审计和医学成像等领域。某些红外相机能够穿透烟雾、雾气和其他遮挡物，适用于应急救援和安全监控。

3. 深度相机：负责测量图像中每个点与相机之间的距离，获取场景的三维坐标信息。

4. 激光雷达（LiDAR）：负责测量目标物体的距离和速度。通过发射激光脉冲并接收反射回来的光来计算与物体的距离，生成高精度的三维点云数据，广泛应用于自动驾驶和机器人导航。

   

5. 超声波传感器：负责避障。通过发射超声波脉冲并接收这些脉冲的反射来确定机器人与障碍物之间的距离，判断障碍物是否存在。

6. 压力传感器：负责测量机器人手或脚部的压力，用于行走和抓取力的控制以及避障。

7. 麦克风：负责收音。

   

此外，根据不同应用场景，还可以使用一些特定的传感器实现特定功能。例如，电子鼻可以检测气体，应用于防爆和环境监测场景；湿度传感器可以应用于农业机器人和室内环境控制。环境理解在通过传感器获取环境信息后，机器人需要通过算法理解环境。在一些空间和场景相对稳定可控的环境中，算法并不需要强泛化能力，因此只需要针对特定场景的模型。例如，可以使用YOLO进行目标检测，使用SLAM实现导航和定位。而对于多变和陌生的场景，算法需要强泛化能力，因此需要使用多模态大模型，将声音、图像、视频、定位等多种环境信息融合并进行判断。后续章节将详细讨论这一点。

2.2 决策模块（大模型）

决策模块是整个具身智能系统的核心，它负责接收来自感知模块的环境信息，进行任务规划和推理分析，以指导行动模块生成动作。

在早期的技术发展中，决策模块主要依赖于人工编程的规则判断和专用任务的算法设计。然而，这些定制化的算法很难应对动态变化的环境和未知情况。基于近端策略优化算法（Proximal Policy Optimization, PPO）和Q-learning算法的强化学习方法在具身智能自主导航、避障和多目标收集等任务中展现出更好的决策灵活性。然而，这些方法在复杂环境的适应能力、决策准确度和效率方面仍存在局限。

大模型的涌现，极大地增强了具身智能体的智能程度，大幅提高了环境感知、语音交互和任务决策的能力。相较于 “软件智能体”的AIGC（AI-generated Content），即由大模型生成文字、图片等内容，调用的工具是函数；具身智能体的大模型是AIGA（AI-generated Actions），即由大模型生成动作，调用的工具是机械臂、相机等身体部件。在多模态的视觉语言模型（Vision Language Model, VLM）的基础上，具身智能的大模型的发展方向是视觉语言动作模型 （Vision Language Action Model, VLA）和视觉语言导航模型（Vision Language Navigation Model, VLN）。

• VLA：输入是语言、图像或视频流，输出是语言和动作。在一个统一的框架内融合了互联网、物理世界以及运动信息，从而实现了从自然语言指令到可执行动作指令的直接转换。
• VLN：输入是语言、图像或视频流，输出是语言和移动轨迹。针对导航任务中的语言描述、视觉观测对象以及运动轨迹等多个阶段的任务需求，VLN用于统一的指令输入框架，使得大模型可以直接生成运动方向、目标物体位置等操作信息。

近年来，诸如VoxPoser、RT-2和Palme等初期的VLA模型，以及NaviLLM这样的VLN模型已展示出令人期待的能力。在面向未来的发展中，多模态大模型与世界模型（World Model）的结合可以实现感知预测，即模拟环境中的动态变化。3D-VLA在此基础上进一步整合了三维世界模型的模态，能够预演环境动态变化及其对行动结果的影响。随着多模态处理技术的发展，具身智能系统将能够融合语言、视觉、听觉、触觉等多种感官信息，从而更自动化地理解指令并增强任务泛化能力。也许在具身智能大模型发展的最终阶段，一个具备感知-决策-执行的端到端大模型将孕育而生。它如同融合了人类的大脑和小脑，将原本不同模块的功能融合至一个统一的框架下，能够直接推理语言回复、精细动作、自主导航、工具使用以及与人协同合作，从而实现低延时和强泛化。

2.3 行动模块

行动模块是具身智能系统中的“执行单元”，负责接收来自决策模块的指令，并执行具体的动作。

行动模块的主要任务包括使用导航定位算法实现移动，以及使用控制算法操纵机械臂等身体元件实现物体操作。例如，导航任务需要智能体通过移动来寻找目标位置，而物体操作和交互则涉及对环境中物体的抓取、移动和释放等动作。在行动模块中，实现精细的动作控制是一个重要的挑战。行动模块如何响应决策模块的指令并生成动作，具体实现可以分为以下三种方式：

1. 决策模块（大模型）调用预编动作算法：

• 导航定位算法通过在事先建好的地图和点位上实现移动。
• 机械臂等身体元件通过预编好的控制算法执行特定动作。

这种方式的优点在于动作的可控性强。在与真实物理世界交互的过程中，动作生成的容错率低，由模型推理的动作一旦出错可能会造成巨大损失。这种方式的缺点在于算法开发量大，且泛化能力弱，难以将动作迁移至新环境中。

2. 决策模块（大模型）与动作算法协同工作：使用视觉语言模型（VL）读取行动模块的实时视频流，从而指导导航与控制算法生成动作。例如：

• 在执行导航任务时，将Rviz显示的地图视频流与相机捕捉的实时视频流输入至VL中，结合用户语言指令，指导导航系统移动。
• 在执行物体操作任务时，将机械臂上的相机的实时视频流输入至VL中，结合用户语言指令，指导控制算法操作机械臂完成精准抓取等任务。

这种方式使得机器人能够在与环境的交互中不断输入新的环境信息，以不断优化决策和行动，增强行动的泛化性。然而，这种方式对数据吞吐量和算力是一个挑战。

3. 决策模块（大模型）与行动模块的融合：如上所述，未来的发展方向将是使用VLA（Vision Language Action Model）和VLN（Vision Language Navigation Model）这样的端到端具身智能大模型直接推理动作。这种模型将互联网知识、物理世界概念与运动信息融合到统一框架中，能够直接依据自然语言描述生成可执行的动作指令，传入执行器中。这种方式将决策、行动甚至是感知逐渐融合，使行动模块的能力和灵活性进一步提高，从而使具身智能系统在各种应用场景中发挥更大的作用。

以上三种方式从上到下，随着技术的不断进步，将决策、行动甚至是感知逐渐融合，使行动模块的能力和灵活性不断提高，从而使具身智能系统在各种应用场景中发挥更大的作用。

2.4 反馈模块

反馈模块通过多层交互不断接收来自环境的反馈经验并进行调整和优化。具体来说，反馈模块分别反馈上述的感知、决策、行动模块。以提高对环境的适应性和智能化水平。

1. 反馈感知模块： 反馈模块通过提供持续的反馈，增强了感知模块对实时环境数据的敏感度。这包括但不限于图像、声音、压力和触感等多模态数据，使得感知模块能够更加精准地捕捉和响应环境变化。

反馈模块将感知模块先前捕获的环境信息视为“经验”或“记忆”， 并将这些信息作为“提醒”重新输入到感知模块中。例如，在人机对话的场景中，如果感知模块识别到一个新用户，即一个尚未建立用户习惯档案的个体，或者是一个已经存在于记忆中的老用户，即一个已经拥有熟悉操作流程的用户，反馈模块会将这些识别信息反馈给感知模块。这一过程模拟了人类在遇到陌生人或熟人时的自然反应，从而使得感知模块能够根据用户的不同身份和历史交互数据，调整其感知和响应策略，以提供更加个性化和适应性的服务。

2. 反馈决策模块： 反馈模块通过提供持续的任务完成度、用户指令的反馈。决策模块利用这些反馈进行自我优化，调整其算法的参数。通过这种闭环反馈机制，决策模块能够不断学习和适应，提高对环境的适应性和智能化水平。

例如，在自动驾驶的决策规划控制技术中，反馈模块的作用是对感知到的周边物体的预测轨迹的基础上，结合无人车的路由意图和当前位置，对车辆做出最合理的决策和控制。

3. 反馈行动模块： 反馈模块通过感知模块获取环境变化信息，并将这些信息反馈给决策模块。决策模块根据反馈信息灵活调整动作，确保执行器在多变的环境中能够调整运动轨迹、力量输出和动作顺序。例如，机器人的超声避障功能能够在遇到突然出现的障碍物或前方行人时立即停止运动，避免碰撞。导航系统在规划自由路径时，遇到突发的障碍物和人群时能够立即重新规划路径并绕行。

二、具身智能的人机交互

在机器主动感知与认知的具身交互中，具身智能系统借鉴大脑记忆、自主学习与预测机制，结合感知器件的物理特性（材料、电子、电气机械结构）的新型传感器，解决跨模态数据、多时空异步模式、多异构信息深度融合认知、知识表征、进化学习等挑战性问题。探索自主概念生成、技能学习、利用与发现方法，使得 AI 系统具有 Learning to learn 的能力和问题求解的泛化能力，在开放、动态环境中自主完成复杂任务。

目前，人机混合智能技术正朝着一个新的发展方向迈进，即通过人、机器和环境之间的相互作用，形成一种新型的智能形态。这种新型智能形态旨在实现人类智慧与机器智能之间的双向交流和相互增强。

1. 拟人化交互

在人机协同工作领域，研究人员正在探索更高层次的协作模式。这涉及到在多级人机协同系统中，人类在提供反馈、做出决策调整以及参与规划过程中的积极参与和互动。目标是使具身智能体能够通过类似人类的思维方式与人类进行交互，并能够产生符合人类期望的行为反馈。在人机交互的分工中，人的作用是引导思维过程的思路。

在拟人化交互中，核心挑战在于如何在人与机器之间合理分配认知负荷。认知负荷指的是在特定任务执行期间，对个体认知系统施加的心理活动总量。当认知负荷超过个体所能承受的认知资源时，就会产生超负荷现象，这会导致个体的认知能力显著下降。

2. 交互式学习

通过交互式学习，机器人能够在与人类的互动中实现知识传递。在这一过程中，一个大型的模型作为基础，它优化了交互过程中的信息增益和累积的反馈奖励。这种学习方式结合了真实环境下的监督学习，使机器人能够从标注数据中学习，以及虚拟环境下的强化学习，让机器人从延迟的奖励中学习。这三种学习方式形成了一个三重闭环系统，使得机器人能够从交互数据中持续学习和改进。

3. 人机决策柔性调节机制

在人机协同决策过程中，根据任务需求和环境变化，动态调整人和机器的决策权限和参与程度的机制。这种机制能够提高决策的灵活性和适应性，确保在不同的情境下都能做出最优的决策。

机器通常负责处理大量数据和执行复杂计算，而人类则提供直觉、经验和道德判断。柔性调节机制允许在决策过程中根据实际情况动态调整人机之间的协作关系，例如，在某些情况下可能需要更多地依赖机器的计算能力，在其他情况下则可能需要人类的直觉和判断。

4. 安全性

具身智能人机交互中的安全性包括了物理安全性和感知安全性。物理安全指的是避免机器人对人类或环境造成伤害。感知安全性，即人类用户的安全感，是人机交互过程中的主观安全感，包含了交互过程中的舒适性、可预测性、控制感和信任感。

实现物理安全性涉及到机器人的设计、编程和操作，以确保在所有预期的使用场景中，机器人的行为都是安全的。物理安全的研究包括但不限于机器人的碰撞检测与反应、力控制和柔顺性设计、以及使用黏弹性材料来包裹机器人的连杆以减少撞击时的伤害。随着技术的发展，物理安全的研究也在不断进步，例如，通过仿真分析来预测和评估潜在的物理交互风险。

建立感知安全性是一个多层次、多维度的过程，涉及心理学、技术、设计、伦理等多个领域。人类的安全感不仅仅依赖于客观的安全标准，还受其主观感受、情感状态以及机器人行为表现的影响。以下是一些重要的指标：

1. 行为透明性： 机器人应尽可能清晰、透明地展示其意图和行为。这包括机器人在行动前给予足够的提示，尤其是在人类与机器人共享工作空间时。

2. 可预测性： 如果机器人的行为模式稳定并且符合人类的预期，人类会感到更加安全。机器人应避免突发的、令人无法预料的行为或动作，这会引发紧张感和不适。

3. 拟人化设计： 机器人设计应尽量模仿人类行为或符合人类习惯。例如，通过使用符合人类社交礼仪的动作与语言互动，可以使人类感到与机器人的互动更加自然和舒适。

4. 直观的交互界面： 机器人的操作界面应符合人类的认知模型，使其使用简单易懂。复杂、晦涩的操作可能会增加使用者的不确定性和恐惧感。

5. 速度控制： 机器人的速度和动作幅度需要与人类的感知速度相协调。如果机器人动作太快，可能会给人一种危险或攻击性的感觉。通过控制机器人的行动速度、柔和的启动和停止，人类可以感受到更强的掌控感。

6. 安全距离： 保持适当的物理距离有助于提升安全感。特别是在近距离交互的场景中，机器人应该尽量避免过于贴近人类，保持适当的个人空间。机器人应具备感知人类距离并自动调整的能力。

7. 及时反馈： 人类与机器人互动时，及时的反馈可以帮助使用者确认机器人的状态及其理解是否正确。无论是视觉、听觉还是触觉反馈，都应尽量即时有效，确保人类能清晰感知到机器的响应。

8. 人类控制权： 确保人类在互动过程中始终具有控制权，能随时终止或调整机器人的行为。机器人应提供易于使用的紧急停止功能，增强人类的掌控感和安全感。

智能时代的伦理学慎思也强调了人类对智能机器人进行设计、开发、应用与运营的伦理责任。人类对人工智能负有完全责任，而不仅仅是责任的分担者之一。这意味着在设计具身智能体时，我们必须考虑到它们可能带来的伦理风险，并采取措施以确保它们的行为符合人类的伦理标准。随着技术的发展，基于具身智能体有可能进化为超智能体，这要求我们在设计和开发过程中就考虑到安全性。有效的人机合作不仅能够使人类指导伦理和安全决策，还能确保基于具身智能体的目标与人类利益的一致性。

三、机器人的软硬件构成

机器人主要分为：机器人本体和控制装置。

• 机器人的本体包括：机身、驱动器、机械臂、末端执行器、移动底盘，传感器等。

  • 机身是机器人本体的主体，一般由高强度钢材制成，以支撑其他所有部件。其内部空间容纳着各种传感器、控制器和电源设备等。

  • 机械臂通常由关节驱动，实现多自由度的运动。

  • 末端执行器是连接在机器人边缘的工具，用于实现功能。最常见的通用的末端执行器就是灵巧手和夹具，也可以是清理工具、吸盘等特定功能的工具。

  • 移动底盘可以是用于平地的轮式底盘，和用于不平整地面的双足、四足、轮足等。

• 控制装置：控制装置包括: 控制系统、伺服驱动系统、电源装置，交互设备。

  • 控制系统负责处理传感器数据、规划路径、执行任务，并与其他子系统协作。控制系统通常由嵌入式计算设备或工业计算机组成，通过运行控制算法（如 PID 控制、深度学习模型等）来决定机器人如何运动和操作。

  • 伺服驱动系统负责驱动机器人的关节和执行机构，实现精确的运动控制。伺服系统一般包括伺服电机、伺服驱动器和指令机构。伺服电机作为执行机构，负责实现运动；伺服驱动器作为功率电源，控制电机的运动；指令机构则负责发出脉冲或速度信号，配合伺服驱动器工作。伺服系统能够进行速度与转矩控制，还能进行精确、快速、稳定的位置控制。伺服系统的结构通常包括三个闭环控制：电流环、速度环和位置环。

  • 常见的机器人交互装置有麦克风、遥控器等。尤其是带屏遥控器,集成了显示屏和控制功能的遥控器，允许用户直接在遥控器上查看实时图像和进行各种操作。

• 软件中间件

  机器人操作系统中间件，负责硬件抽象、设备驱动、库函数、可视化、消息传递和软件包管理等。最常用的元操作系统就是 ROS（Robot Operating System)，它并不是一个真正的操作系统，而是一个运行在 Ubuntu 上的软件框架。ROS将机器人的软件功能封装为节点，支持节点之间的分布式、点对点通信，并由主节点（master）负责对网络中各个节点之间的通信过程进行管理调度。不同节点可使用不同编程语言，可分布式运行在不同的主机。这种设计使得机器人的各个模块可以松耦合地协同工作，便于模块化的修改和升级，提高了系统的容错能力。

四、人形机器人

具身智能的本体不只是机器人，还可以是汽车、无人机、玩具等具有传感器并可自主运动的硬件。应用的领域包括工业生产、安防巡检、医疗护理、家庭陪护、应急救援等。具身智能的载体会因不同的应用场景而产生不同的形态。这是因为在目前的具身智能体仍处于 ANI（人工狭窄智能）阶段，它们只能执行单一的任务。

1. 人形的优点

随着 AI 的发展逐渐步入 AGI（人工通用智能）阶段，人形机器人将成为具身智能体的最终形态。这是因为大模型为“智能”提供了通用性，而类人体的构造为“具身”提供了通用性。具体原因如下：

**1. 遵循自然的高效设计：**人类本身拥有高效的身体结构和功能。例如，直立行走解放了双手，使我们能够使用多种工具。机器人甚至可以弥补人类身体的缺憾，例如，机器人的可见光相机不会近视，还可以使用红外相机、深度相机等多种光学传感器。

2. 适应人类环境： 人类物理世界的环境和工具都是为人类使用而设计的。人形机器人通过类似人体的构造可以自然地适配这些环境和工具。例如，ANI阶段的扫地机器人只能执行扫地任务，而 AGI 阶段的人形机器人不仅可以使用吸尘器扫地，还可以使用抹布擦桌子。

3. 人机交互的自然性： 与非人形机器人相比，人形机器人具有与人类相似的外观和行为模式，更容易被用户接受，减少了用户对未知技术的恐惧感。用户更容易与人形机器人建立积极的心理联系，产生亲近感和信任感，这极大地降低了用户习惯培养的成本。拟人化的机器人更容易被视为有道德责任的主体，用户在与机器人互动时会更加注意自己的言行举止，从而减少对机器人硬件的损坏。

4. 数据的可获得性： 具身智能训练模型时面临训练数据匮乏的问题，这是因为训练数据需要人类对机器的动作进行规划。而由于人形机器人的身体结构与人类相似，大量的人类运动视频可以通过标注成为训练数据，从而解决了数据匮乏的问题。

2. 人形的缺点

然而人的身体构造也拥有明显的缺点，尤其是直立和双足引发的一些问题：

1. 运动控制的挑战： 人形机器人在稳定性和运动控制方面面临困难。由于其脚与地面的接触时间短且空间小，导致稳定控制的时空域非常有限。这种不稳定性使得机器人在复杂环境中行走和操作时容易失去平衡。人类能够通过复杂的神经系统和肌肉控制来动态调整身体姿态，保持平衡。而人形机器人虽然可以编程来模拟一些平衡动作，但这些控制算法通常不如人类的自然反应那样精准和快速，导致在面对突发干扰或不平坦的地面时更容易失去平衡。

**2. 能量效率问题：**双足机器人的高能耗要求更高效的电力系统和能源管理。当前的电池技术尚未能满足长时间运行的需求，限制了机器人的应用范围。而且双足机器人一般都要求机身更轻，难以在机身上安装大电池，这使得当前市面上很多双足机器人的续航都只能达到 2 小时。

因此，笔者认为双足不是人形机器人的必需。室内场景适合使用轮式人形机器人，因为轮式人形机器人能够搭载大容量电池，提供更长的续航时间。移动时产生的噪音和对地面的磨损也较小。此外，其力学结构更为稳定，在平坦地面上能够更灵活地移动。

而不平坦的场景更适合使用四足机器人，即机器狗。四足机器人相较于双足机器人，在稳定性、适应性、灵活性和功能性上具有显著的优点。

五、具身智能的面临的挑战

1. 数据

相较于软件智能体使用的大模型训练时的海量互联网数据，具身智能的大模型的训练中拥有严重的数据匮乏的问题，这是因为具身智能需要的是来自物理世界动态环境中的交互数据。在真实环境中采集大规模高质量的数据需要大量的人力、物力和时间投入。在复杂环境中布置传感器和监测设备的费用高昂，还涉及安装、维护和更新成本。不同传感器的采样频率、响应时间和精度存在差异，导致时空对齐困难。比如视觉传感器和力传感器同时采集数据时可能出现时间偏差，影响数据的准确性和可用性。

真实世界的场景丰富多样。机器人可能在不同的气候条件、地形地貌和社会环境中工作，全面采集这些场景数据极为困难。模拟环境（如 3D 仿真平台）虽然能够提供某种程度上的训练数据，但模拟和现实之间仍存在很大的差距。**“模拟-现实鸿沟”（Sim2Real gap）指的就是在仿真环境中训练的模型在真实世界中表现不佳。**只是因为模拟环境中的物理规律通常是简化版的，无法完全模拟真实世界的复杂物理现象（如摩擦力、空气阻力等）。模拟环境中的感知（如摄像头、激光雷达）通常比真实环境中的传感器表现更理想，因此在实际应用中，具身智能的感知模块往往无法准确处理现实中的噪声和偏差。

物理世界的负样本数据也非常匮乏。在物理世界中收集负样本意味着需要机器人反复尝试任务，并在每次尝试中经历失败。这种过程不仅耗时，而且设备损耗和实验设置成本也较高。物理实验需要更高的维护成本和风险控制。

物理世界中的数据在处理时面临着复杂的合规问题，尤其是在与数据隐私和安全相关的领域。机器人在真实环境中收集和使用的数据常常涉及到个人隐私、敏感信息以及各种法规要求的限制。例如，在安防巡检机器人的应用场景中，摄像头、传感器等设备会捕捉到包括人脸、车牌等隐私信息，这类数据通常涉及到隐私保护法规。

2. 软件

具身智能的发展中，软硬件解耦面临难题。具身智能系统需要集成多个紧密相连的层次，这些层次之间算法的相互依赖性需要精确的协调，使得平台开发变得复杂。现有的平台在高层次上可能是模块化的，但在关键组件内部缺乏清晰的模块化。紧密耦合的架构和单片代码使得替换或扩展关键模块变得困难。在仿真中验证的算法往往不能直接转移到硬件平台。这种不兼容性源于虚拟和现实系统之间的硬件接口、设备驱动程序和系统依赖性差异，导致需要大量的努力来适应或重新实现算法。

之前介绍的中间件 ROS 为了传统机器人控制领域设计的，能够支持运动控制、 SLAM 等多种领域。然而对云端、边端的大模型的接入则突显了兼容性的问题。未来中间件如何更好地适配大模型也是一个挑战。

3. 硬件

硬件的耐用性是确保其长期稳定运行的关键因素。机器人集成了多种传感器、执行器和复杂的机械结构，这些部件的精密性要求高，一旦损坏，更换成本昂贵。例如，机器人关节模块集成了无框电机、伺服驱动器、专用减速机系统等多个部件，这些部件的损坏可能导致整个模块需要更换，增加了维护成本。

机器人在运行过程中会产生热量，如果无法有效散热，会导致机器人关键部件性能降低，影响使用寿命。例如，谐波减速器由于齿轮啮合摩擦产生的热量，如果没有有效的散热措施，会导致部件损坏。机器人中的传感器和电子元件对温度变化敏感，高温可能导致传感器损坏或性能下降，而电子元件在高温下故障率会大幅增加。