具身智能环境的构建和工作（具身智能入门四）

具身智能的设计选择

如下图所示，具身智能的环境主要由一下三部分组成：Embodiment、Task、Assets。

一、具身设计（Embodiment Design）

核心目标：定义智能体的物理形态与交互能力，使其能感知环境并执行任务。

1. 机器人硬件（Robot Hardware）

• 核心特性：
  • 具备多模态传感器-运动能力的物理实体，直接影响智能体的认知与行动模式。
  • 例：人形机器人的双足结构决定其移动方式，机械臂的关节数量影响抓取精度。
• 设计逻辑：
  • 硬件形态与任务需求强绑定：如工业机械臂需高负载能力，服务机器人需灵活避障。
  • “具身认知”理论：智能体的身体结构塑造其对世界的理解（如蛇形机器人通过蜿蜒运动感知环境）。

2. 传感器（Sensors）

功能：将环境信息转化为智能体可处理的信号。

▶ 视觉感知（Visual Perception）

• 信号类型：

  类型	作用	示例应用
  RGB	提供色彩与纹理信息	物体识别、场景理解
  深度图	测量物体距离，构建三维环境	避障导航、抓取定位
  语义/实例掩码	标注物体类别或个体（如“杯子”“苹果”）	目标分割、任务规划
  法向量	表面朝向信息，用于光照渲染与物体形状分析	3D重建、物理模拟
  光流	检测像素运动，反映智能体与环境的相对运动	动态障碍物检测、自主导航

• 放置位置：
  • 头部：全局环境感知（如自动驾驶汽车的前置摄像头）；
  • 手臂：近距离精细操作（如机械臂末端摄像头定位螺丝孔）；
  • 第三视角：无遮挡的全局监控（如工厂中的固定监控摄像头）。

▶ 机器人本体感受（Robot Proprioception）

• 关节状态：
  • 位置（Position）：关节角度（如机械臂肘部弯曲90°）；
  • 速度（Velocity）：关节运动速率（用于平滑控制）；
  • 扭矩（Torque）：驱动力反馈（避免过载或碰撞）。
• 连杆状态：
  • 末端执行器位姿（End-effector pose）：如机械爪的三维坐标与朝向，决定抓取精度。

▶ 触觉/力觉感知（Haptic/Tactile Perception）

• 核心功能：
  • 检测抓取状态（如 gripper 是否握紧物体）；
  • 力扭矩传感器（Force-torque sensor）：测量外部作用力（如搬运重物时的受力平衡）。
• 应用场景：精细操作（如拧瓶盖时感知阻力）、安全交互（避免碰撞人类）。

▶ GPS与指南针（GPS and Compass）

• 里程计（Odometry）：
  • GPS：提供相对位置（如机器人在地图中的坐标）；
  • 指南针（IMU，惯性测量单元）：检测朝向与姿态（如机器人是否倾斜）。
• 作用：定位智能体在环境中的初始姿态，用于导航与路径规划。

3. 执行器（Actuators）

• 定义（维基百科）：负责移动和控制机械系统的组件。
• 核心类型：
  • 电机（Electric motors）：驱动轮子、关节等（如四足机器人的腿部运动）；
  • 液压/气动执行器：提供大负载动力（如工业机械臂搬运重物）；
  • 末端执行器（End-effectors）：如夹爪、吸盘，实现物体抓取。
    

示例：

二、任务规范设计（Task Specification）

核心目标：明确智能体需要完成的目标及成功标准。

1. 目标规范（Goal Specification）

• 表示形式：
  • 几何位置：目标点坐标（如“移动至(10, 5, 2)米处”）；
  • 物体类别：指定目标物体（如“抓取红色杯子”）；
  • 语义/实例掩码：通过图像标注定义目标（如分割图中蓝色区域为待清洁区域）；
  • 语言指令：自然语言任务（如“把苹果放到冰箱里”）；
  • 目标图像：视觉匹配任务（如“到达与这张图片相同的场景”）；
  • 成功演示：通过人类示范定义任务流程（如强化学习中的模仿学习）。

2. 成功指标（Success Metric）

• 常见标准：
  • 导航任务：智能体停在目标点附近（如误差≤0.5米）；
  • 操作任务：目标物体位姿接近预期（如抓取后杯子倾斜角度≤5°）。
• 额外要求：
  • 手臂归位（如操作后机械臂回到安全位置）；
  • 机器人静止（避免动态误差）；
  • 目标物体状态满足逻辑条件（如“门必须完全打开”“杯子必须水平放置”）。

三、资产设计（Assets）

在具身智能中，“资产”指构建智能体交互环境所需的物理或虚拟实体，包括场景结构与物体对象。其设计直接影响智能体的感知、决策与任务执行逻辑。

非交互场景（Non-interactive scenes）

定义：场景中的元素不主动与智能体交互，或仅提供静态环境约束。

1. 核心特征

• 环境静态性：场景布局、物体位置固定，无动态变化（如墙壁、固定桌椅）；
• 无主动反馈：场景元素不会对智能体的行为做出反应（如智能体碰撞墙壁时，墙壁无物理形变或状态改变）；
• 简化模拟需求：无需实现场景元素的动力学模型，可降低计算复杂度。

2. 应用场景

• 算法原型验证：如强化学习初期测试导航算法时，使用静态迷宫场景；
• 教育与演示：机器人操作教学场景（如固定位置的抓取目标）；
• 非物理模拟：仅需视觉感知的任务（如基于图像的物体分类，无需物理交互）。

3. 设计优势与局限

• 优势：
  • 开发成本低（无需复杂物理引擎）；
  • 计算效率高（适合大规模算法迭代）。
• 局限：
  • 无法模拟真实环境中的动态交互（如避障时行人突然移动）；
  • 智能体学习的策略可能难以迁移到真实场景。

刚性物体（Rigid objects）

定义：形状和体积在受力时不会发生改变的物体，遵循刚体动力学（Rigid Body Dynamics）。

1. 物理特性

• 运动学：仅包含平移（位置变化）和旋转（朝向变化），无形变；
• 动力学：遵循牛顿运动定律（F=ma），受力时加速度与质量成反比；
• 碰撞规则：碰撞时动量守恒，可通过弹性系数计算反弹效果。

2. 常见实例

• 工业场景：金属零件、搬运箱；
• 家庭环境：杯子、书本、桌椅；
• 虚拟模拟：Gazebo中的Box、Sphere等基础几何体。

3. 在具身智能中的应用

• 抓取与操作：刚性物体的稳定抓取是基础任务（如机械臂抓取立方体）；
• 导航避障：智能体需计算与刚性障碍物的碰撞边界；
• 物理模拟：使用MuJoCo等引擎时，刚性物体的计算效率高于可变形物体。

4. 设计关键点

• 质量与惯性参数：影响智能体操作时的力控制（如重物体需更大抓取力）；
• 表面摩擦系数：决定物体在平面上的滑动特性（如光滑桌面与粗糙木板的差异）；

铰接物体（Articulated objects）

定义：由多个刚性部件通过关节（Joint）连接的物体，部件间可相对运动（如人类手臂、开门、自行车）。

1. 结构与动力学特性

• 关节类型：
  • 旋转关节（Revolute Joint）：如门轴、机械臂关节；
  • 棱柱关节（Prismatic Joint）：如抽屉的推拉运动；
  • 球关节（Spherical Joint）：如肩关节的多自由度旋转。
• 动力学复杂性：
  • 各部件的运动相互耦合（如开门时门板旋转带动门把手移动）；
  • 需考虑关节约束（如关节活动范围限制、摩擦力）。

2. 常见实例

• 生物结构：人形机器人、动物模型；
• 日常物品：开合式抽屉、折叠椅、水龙头；
• 工业设备：挖掘机机械臂、汽车悬挂系统。

3. 在具身智能中的挑战与应用

• 任务难点：
  • 操作规划复杂：如开门需同时控制手部位置与旋转角度；
  • 感知要求高：需识别关节状态（如门是否半开）。
• 应用场景：
  • 家庭服务：开关抽屉、倒水（水壶为铰接物体）；
  • 工业自动化：装配线上的多关节机械臂协作；
  • 医疗机器人：微创手术中的灵活器械操作。

4. 设计关键技术

• 运动学建模：使用Denavit-Hartenberg（DH）参数描述关节坐标系变换；
• 物理引擎支持：如Gazebo的“URDF”格式可定义铰接物体结构；
• 控制算法：需处理关节耦合问题（如逆运动学求解末端执行器轨迹）。

三类资产的设计逻辑对比

资产类型	交互性	物理模拟复杂度	典型任务场景	智能体能力要求
非交互场景	无	低	静态导航、图像识别	基础感知、路径规划
刚性物体	被动交互	中	抓取、搬运、避障	力控制、碰撞检测
铰接物体	主动交互	高	开门、装配、复杂操作	多关节协调、动态模型预测

资产设计的核心原则

• 任务匹配：根据目标任务选择资产类型（如简单抓取用刚性物体，复杂操作需铰接物体）；
• 模拟真实性：从非交互场景到铰接物体，模拟难度递增，需平衡开发效率与场景真实性；
• 迁移性考虑：若需将算法部署到真实环境，资产设计应尽可能接近物理现实（如加入关节摩擦、物体重量偏差）。

通过合理设计场景与物体资产，具身智能系统可在虚拟环境中高效训练，并逐步过渡到真实世界应用。

物理模拟与非物理模拟的权衡

1. 非物理模拟（Non-physical Simulation）的适用场景

• 传感器简化：
  • 直接使用“完美”语义/实例掩码（无需视觉算法实时分割）；
  • 假设传感器无噪声（如深度图无误差）。
• 执行器简化：
  • 输入高级命令（如“抓取苹果”），无需模拟机械臂运动学，直接设置物体位置；
  • 忽略物理约束（如不考虑摩擦力、重力影响）。
• 场景资产：
  • 非交互场景（如静态背景，物体不可移动）。

2. 物理模拟（Physical Simulation）的必要性

• 需考虑真实物理规则（如碰撞、摩擦、重力）时，必须使用物理引擎（如Gazebo、MuJoCo）。
• 例：机器人抓取易碎物体时，需模拟力反馈避免捏碎，此时非物理模拟无法实现。

四、设计选择的核心逻辑总结

• 具身设计：硬件形态决定智能体的感知-行动能力边界（如无人机与地面机器人的任务差异）；
• 传感器选型：根据任务精度（如精细操作需触觉传感器）与环境复杂度（如动态场景需光流传感器）；
• 任务定义：目标越抽象（如语言指令），对智能体的理解能力要求越高；
• 模拟选择：非物理模拟适合算法原型验证，物理模拟则用于接近真实场景的测试。

通过上述设计选择，具身智能系统得以在虚拟或现实环境中实现从感知到决策的闭环控制。

AI Habitat 1.0案例研究详解：具身智能导航系统设计

一、AI Habitat 1.0概述

定位：Facebook AI研发的具身智能模拟平台，专注于导航任务研究，分为PointNav、ObjectNav等核心场景。

二、具身设计（Embodiment）：机器人物理与感知系统

1. 机器人本体结构

• 形态：圆柱形简化模型，直径0.2米，高度1.5米。
• 设计逻辑：
  • 圆柱形减少碰撞检测复杂度，适合室内导航；
  • 1.5米高度接近人类视角，便于视觉感知（如桌面物体识别）。

2. 视觉传感器配置

• RGB-D相机：
  • 安装高度1.5米，朝前拍摄，提供彩色图像与深度信息；
  • 用途：环境感知、障碍物检测、目标物体定位。
• 语义实例掩码（可选）：
  • 训练阶段提供物体类别与个体标注（如“沙发”“桌子”），辅助智能体理解场景语义。

3. 本体感受传感器

• 完美GPS与指南针：
  • 实时计算智能体相对于起始位置的相对坐标与朝向；
  • 假设无噪声误差，简化定位算法开发（仅用于模拟环境）。

三、执行器设计（Actuator）：离散动作与非物理模拟

1. 动作空间

• 离散输入：
  • 前进（0.25米/步）、左转（10度）、右转（10度）、停止；
  • 设计逻辑：降低动作空间复杂度，适合强化学习训练。

2. 位姿控制机制

• 无物理模拟：直接设置智能体位姿，不计算动力学（如摩擦力、惯性）；
• 碰撞处理：依赖NavMesh（导航网格）定义可通行区域，若动作导致碰撞则忽略该动作。

四、NavMesh技术：可通行区域建模

1. 定义

• 由二维凸多边形组成的网格，标记环境中智能体可移动的区域（如地面、桌面），排除障碍物（如墙壁、家具）。

2. 作用

• 高效规划路径：避免复杂物理碰撞检测，适合大规模场景快速导航；
• 约束智能体运动：确保动作符合环境几何规则（如无法穿过墙壁）。

五、任务规范（Task Specification）

1. PointNav：几何定位任务

• 目标形式：相对于起始点的2D平面坐标（x, y），不考虑高度（假设地面平坦）。
• 成功标准：
  • 调用“STOP”动作时，智能体与目标位置的距离≤0.36米（2倍机器人半径）；
  • 设计逻辑：0.36米容错范围匹配机器人直径（0.2米），确保实际可到达性。

2. ObjectNav：语义目标搜索

• 目标形式：物体类别（如“冰箱”“椅子”）。
• 成功标准：
  • 调用“STOP”时，智能体距离任意目标物体实例≤1.0米；
  • 且目标物体可被“oracle”（理想视觉系统）检测到（排除遮挡情况）。

3. 评估指标：路径长度加权成功率（SPL）

• 公式：SPL = 成功率 × (最优路径长度 / 实际路径长度)（若实际路径超最优2倍，则SPL=0）。
• 意义：同时衡量任务成功率与路径效率，避免智能体通过绕远路完成任务。

六、资产（Assets）：场景数据集

1. Gibson数据集

• 特点：
  • 包含50个高保真室内外场景，扫描自真实环境；
  • 提供3D网格、纹理与光照信息，支持精确的视觉模拟。

2. Matterport3D数据集

• 特点：
  • 覆盖90个建筑的1200+房间，包含语义标注（墙、地板、家具等）；
  • 支持360度全景图像与3D重建，适合训练视觉导航算法。

七、AI Habitat 1.0设计核心逻辑

维度	设计选择	优势	局限
具身简化	圆柱形机器人+完美定位	降低模拟复杂度，聚焦算法验证	缺乏真实机器人动力学特性
传感器假设	RGB-D+语义掩码（可选）	提供理想感知数据，加速训练	未模拟传感器噪声与故障
物理模拟	NavMesh替代动力学模拟	提升大规模场景计算效率	无法处理复杂物理交互（如爬坡）
任务定义	离散动作+几何/语义目标	简化策略学习难度	与真实机器人连续控制存在差距

八、延伸：从1.0到2.0的演进方向

• 1.0局限：仅支持导航，缺乏操作能力（如抓取物体）；
• 2.0发展：引入移动操作任务（如Home Assistant Benchmark），需增加机械臂控制、力反馈等物理模拟；
• 核心挑战：如何在保持计算效率的同时，融合更复杂的具身交互（如铰接物体操作、多模态传感器融合）。

AI Habitat 1.0通过简化具身与模拟环境，为导航算法提供了高效验证平台，其设计理念体现了具身智能研究中“从简单到复杂”的迭代思路。

AI2THOR案例研究详解：从导航到操作的具身智能平台

一、AI2THOR整体架构概述

定位：由Allen Institute for AI开发的具身智能模拟平台，分为两大模块：

• iTHOR：专注于导航与高级物体交互（如开门、开关灯）；
• ManipulaTHOR：扩展至移动操作（如抓取、放置物体）。

二、具身设计（Embodiment）：机器人硬件与传感器

1. 机器人本体

• 机械臂：基于Kinova Gen3（7自由度），支持精细操作；
• 高度可调：机械臂与头部摄像头可上下移动，适应不同高度任务（如抓取桌面或高处物体）。

2. 视觉感知系统

• 传感器信号：
  • RGB-D相机：提供彩色图像与深度信息，用于环境理解；
  • 实例掩码与3D边界框（训练可选）：标注物体类别与空间范围，辅助语义分割。
• 摄像头安装：
  • 头部-mounted，高度和角度可调，支持灵活视角切换（如俯视桌面或平视柜子）。

3. 其他传感器配置

• iTHOR模块：
  • 基础位置与旋转（类似GPS+指南针）：实时定位智能体在场景中的坐标与朝向；
  • 原始动作二进制反馈：如“开门”“抓取”“切片”等动作的成功/失败状态。
• ManipulaTHOR模块：
  • 末端执行器（或关节）位姿：精确追踪机械臂末端位置与朝向；
  • 抓取二进制反馈：基于抽象抓取模型，判断是否成功抓握物体。

三、执行器设计（Actuator）：离散动作与目标控制

1. 基础移动（Base）

• 离散动作：左转、右转、前进等，与AI Habitat类似，但支持更复杂的环境交互。

2. 机械臂控制（ManipulaTHOR）

• 离散动作：如“MoveArmX”“MoveArmY”“MoveArmHeight”，分步调整机械臂位置；
• 目标末端位姿：直接指定机械臂末端的三维坐标与朝向，实现精准操作。

3. 头部与夹爪控制

• 头部：调节摄像头高度与俯仰角，优化视觉感知范围；
• 夹爪：
  • iTHOR：基于掩码的原始动作（如选中物体区域执行“抓取”）；
  • ManipulaTHOR：基于磁铁的抽象抓取模型（忽略复杂物理接触，简化为“吸附”逻辑）。

四、资产（Assets）：场景与物体设计

1. 场景构建

• 数量与类型：120个艺术家设计的房间级场景，包括厨房、客厅、卧室、浴室；
• 细节特征：高保真纹理、光照模拟，支持复杂环境交互（如打开抽屉、调节水龙头）。

2. 物体系统

• 类型多样性：超100种物体，包括：
  • 刚性物体：刀具、杯子、书本；
  • 铰接物体：冰箱门、抽屉、橱柜（支持开合动作）。
• 状态变化：
  • 物理状态：温度（如烤箱加热）、破损（如杯子碎裂）、清洁度（如桌面变脏）；
  • 功能状态：电器开关（如灯、电视）、门锁状态。

五、任务规范（Task Specification）与成功指标

1. 目标表示形式

• 语义目标：指定物体类别（如“找到咖啡机”——RoboTHOR挑战赛）；
• 语言指令：人类自然语言指令（如“把牛奶放进冰箱”——ALFRED挑战赛），支持单步或分步指导；
• 视觉观察：基于场景图像的重排列任务（如复制目标场景布局——Rearrangement挑战赛）。

2. iTHOR任务成功指标

• 判断逻辑：
  • 物体位姿差异：当前状态与目标位姿的偏差（如杯子是否放在指定位置）；
  • 物体状态检查：如食物是否煮熟、门是否关闭。
• 量化指标：
  • 成功率（Success Rate）；
  • 路径长度加权成功率（SPL），同AI Habitat，兼顾效率与准确性。

3. ManipulaTHOR任务：ArmPointNav

• 目标形式：目标物体的3D空间坐标（几何定位）；
• 成功标准：当前物体位姿与目标位姿的差异是否在阈值内；
• 额外指标：无干扰/碰撞成功率，评估机械臂操作的稳定性（如抓取时未碰倒其他物体）。

六、iTHOR与ManipulaTHOR对比分析

维度	iTHOR	ManipulaTHOR
核心任务	导航、物体交互（非抓取）	移动操作（抓取、放置）
机械臂支持	无	有（Kinova Gen3）
抓取模型	抽象掩码动作	磁铁吸附式抽象抓取
物理模拟深度	轻量级（重点在语义交互）	中等（需考虑机械臂运动学）
典型场景	开门、开关灯、寻找物体	从冰箱取牛奶、放置杯子

七、AI2THOR设计核心逻辑与局限

1. 优势设计

• 抽象与真实的平衡：
  • 使用磁铁抓取模型简化物理模拟，同时保留操作逻辑的真实性；
  • 艺术家设计场景确保视觉真实感，适合训练视觉驱动的智能体。
• 任务多样性：从语义导航到语言指令执行，覆盖具身智能的多维度挑战。

2. 局限性

• 物理模拟简化：磁铁抓取未考虑摩擦力、物体重心等真实物理因素，可能导致算法迁移困难；
• 离散动作限制：机械臂控制采用离散动作，与真实机器人的连续控制存在差异。

八、延伸应用：挑战赛与研究价值

• RoboTHOR挑战赛：聚焦物体搜索与交互，推动语义理解与导航算法发展；
• ALFRED挑战赛：结合自然语言处理与具身智能，验证指令执行的跨模态能力；
• 研究意义：为家庭服务机器人、智能助手等应用提供低成本模拟训练平台，加速算法迭代。

AI2THOR通过分层设计（iTHOR到ManipulaTHOR），实现了从基础导航到复杂操作的能力扩展，其资产设计与任务规范为具身智能研究提供了标准化的测试基准。

ManiSkill与ManiSkill-Softbody案例研究详解：从刚体到软体的物理操作泛化

一、ManiSkill核心定位：物理操作与物体级泛化

目标：构建支持高精度物理交互的具身智能平台，重点解决不同物体类型的泛化操作能力（如开门、推椅子、移动物体）。

二、ManiSkill具身设计（Embodiment）：机器人硬件架构

1. 移动平台

• 自由度（DoF）：3DoF（x-y平面平移 + z轴旋转），支持平面导航与转向；
• 应用场景：室内环境移动，配合机械臂完成跨区域操作（如从厨房到客厅移动物体）。

2. Sciurus躯干

• 自由度：1DoF（高度调节），可上下移动机械臂基座；
• 作用：适应不同高度的操作任务（如抓取桌面物体或高处柜子把手）。

3. Franka Panda机械臂

• 机械臂：7DoF，高灵活性，支持复杂空间轨迹规划（如绕过障碍物抓取）；
• 夹爪：2DoF，可开合抓取物体，适合不同形状物体（如圆柱形杯子、方形盒子）。

三、传感器系统（Sensors）：多模态感知与融合

1. 视觉传感器

• 类型：RGB-D相机 + 语义/实例掩码；
• 布局：3个摄像头安装于机器人顶部，每个视角120°，拼接成360°全景视野；
• 优势：无死角环境感知，适合复杂场景下的物体定位与避障（如多角度识别柜门把手）。

2. 其他传感器

• 关节位置与速度：实时反馈机械臂运动状态，用于控制精度调节；
• 完美GPS与指南针：提供机器人全局定位，辅助路径规划（如从起点到目标点的最优路线）。

3. 融合点云（Fused Point Cloud）

• 技术：将多摄像头的RGB-D数据融合为三维点云，构建环境的精确几何表示；
• 应用：物体三维建模、碰撞检测、操作轨迹规划（如计算开门时机械臂的最佳切入点）。

四、执行器设计（Actuator）：全物理模拟控制

• 控制逻辑：
  • 输入：关节目标速度（如机械臂关节以0.5rad/s转动）；
  • 输出：关节扭矩（通过PD速度控制器计算），实现平滑运动控制；
• 物理模拟：
  • 无抽象简化，包含抓取过程的真实物理交互（如摩擦力、物体重心影响）；
  • 例：抓取玻璃瓶时，模拟夹爪压力与瓶身摩擦，避免滑落或捏碎。

五、任务规范（Task Specification）：刚性物体操作

1. 开柜门/抽屉（OpenCabinetDoor/Drawer）

• 目标定义：通过语义掩码指定目标连杆（如柜门把手）；
• 成功标准：柜门/抽屉关节状态超过开启阈值（如门旋转角度>90°，抽屉拉出长度>15cm）。

2. 推椅子/移水桶（PushChair/MoveBucket）

• 目标定义：目标位置需从RGB-D图像中推断（如红色标记点或白色平台）；
• 成功标准：目标物体中心到达指定位置（误差≤5cm）。

六、资产（Assets）：物体多样性与复杂性

• 物体数量：162个，分为4大类（来自PartNet-Mobility数据集）；
• 变化维度：
  • 拓扑结构：如不同类型的柜门（铰链门vs滑动门）；
  • 几何形状：椅子的不同腿型、水桶的不同把手位置；
  • 外观特征：物体颜色、纹理、材质差异（如木质柜子vs金属抽屉）；
• 设计目标：测试智能体对不同物体的泛化操作能力（如同一开门算法适配多种把手形状）。

七、ManiSkill-Softbody扩展：软体物理操作

定位：在ManiSkill基础上增加软体物体交互，支持刚性+软体混合操作。

1. 具身设计差异

• 末端执行器：特殊工具替换夹爪，包括：
  • 杆（Rod）：用于绘制或推动软体（如在沙子上写字）；
  • 桶（Bucket）：用于舀取或倾倒液体/颗粒；
  • 擀面杖（Rolling Pin）：用于擀平面团等软体。

2. 新任务类型

任务名称	目标定义方式	成功标准
Writer	顶视图RGB-D图像指定目标形状（如画圆）	软体表面形状与目标图像匹配度≥阈值
Pouring	红色标记环指定容器填充水平	液体高度到达标记环位置（误差≤10%）
Excavation	数值指定需舀取的软体质量	舀取质量达到目标值（误差≤5%）
Filling	烧杯放置位置推断目标填充状态	烧杯内软体物质达到预期体积
Rolling pin	面团边界框指定擀平后的尺寸	面团尺寸与目标边界框吻合（误差≤3cm）

3. 资产升级

• 软体表示：通过粒子系统模拟软体变形（如面团被擀平时的延展、沙子被挖掘时的流动）；
• 刚体容器：配合软体操作的刚性物体（如烧杯、水桶、托盘）；
• 特殊机器人模型：适配软体操作的机械结构（如无夹爪的杆状末端）。

八、ManiSkill与ManiSkill-Softbody对比分析

维度	ManiSkill	ManiSkill-Softbody
操作对象	刚性物体（柜子、椅子等）	刚性+软体（面团、沙子、液体）
物理模拟深度	刚体动力学（摩擦、碰撞）	增加软体变形、流体力学模拟
末端执行器	Franka Panda夹爪	杆、桶、擀面杖等专用工具
任务复杂度	位置控制、关节操作	形状控制、体积/质量控制
核心挑战	物体泛化操作	软体非线性变形与动态响应

九、研究价值与应用场景

• 学术意义：
  • 推动具身智能从刚性操作向软体操作跨越，解决真实世界中常见的软体交互（如烹饪、清洁）；
  • 物体级泛化研究为通用机器人奠定基础（如同一算法处理不同形状的面团或沙子）。
• 潜在应用：
  • 家庭服务：烹饪（揉面、倒牛奶）、清洁（拖地、舀水）；
  • 工业场景：柔性材料加工、颗粒物料搬运；
  • 医疗领域：微创手术中的软组织操作（需进一步生物力学模拟）。

ManiSkill系列通过全物理模拟与多样化资产设计，为具身智能提供了从理论到实践的桥梁，其对软体操作的扩展更是贴近真实世界的复杂交互需求。