Tim Qian-如何在浏览器内构建一个具身智能平台.pdf

1、如何在浏览器内构建个具身智能平台Tim Qian我介绍兴趣:开源、智能、区块链、机器独开发者，vibe Qian开发了 star-,bambot.org,chart.xkcd,puzi.io,openprompt.co 等产品 BamBot 的故事AI 热潮之前，我曾经捣过的机器宇数机器，Aloha，AI 热潮2024 年 5 990002024 年 1$32000从 SO-100 机械臂 到 BamBot2024年102025年3$100 机械臂$300 机器https:/ lerobot2.改代码和档第个买家个麻烦没有相关技术背景很难上让机器为活前主流的两种机器控制平台ROS（Robot

2、Operating System）LeRobot设想安装环境传统式学习编程编写代码配置参数连接机器调试运打开浏览器连接机器开始使有没有可能02户体验设计着陆：户选择想要操控的机器 机器仿真控制 以 APP 的形式持不同的功能遥操作动作录制和回放数据采集模型控制机器https:/ 机器仿真控制-APPs APP toggles03如何构建这个平台31在浏览器 3D 渲染和仿真描述机器的两种件格式-基于 xml-MuJoCo物理引擎的原格式-更强的物理仿真能（接触、摩擦、软体等）(MuJoCo Modeling Language)-基于 xml-ROS（Robot Operating System

3、）态系统的标准格式-主要于机器可视化、运动学和简单动学仿真https:/ Robot Description Format)收集不同机器 3d 模型：机器的两个核概念Joint(关节)Link(连杆/刚体)机器的两个核概念Joint(关节)Link(连杆/刚体)例例URDFMJCF如何在浏览器渲染https:/ MJCF 格式转化成 three.js 格式渲染把 URDF 格式转化成 three.js 格式渲染基于WebGL 的抽象层，可以更简单的式创建 3D 场景、光照、相机、材质、动画等浏览器内置的底层 3D 渲染 API，直接与 GPU 通信，功能强但使复杂WebGLThree.jsMu

4、joco-wasmURDF-loaderBased onBased onBased on32连接各种机器和传感器浏览器的能通过串端与设备通信访问 USB 设备连接舵机驱动板、ESP32、Arduino 等开发板，读取传感器数据游戏柄、操纵杆、键盘、标（特殊功能 3D 空间标）USB 摄像头Web serial APIWeb HID API与 HID（Human Interface Device）设备交互Web USB APIUSB 摄像头，3D 打印机等连接电机/舵机连接控制器连接相机33多种 AI 模型适配RLLLMACT/Diffusion policiesVLAReinforcement

5、 Learning(强化学习)试错+奖励反馈循环:1.机器观察当前状态(如关节度、传感器数据)2.根据策略选择动作(如移动、抓取)3.环境返回新状态和奖励信号(完成任务得正奖励,失败得负奖励)4.机器根据奖励调整策略,重复这个过程例-机器学打球 https:/www.science.org/doi/epdf/10.1126/scirobotics.adu39222025 年 3 -ETH Zurich(苏黎世联邦理学院)训练模型真机部署Reinforcement Learning(强化学习)主要优势 可以主学习，需范 潜超越类：理论上可以找到最优策略主要局限 迁移学习困难ACT/Diffusi

6、on Policies（模仿学习）使场景难以定义奖励函数：任务标难以量化依赖专家范：需要质量的演数据典型应领域动驾驶机器操作：抓取、装配等复杂任务机交互为模仿例-Aloha/Mobile Aloha2024 年 1 Stanford(斯坦福)https:/mobile-aloha.github.io/示例教学部署模型ACT/Diffusion Policies（模仿学习）主要优势学习效率：直接从专家经验学习，避免量试错适合复杂任务：需精确建模奖励函数主要局限依赖数据质量：专家范的质量直接影响学习效果难以超越范：模型