LeRobot documentation
LeRobot
LeRobot
面向真实世界机器人技术的先进机器学习
🤗 LeRobot 提供了一个与硬件无关、原生基于 Python 的接口，用于控制真实机器人——从经济实惠的机械臂（如 SO-ARM101）到完整的人形机器人。此外，它还提供了记录、存储和共享这些机器人所生成数据集的工具。每个数据集都采用标准化的 LeRobotDataset 格式（同步的视频 + 动作/状态数据），并可以直接从 Hugging Face Hub 进行流式传输。
🤗 在此数据之上，LeRobot 实现了最先进的策略——从 ACT 等轻量级模仿学习模型，到 π₀ 和 SmolVLA 等大型视觉-语言-动作模型——所有这些模型都可以通过同一组 CLI 命令进行训练、共享和部署。
目标：降低机器人领域的入门门槛，让所有人都能为共享数据集和预训练模型做出贡献，并从中受益。
工作原理
远程操作 → 录制 → 训练 → 部署
- 远程操作 - 由您亲自控制机器人（通过主臂、键盘或手机），使其能够从您的动作中学习。
- 记录 - 每个演示都会保存为一个数据集：同步的摄像头视频以及您执行的操作。
- 训练 - 策略（用于控制机器人的神经网络）学习模仿您的演示。
- 部署 - 在机器人上运行训练好的策略，并观察其自主完成任务。
快速入门
初次使用？在安装任何内容之前，先看看 LeRobot 数据集长什么样：
在 LeRobot Dataset Visualizer 中打开 lerobot/svla_so101_pickplace，即可逐帧查看其摄像头录像以及机器人的状态和动作，无需安装任何依赖。它适用于 Hub 上的任何 LeRobot 数据集，包括您自己的数据集。请参阅 如何使用。
准备好亲自尝试了吗？安装 LeRobot，然后选择你的路径：
LeRobot 支持多种机械臂和移动机器人。热门选择：
组装并校准完成后，记录一个数据集，并使用模仿学习教程训练您的第一个策略 - 或者完全跳过 CLI，使用LeLab，这是一个用于相同工作流的浏览器 GUI。
您仍然可以在没有机器人的情况下训练和评估策略：
- 在 Dataset Visualizer 中探索任何数据集
- 在 Hub 上现有的 LeRobot 数据集 上进行训练
- 在模拟环境中进行评估，并与 LIBERO 或 Meta-World 等基准进行对比
- 试用免费的 Colab notebooks - 无需安装任何内容
探索文档
所有 LeRobot CLI 命令，可直接复制粘贴使用。
哪种策略适合您的 GPU，以及训练需要多长时间。
从 Hub 加载、流式传输和可视化机器人数据集。
用于校准、录制和训练的浏览器 GUI - 无需使用 CLI。
从我们推荐的初始策略 ACT 开始 - 或在侧边栏中浏览 SmolVLA、π₀ 等更多策略。
在接触真实硬件之前，先在 LIBERO 等模拟基准上进行训练和评估。
常见问题
遇到问题？以下是几个最常见的问题：
- 模糊或无法使用的摄像头画面 - 光照比分辨率更重要。请参阅 摄像头放置与光照。
- 构建或安装错误（
cmake、ffmpeg、CUDA）- 请参阅安装指南中的故障排除部分。 - 不确定哪种策略适合您的 GPU - 请查看 Compute & Hardware Guide。
- 仍然卡住了？ 在 Discord 上提问——社区（以及 LeRobot 团队）会提供帮助。