EarthRover Mini Plus

EarthRover Mini Plus là một robot di động mã nguồn mở hoàn toàn, kết nối qua đám mây bằng cách sử dụng Frodobots SDK. Điều này cho phép bạn điều khiển robot và thu thập bộ dữ liệu để huấn luyện các mô hình AI.

Những gì bạn cần

Phần cứng

• Robot EarthRover Mini
• Máy tính có Python 3.12 hoặc mới hơn
• Kết nối Internet

Cài đặt SDK Frodobots

Robot cần Frodobots SDK đang chạy trên máy tính của bạn. Dưới đây là cách thực hiện:

1. Tải xuống và cài đặt SDK:

git clone https://github.com/frodobots-org/earth-rovers-sdk.git
cd earth-rovers-sdk
pip install -r requirements.txt

2. Lưu thông tin xác thực:

Viết các biến .env của bạn với khóa API của SDK và tên bot do đội Frodobots cung cấp.

SDK_API_TOKEN=your_sdk_api_token_here
BOT_SLUG=your_bot_slug_here
CHROME_EXECUTABLE_PATH=/path/to/chrome_or_chromium
# Default value is MAP_ZOOM_LEVEL=18 https://wiki.openstreetmap.org/wiki/Zoom_levels
MAP_ZOOM_LEVEL=18
MISSION_SLUG=your_mission_slug_here
# Image quality between 0.1 and 1.0 (default: 0.8)
# Recommended: 0.8 for better performance
IMAGE_QUALITY=0.8
# Image format: jpeg, png or webp (default: png)
# Recommended: jpeg for better performance and lower bandwidth usage
IMAGE_FORMAT=jpeg

3. Bắt đầu SDK:

hypercorn main:app --reload

4. Mở trình duyệt web và truy cập http://localhost:8000, sau đó nhấp vào “Join”

SDK cung cấp cho bạn:

• Video trực tiếp từ camera trước và sau

SDK phải đang chạy trước khi bạn có thể sử dụng robot.

Cài đặt LeRobot

Theo dõi Hướng dẫn cài đặt của chúng tôi để cài đặt LeRobot.

Ngoài cài đặt cơ bản, hãy cài đặt EarthRover Mini với các phụ thuộc phần cứng:

pip install -e ".[hardware]"

Cách hoạt động

Robot sử dụng internet để giao tiếp:

• Lệnh di chuyển: Được gửi qua SDK
• Camera video: Nhận từ SDK
• Thông tin robot: Pin, vị trí, tốc độ từ SDK

Bạn không cần phải cắm bất kỳ thiết bị nào - mọi thứ đều hoạt động thông qua SDK.

Hiệu chuẩn

Không cần hiệu chuẩn! Robot sẵn sàng sử dụng ngay khi SDK đang chạy.

Điều khiển Robot

Bạn điều khiển robot bằng bàn phím - giống như chơi trò chơi điện tử với các phím WASD.

Điều khiển bằng bàn phím

Cài đặt tốc độ

Bạn có thể điều chỉnh tốc độ di chuyển của robot:

• Tốc độ tiến/lùi: Mặc định là tốc độ đầy đủ (1.0)
• Tốc độ quay: Mặc định là tốc độ đầy đủ (1.0)
• Thay đổi tốc độ: Sử dụng phím +/- để điều chỉnh 0,1 mỗi lần

Thử Ngay

Thử vận hành robot trước khi thu thập dữ liệu:

from lerobot.robots.earthrover_mini_plus import EarthRoverMiniPlus, EarthRoverMiniPlusConfig
from lerobot.teleoperators.keyboard import KeyboardRoverTeleop, KeyboardRoverTeleopConfig

# Initialize robot
robot_config = EarthRoverMiniPlusConfig()
robot = EarthRoverMiniPlus(robot_config)

# Initialize teleoperator
teleop_config = KeyboardRoverTeleopConfig(
    linear_speed=1.0,
    angular_speed=1.0,
    speed_increment=0.1
)
teleop = KeyboardRoverTeleop(teleop_config)

# Connect
robot.connect()
teleop.connect()

# Teleoperate (use keyboard controls)
try:
    while True:
        action = teleop.get_action()
        robot.send_action(action)
except KeyboardInterrupt:
    pass
finally:
    robot.disconnect()
    teleop.disconnect()

Nếu bạn đang sử dụng Mac, bạn có thể cần cấp quyền cho Terminal để truy cập bàn phím của bạn cho teleoperation. Vào System Preferences > Security & Privacy > Input Monitoring và đánh dấu vào ô cho Terminal.

Ghi Dữ Liệu

Khi bạn đã có thể điều khiển robot tốt, bạn có thể bắt đầu ghi lại dữ liệu để huấn luyện các mô hình AI. Hệ thống sẽ ghi lại:

• Những gì bạn làm: Cách bạn điều khiển robot (đi tới, lùi lại, quay)
• What the robot sees:
  • Video từ cả hai camera
  • Tốc độ và hướng của robot
  • Mức pin và vị trí
  • Vị trí và tín hiệu GPS
  • Dữ liệu cảm biến khác
• Khi nào xảy ra: Dấu thời gian cho mọi thứ

Cài đặt Hugging Face

Chúng tôi sử dụng Hugging Face để lưu trữ dữ liệu của bạn trực tuyến. Trước tiên, hãy đăng nhập bằng token của bạn từ cài đặt Hugging Face:

hf auth login --token ${HUGGINGFACE_TOKEN} --add-to-git-credential

Lưu tên người dùng Hugging Face của bạn:

HF_USER=$(hf auth whoami | awk -F': *' 'NR==1 {print $2}')
echo $HF_USER

Bắt đầu ghi âm

Sử dụng lệnh ghi âm tiêu chuẩn:

lerobot-record \
    --robot.type=earthrover_mini_plus \
    --teleop.type=keyboard_rover \
    --dataset.repo_id=your_username/dataset_name \
    --dataset.num_episodes=2 \
    --dataset.fps=10 \
    --dataset.single_task="Navigate around obstacles" \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2 \
    --display_data=true
# Optional: --dataset.rgb_encoder.vcodec=auto

Thay your_username/dataset_name bằng tên người dùng Hugging Face và tên cho bộ dữ liệu của bạn.

Những gì được lưu

Bộ dữ liệu của bạn bao gồm:

Hành động của bạn (2 tính năng):

• linear_velocity: Khoảng cách bạn di chuyển về phía trước/sau
• angular_velocity: Mức độ bạn đã quay sang trái/phải

Quan sát Robot (24 đặc trưng):

• Video từ camera trước
• Video từ camera sau
• Tốc độ hiện tại
• Mức pin
• Tổng quan
• GPS (vĩ độ, kinh độ, cường độ tín hiệu)
• Độ mạnh tín hiệu mạng
• Mức độ rung
• Trạng thái đèn (bật/tắt)
• Gia tốc kế (x, y, z)
• Gyroscope (x, y, z)
• Cảm biến từ kế (x, y, z)
• Tốc độ vòng quay của bánh xe (4 bánh)

Dữ liệu của bạn được gửi đến đâu

Trên máy tính của bạn: ~/.cache/huggingface/lerobot/{repo-id}

Sau khi ghi âm, dữ liệu của bạn sẽ tự động được tải lên trang Hugging Face của bạn:

echo https://huggingface.co/datasets/${HF_USER}/earthrover-navigation

Bộ dữ liệu của bạn sẽ được gắn thẻ LeRobot để cộng đồng dễ dàng tìm thấy.