在仿真中进行 VR 遥操
连接真实机器人之前,先用 Pico 控制仿真 G1。不要跳过这一步:头显、网络和身体追踪 问题都可以在这里解决,不会给硬件带来风险。
支持的头显
- Pico 4
- Pico 4 Ultra
- Pico 4 Ultra Enterprise
- Pico 4 Pro
所有设备都需要开启全身追踪,并使用支持当前身体追踪接口的 Pico 系统版本。
开始之前
你需要:
- 头显和运行 Teleopit 的电脑处于同一网络;
- 已安装
pico4依赖并下载robots gmr ckpt bvh资源; - 在仿真中运行运控已经正常。
1. 准备头显
-
从 pico-bridge Releases 下载头显 APK。
-
安装 APK:
adb install pico-bridge.apk -
在头显中打开 pico-bridge。
-
开启全身追踪。
Teleopit 使用 pico-bridge 0.2.1。接收程序会直 接运行在 Teleopit 进程中,不需要再 启动一个单独的转发程序。
2. 检查电脑是否收到 Pico 数据
下面的诊断只打印身体帧和连接状态,不会启动机器人运控:
python scripts/dev/test_pico_bridge.py --no-video
轻微移动身体,确认终端持续收到新的有效帧。按 Ctrl+C 结束诊断。
如果自动发现选择了错误的网卡地址,显式指定头显能够访问的地址:
python scripts/dev/test_pico_bridge.py \
--no-video \
--bridge-advertise-ip=192.168.1.20
3. 启动仿真
python scripts/run/run_sim.py \
--config-name pico4_sim \
controller.policy_path=ckpt/track_g1.onnx
机器人会有意从 STANDING 开始;只有操作者主动切换后,实时身体追踪才会接管。
4. 按状态机操作
图中的键盘表示运行 Teleopit 的电脑键盘,Pico 手柄表示 VR 手柄。仿真过程 不使用 Unitree G1 遥控器。
以舒适的中立姿态站好,等待追踪稳定,再按键盘 Y 进入 MOCAP。先从小幅慢动作
开始。按键盘 X 结束 VR 会话并返回 STANDING;在任意状态按键盘 Q
退出仿真。
MOCAP 控制全身。ARMS 会让身体、腰和腿保持站立,只有双臂继续跟随。
PAUSED 保持当前参考姿态,恢复后返回之前的 MOCAP 或 ARMS。
每次重新从 STANDING 进入 MOCAP 时,系统都会重新对齐实时根部姿态。操作者可以
在站立状态改变朝向,再重新进入 MOCAP。
暂停不等于结束 VR 控制
键盘或 Pico 手柄 A 只会冻结并恢复当前动捕姿态。需要结束会话并回到站立时,
请按键盘 X。