在 Adventure X 2026 黑客松中完成的桌面整理机器人系统。项目以 Galaxea A1Z 机械臂为执行核心，通过双摄像头、YOLOE、ArUco 桌面定位、几何抓取与 ACT 模仿学习识别并归位常见桌面物品；同时提供可视化控制台、MCP 自然语言控制和蓝牙戒指交互，让桌面从“杂乱摆放”走向“自动归位”。
让机械臂看懂桌面，并把物品放回原位。
这是我在 Adventure X 2026 黑客松（7 月 22–26 日） 与 Damien He 共同完成的桌面整理机器人。系统以 Galaxea A1Z 机械臂为执行端，用第三人称相机定位桌面物品、腕部相机补充近距离观测，并通过几何抓取或 ACT 策略完成归位。
TECHNICAL SYSTEM
把感知、坐标转换、抓取规划和安全控制拆成可验证的本地链路。
CORE 01 · SPATIAL CALIBRATION
不把单个 Tag 的误差放大到桌面边缘。系统先用中心参考 Tag 建立初始尺度，再让四个 Tag 的 16 个角点共同约束最终单应矩阵。
在 4×4、5×5、6×6、7×7 与 Original 中选择检测数最多的一组。
将画面中心附近的参考 Tag 映射为 80 × 80 mm 标准方形。
使用 Kabsch 刚体拟合，把每个 Tag 的观测角点吸附回标准正方形。
汇总 4 × 4 个角点重新求解，让约束覆盖完整工作区。
坐标链路
至少 3 个不共线 Tag 中心完成桌面系与 A1Z 基座系对齐；比例与残差不合格时，几何抓取不会启用。
CORE 02 · GRASP GEOMETRY
YOLOE 分割结果被压缩成中心、主轴和短轴。所有点先投影到真实桌面坐标，再计算物体方向与夹爪开口。
CORE 03 · SEMANTIC GUARDRAIL
云端视觉的粗略像素不会直接驱动机械臂。
CORE 04 · MOTION SAFETY
任一检查失败，在下发运动命令前终止。
CORE 05 · KEEP TIDY
同类物品通过全局最近配对分配到各自归位点；缺失物与未登记物会被单独报告。
SYSTEM TOPOLOGY
双摄像头提供互补视角，FastAPI 统一编排感知、规划与安全状态；MCP 和蓝牙戒指只是不同的任务入口，最终都复用同一条安全执行链。
统一任务状态与硬件访问
VLM 仅用于语义消歧，不输出运动坐标