天眼系统

概述 / Overview

天眼系统（Skyeye）是 MDCS 中的 高位 3D 视觉组件：在装卸车口、密集仓储区等关键位置吊装俯拍 3D 相机，把全局货物 / 堆码 / 车辆状态实时回传给 SimpleComposer，让多 AGV 协同完成单车感知盲区的作业。

Skyeye is MDCS's overhead 3D vision subsystem: ceiling-mounted 3D cameras at critical points (loading docks, dense storage) provide a global view of cargo / stacks / vehicles to SimpleComposer in real time, enabling multi-AGV cooperation where individual AGVs can't see.

系统组件 / Components

部件 / Part	规格 / Spec
高位 3D 相机 / Overhead 3D camera	ToF 或结构光，安装高度 ≥ 4 m / ToF or structured light, ≥ 4 m mount
推理服务 / Inference service	把 3D 点云转格点占用 + 朝向，发布到 SimpleComposer
数据通道 / Channel	HTTP / WebSocket / DObject 共享内存
标定 / Calibration	相机外参对齐到仓库世界坐标系
SimpleComposer SkyeyeStrategy 插件	调度策略：联动天眼系统进行装卸车

典型应用 / Typical use cases

半挂车装车 / 卸车 — 见联动天眼系统进行装卸车
集装箱卸货
密集堆垛区智能堆码 — 见识别料框并堆垛拆垛
高架仓拣选辅助 — 全局看哪一架还有空位
异常监控 — 货物倒塌、人员闯入、设备故障

数据契约 / Data contract

天眼推理服务发布帧级数据： The inference service publishes per-frame data:

{
  "ts": 1715843200,
  "areaId": "DOCK_NORTH",
  "frame": 12345,
  "objects": [
    { "id": 17, "type": "wood_pallet",
      "x": 850, "y": 600, "z": 230, "theta": 0.04,
      "size": {"w": 1100, "l": 1100, "h": 150},
      "conf": 0.91 },
    { "id": 18, "type": "kit_bin",
      "x": 1820, "y": 600, "z": 250, "theta": 0.0, "conf": 0.88 }
  ],
  "grid": {
    "cellSize": 200,
    "cells": [ /* ... */ ]
  }
}

与 AGV 自身感知的协同 / Cooperation with on-AGV sensing

天眼提供全局 + 粗精度（≈ ±50 mm），AGV 自身激光 / 3D 提供局部 + 细精度（≈ ±10 mm）。MDCS 把它们结合：

Skyeye gives global + coarse (≈ ±50 mm); on-AGV sensing gives local + fine (≈ ±10 mm). They combine:

分工 / Division of labour: Skyeye 告诉 AGV "去哪"；AGV 自己 "怎么去 + 精对位"。
冲突仲裁 / Conflict resolution: 二者分歧时，以局部传感为准 + 让 Skyeye 重扫。
时间同步 / Time sync: NTP / PTP，误差 < 100 ms。

标定 / Calibration

天眼相机的外参 = 相机到仓库世界坐标系变换。标定流程： Calibration of the camera-to-world transform:

在相机视场内放 N ≥ 4 个 已知位置的标定靶（地面贴 AprilTag）。
相机扫一帧 → 检测靶位置（相机坐标系）。
用标定靶世界坐标 + 相机坐标做最小二乘 → 外参。
误差 ≤ 20 mm 视为合格。

Place N ≥ 4 known-pose calibration targets in the FOV.
Scan; detect their positions in the camera frame.
Least-squares from world ↔ camera point pairs → extrinsics.
Acceptable error ≤ 20 mm.

详见标定与校准。

部署 / Deployment

推荐每个装卸口 ≥ 1台天眼，重要节点 2 台冗余。
安装位置：避开起吊 / 叉车作业的物理路径。
数据带宽：单 3D 相机 ~30 Mbps，多相机用千兆以太 / 私有 VLAN。
推理服务部署：本地 GPU 工控机（推荐）或边缘 / 云（按延迟需求）。

失败模式 / Failure modes

失败 / Failure	处理 / Recovery
相机断电 / Camera offline	SimpleComposer 标该区域 Skyeye-down，暂停天眼依赖任务
标定漂 / Drift	自动重扫参考靶；偏差 > 50 mm 触发人工复测
视觉遮挡 / Occlusion (overhead crane, banner)	切到激光 SLAM + 局部 AGV 感知
误识别 / False detection	置信度阈值 + 多帧一致性 + 人工标注的负例反馈