arm_dev
2b77ec127d
痛点：TensorRT 10.13 的 Python API 没有元数据读写，engine 一转就把类名丢了；
推理侧只能退化成 str(cid)（"0"、"1"），界面上看不出是什么类，属于静默失效。
同时旧的 export_yolo_trt.sh 只能手工搬文件、手工改 site.yaml、标签无处安放。
标签子系统（model_labels.py）
- 旁挂标签文件 <模型名>.labels.yaml，放在权重旁边，文本、可手改、进 git
（二进制权重不进 git，标签是配置所以进）
- 读取优先级：旁挂文件 > ONNX 元数据 > 模型元数据 > 占位符 class_N
占位符是故意的：缺标签时要一眼看出来，而不是悄悄退回 cid
- 解析器容忍多种写法：dict / list / 逗号串 / 逐行文本 / Python repr 串
布局与转换（weights_layout.py + weights.py + weights.sh）
- models/<分组>/<模型名>.{pt,onnx,engine} + 同名 .labels.yaml
- convert：PT→ONNX→TensorRT，支持自定义名字、自动归位、固化标签
- staging/：非标准格式先进这里，转换后源文件归档到 staging/done/
- list / labels / doctor / show 四个子命令
- doctor --check-engines 能查出 engine 与 TensorRT 版本不匹配（反序列化返回空）
推理侧接入
- yolo_detector / onnx_workpiece / hole_detect_hough 统一走 read_labels()
- 画框标签不再硬编码 "gongjian"，改用实际类名
顺手修掉的真实问题
- setup.py 撞上断掉的符号链接会让整包构建失败，报错还指向 build/ 里的幽灵文件
（源文件被挪走后 build/ 里留下的断链被 os.walk 列出来）。加 _existing() 过滤。
- P3 遗漏：site.yaml / export_site_env.py / run_handeye.sh / handeye_teach.py /
handeye_calibrate.py 里的 handeye 工作目录仍是 /tmp/handeye_calib*，
与已迁到 handeye/ 的其余路径不一致。统一到 handeye/tmp/<臂号>。
- site.yaml 的 hole_weights / hole_detect.weights 原指向不存在的 best.pt，
改为实际存在的 detect_best_1.onnx；active.pt 符号链接已废弃并清理。
- weights.sh labels 原先不接受 "分组/模型名" 写法，而 list 输出正是这个形式，
照着敲会报"找不到模型"。补上，并让报错直接给出可复制的全名。
测试：225 项通过（新增 test_model_labels.py / test_weights_layout.py）。
真实 ONNX→engine 端到端转换已验过。
Co-authored-by: Cursor <cursoragent@cursor.com>
Flexiv Rizon 视觉伺服（~/ros2）
独立工作空间：腕部 D405 眼在手上、手眼标定、YOLO 找工件、法兰悬停跟踪、DH 夹爪、入孔检测。
一份仓库即可跑完整跟踪与检测，不依赖 camera_test 或装配 HMI。
工作目录必须是 ASCII 路径（推荐克隆到 ~/ros2）。
| 项 | 值 |
|---|---|
| 配置 | config/site.yaml（从 example 复制，不进 git） |
| 操作 | scripts/ |
| 目录说明 | docs/WORKSPACE.md（每个文件夹做什么） |
| Conda | ros_flexiv |
| ROS | Humble |
克隆后
cd ~/ros2
cp config/site.example.yaml config/site.yaml
# 编辑 site.yaml：robot.sn / robots[].ip / camera.serial / paths.yolo_weights
# 权重文件放到 models/yolo/（二进制不在 git 里）
conda activate ros_flexiv
source scripts/env.sh
./scripts/build_all.sh
source scripts/env.sh
示教器：AUTO + Remote Ethernet，关掉 Flexiv Studio（RDK 独占）。
# 三个终端必须带同一个 --arm（89=左 91=右）
bash ~/ros2/scripts/run_real.sh --arm 89
bash ~/ros2/scripts/run_camera_d405.sh --arm 89 --preview
bash ~/ros2/scripts/run_visual_servo_rt.sh --arm 89 --control
改 site.yaml：锁高 / YOLO / 伺服 → 重启第三终端；分辨率 / 曝光 → 重启相机。
功能入口
| 功能 | 命令 |
|---|---|
| 实机 | scripts/run_real.sh --arm 89|91 |
| 腕部相机 | scripts/run_camera_d405.sh --arm … --preview |
| 顶视 D435 | scripts/run_camera_d435.sh --preview |
| 列出相机 | scripts/list_realsense.sh |
| 跟踪 | scripts/run_visual_servo_rt.sh --arm … [--control] |
| 回 home | scripts/go_home.sh --arm … |
| 手眼 | scripts/run_handeye.sh --arm … teach → merge → calibrate |
| PGEA / RGI 夹爪 | scripts/run_gripper.sh --arm 89|91 --cli … |
| 双爪 ROS | scripts/run_dual_gripper.sh |
| 入孔检测 | scripts/run_hole_detect.sh --arm … --preview |
| Orisys 触觉 | scripts/run_tactile.sh [--cli] |
| 看配置 | scripts/show_site_config.sh |
89 与 91 各有 手眼、相机序列号、锁高、named poses，禁止混用。
文档
| 文档 | 内容 |
|---|---|
| docs/WORKSPACE.md | 每个目录 / 脚本 / 包 |
| docs/QUICKSTART.md | 环境与第一次跑通 |
| docs/ARCHITECTURE.md | 进程与几何 |
| docs/SITE_CONFIG.md | site.yaml 字段 |
| docs/HANDEYE.md | 手眼标定 |
| docs/TRACKING.md | 视觉伺服 |
| docs/GRIPPER.md | PGEA + RGI |
| docs/HOLE_DETECT.md | 入孔检测 |
| docs/TACTILE.md | Orisys 视触觉 |
| docs/INTERFACES.md | ROS / 脚本接口 |
| docs/TRAJECTORIES.md | 轨迹回放 |
上传 git 时
- 要提交：
src/scripts/docs/config/site.example.yamlmodels/yolo/README.mdmodels/hole_insert/README.md - 不要提交：
config/site.yaml（含本机 IP/序列号）、build/install/log/、YOLO.pt/.onnx/.engine、thirdparty/vendor/ - 规则已写在
.gitignore
别人克隆后必须自己 cp site.example.yaml site.yaml 并重新手眼标定（不要直接用仓库里某台现场的 T_4x4 当真值）。