ros_contorl

orisys/ros_contorl

Fork 0

Commit Graph

Author	SHA1	Message	Date
arm_dev	b29339e522	仿真感知：真值孔位 + 真值相机 + 补 /home，让流程不改代码就能跑仿真三块补齐，目标是"同一个流程节点，仿真/真机都不改代码"： 1. 真值孔位（truth_holes.py）：把 scene.yaml 与模型 SDF 里已知的孔几何直接投影到相机像素坐标，替代 HoughCircles。perception.source 选： yolo / truth / external —— truth 就走这条路。为什么不用 Hough：仿真里孔是"方孔 + 贴片亮环"的近似（SDF 没有布尔运算），靠图像门槛去凑 radus 区间很脆；而孔位本来就是场景里已知量，直接投影既准又稳，还能当真实检测算法的对照基线。 2. 真值相机（sim_truth_perception.py）：同理，直接算物体位姿，供 visual_servo/filtered_point 用，绕开 ONNX。 3. 补 /home 与 set_named_pose 服务（sim_home_service.py）：真机上这两个由 Flexiv 驱动提供，仿真里没有 —— 缺了 S01 直接超时。 4. sim_tactile_adapter 容错导入 ros_gz_interfaces：那一路只是"接触点"，力本身走 geometry_msgs/Wrench。typesupport 加载不了时退化成 contact 恒 False + centroid 恒 0，三力判据（S07 用的）不受影响 —— 宁可用退化模式跑，也不要整个适配器起不来。 5. repo_root 解析（已装包要能找回源码仓库根，见 test_repo_root.py 的用例）与 use_sim_time 向子 launch 的传递。另：scripts/gen_sim_handeye.py 把 URDF 真值导出手眼文件（仿真不标定）。 Co-authored-by: Cursor <cursoragent@cursor.com>	2026-09-24 14:43:13 +08:00
arm_dev	47ad9d9a8b	P5c-4 相机出图联调：桥接 d405/d435 到 ROS，并修掉两处静默的几何错误相机链路（devices/sim/gazebo/config/cameras.yaml 是唯一真相） - sim_cameras.py 纯逻辑：话题映射 / 深度换算 / 内参 / 视场一致性比对 - sim_camera_adapter.py 改光学系 frame_id、32FC1 米 → 16UC1 毫米、覆盖内参 - gazebo_sim.launch.py 桥接 + 适配器 + 世界相机的静态 TF（位姿从 world 解析）本轮修掉两个静默的几何错误（都能出图、都能查到 TF，但点位是错的） 1. gz 发的 camera_info 是错的：恒为 fx=fy=277, cx=160, cy=120 （等于它的默认 60° 视场 + 半分辨率主点），而渲染用的是配置的 87° 视场。照抄它做三维反投影，点会偏半米量级；单目预览完全正常。用已知地面平面做最小二乘反解，得 fy=337.2 / cy=239.5，与 640/(2·tan(87°/2))=337.2、480/2=240 吻合（残差中位 0.2mm）。改为由 sim_cameras.intrinsics() 按 cameras.yaml 的视场重算并覆盖。代价：cameras.yaml 的 horizontal_fov 必须与 SDF 一致，启动时自动比对告警。 2. assembly.world 里 D435 的 rpy 写成 (0, 50°, 180°)，而 URDF 相机的视线是本体 X 轴、rpy 复合顺序又是 Rz·Ry·Rx，于是"先俯 50° 再偏航 180°"把视线翻到了背面：相机背对台面、只看地面。它不报错，而且几何自洽（点确实落在真实地面上），只查数值发现不了。改为 (0, 50°, 0)，并加回归测试锁住。新增验收工具 + 测试 - scripts/check_sim_cameras.py 反投影深度、要求命中地面/台面才算通过。 "有图像"不是验收标准；实测 d435 台面 11.9%/地面 75.3%、d405 台面 37.8%。 - 97 项单测（新增 sim_cameras 22 项、sim_site 16 项）顺带修掉一处"改了配置静默无效" - sim.world 此前硬编码在 robot_description._WORLD_REL，而 site.yaml 与 manifest.yaml 都宣称改它就生效。现在真的读了：优先级 --world > site.yaml:sim.world > 内置默认（相对路径按仓库根解析）。 - physics_enable / joint_prefix 仍未接线，但若其值与实际状态冲突，启动时会告警（sim_site.unwired_warnings），不再静默忽略。文档 - devices/sim/gazebo/README.md 重写：原文还写着"仿真不是 Gazebo"、相机插件用 libgazebo_ros_camera.so，与实现早已不符。现分三部分：哪个"仿真"是真的 / 现状与缺什么 / 五条静默失效的坑及怎么验。 Co-authored-by: Cursor <cursoragent@cursor.com>	2026-09-23 15:19:16 +08:00

Author

SHA1

Message

Date

arm_dev

b29339e522

仿真感知：真值孔位 + 真值相机 + 补 /home，让流程不改代码就能跑仿真

三块补齐，目标是"同一个流程节点，仿真/真机都不改代码"：

1. 真值孔位（truth_holes.py）：把 scene.yaml 与模型 SDF 里已知的孔几何
   直接投影到相机像素坐标，替代 HoughCircles。perception.source 选：
     yolo / truth / external —— truth 就走这条路。
   为什么不用 Hough：仿真里孔是"方孔 + 贴片亮环"的近似（SDF 没有布尔运算），
   靠图像门槛去凑 radus 区间很脆；而孔位本来就是场景里已知量，直接投影
   既准又稳，还能当真实检测算法的对照基线。

2. 真值相机（sim_truth_perception.py）：同理，直接算物体位姿，供
   visual_servo/filtered_point 用，绕开 ONNX。

3. 补 /home 与 set_named_pose 服务（sim_home_service.py）：真机上这两个
   由 Flexiv 驱动提供，仿真里没有 —— 缺了 S01 直接超时。

4. sim_tactile_adapter 容错导入 ros_gz_interfaces：那一路只是"接触点"，
   力本身走 geometry_msgs/Wrench。typesupport 加载不了时退化成
   contact 恒 False + centroid 恒 0，三力判据（S07 用的）不受影响 ——
   宁可用退化模式跑，也不要整个适配器起不来。

5. repo_root 解析（已装包要能找回源码仓库根，见 test_repo_root.py 的用例）
   与 use_sim_time 向子 launch 的传递。

另：scripts/gen_sim_handeye.py 把 URDF 真值导出手眼文件（仿真不标定）。

Co-authored-by: Cursor <cursoragent@cursor.com>

2026-09-24 14:43:13 +08:00

arm_dev

47ad9d9a8b

P5c-4 相机出图联调：桥接 d405/d435 到 ROS，并修掉两处静默的几何错误

相机链路（devices/sim/gazebo/config/cameras.yaml 是唯一真相）
  - sim_cameras.py        纯逻辑：话题映射 / 深度换算 / 内参 / 视场一致性比对
  - sim_camera_adapter.py 改光学系 frame_id、32FC1 米 → 16UC1 毫米、覆盖内参
  - gazebo_sim.launch.py  桥接 + 适配器 + 世界相机的静态 TF（位姿从 world 解析）

本轮修掉两个**静默**的几何错误（都能出图、都能查到 TF，但点位是错的）

  1. gz 发的 camera_info 是错的：恒为 fx=fy=277, cx=160, cy=120
     （等于它的默认 60° 视场 + 半分辨率主点），而渲染用的是配置的 87° 视场。
     照抄它做三维反投影，点会偏半米量级；单目预览完全正常。
     用已知地面平面做最小二乘反解，得 fy=337.2 / cy=239.5，与
     640/(2·tan(87°/2))=337.2、480/2=240 吻合（残差中位 0.2mm）。
     改为由 sim_cameras.intrinsics() 按 cameras.yaml 的视场重算并覆盖。
     代价：cameras.yaml 的 horizontal_fov 必须与 SDF 一致，启动时自动比对告警。

  2. assembly.world 里 D435 的 rpy 写成 (0, 50°, 180°)，
     而 URDF 相机的视线是**本体 X 轴**、rpy 复合顺序又是 Rz·Ry·Rx，
     于是"先俯 50° 再偏航 180°"把视线翻到了背面：相机背对台面、只看地面。
     它不报错，而且几何自洽（点确实落在真实地面上），只查数值发现不了。
     改为 (0, 50°, 0)，并加回归测试锁住。

新增验收工具 + 测试
  - scripts/check_sim_cameras.py  反投影深度、要求命中地面/台面才算通过。
    "有图像"不是验收标准；实测 d435 台面 11.9%/地面 75.3%、d405 台面 37.8%。
  - 97 项单测（新增 sim_cameras 22 项、sim_site 16 项）

顺带修掉一处"改了配置静默无效"
  - sim.world 此前硬编码在 robot_description._WORLD_REL，而 site.yaml 与
    manifest.yaml 都宣称改它就生效。现在真的读了：
    优先级 --world > site.yaml:sim.world > 内置默认（相对路径按仓库根解析）。
  - physics_enable / joint_prefix 仍未接线，但若其值与实际状态冲突，
    启动时会告警（sim_site.unwired_warnings），不再静默忽略。

文档
  - devices/sim/gazebo/README.md 重写：原文还写着"仿真不是 Gazebo"、
    相机插件用 libgazebo_ros_camera.so，与实现早已不符。现分三部分：
    哪个"仿真"是真的 / 现状与缺什么 / 五条静默失效的坑及怎么验。

Co-authored-by: Cursor <cursoragent@cursor.com>

2026-09-23 15:19:16 +08:00

2 Commits