用户手册 · User Manual
Orisys 夹爪
图形化监控与智能夹持控制软件
| 文档编号 | GD02-UM-001 |
|---|---|
| 文档版本 | V1.0 |
| 发布日期 | 2026-07-21 |
| 适用软件 | Orisys 夹爪 GUI(Release 20260717 及同系列版本) |
| 适用平台 | Windows x64 / Linux x86_64 |
| 文档密级 | 随产品交付资料 |
版本履历
| 版本 | 日期 | 修订人 | 修订说明 |
|---|---|---|---|
| V1.0 | 2026-07-21 | — | 首版发布。含完整界面说明、操作流程、参数设置、故障排除及现场检查表。 |
| 读者角色 | 建议阅读章节 |
|---|---|
| 现场演示人员 | 第 2、5、6、8 章及附录 A |
| 设备调试人员 | 第 4、7、9、10、11、12 章 |
| 参数维护人员 | 第 10、11、12 章及附录 B |
| 技术支持人员 | 全文及《GUI 详细技术说明》 |
本手册描述软件操作与配置方法,不替代夹爪、传感器硬件厂商提供的机械安装与安全规范。硬件安装、电气接线须按对应硬件说明书执行。
引言
1.1 编写目的
本手册用于指导用户正确安装、配置、操作和维护 Orisys 夹爪软件(以下简称「本软件」)。用户应在使用本软件前通读第 2 章安全须知,并按本手册规定步骤进行操作。
1.2 产品简介
Orisys 夹爪是一套集成视觉触觉感知、智能夹持控制与图形化监控的演示系统。系统通过左右两个视觉触觉传感器采集法向力与切向力信息,经 Modbus RTU 串口驱动夹爪执行动作,并在 PyQt5 图形界面中同步显示 3D 模型、光流画面、力曲线及运行状态。
本软件主要实现以下功能:
- 单侧触觉触发后自动闭合、接触检测、分步加力、自适应夹持及取物释放;
- 实时显示夹爪三维姿态、左右传感器光流/幅值图像及六路力值曲线;
- 提供智能模式与手动模式,支持速度、力度、位置等参数调节;
- 支持运行参数在线编辑、工作区布局保存及运行日志记录。
1.3 术语与缩略语
| 术语 | 含义 |
|---|---|
| 法向力 | 垂直于触觉敏感表面的力分量,单位 N |
| 切向力 | 沿触觉敏感表面平面内的合力,单位 N |
| 光流 | 基于图像序列估计的表面位移矢量场,用于可视化触觉形变 |
| 智能模式 | 由状态机根据触觉信号自动控制夹爪,用户不可干预运动参数 |
| 手动模式 | 用户通过界面直接下发张开、闭合、保持及位置命令 |
| state | 控制状态机当前所处状态(如等待触发、闭合中、夹持检测等) |
| action | 当前控制周期内正在执行的具体动作描述 |
| dry-run | 跳过真实串口动作、仅记录控制逻辑的调试模式 |
1.4 引用文件
| 文档名称 | 说明 |
|---|---|
config/gripper.json | 主运行配置文件 |
config/ddjx01_q6a.json | 触觉传感器及光流算法配置 |
docs/GUI_USER_MANUAL.zh-CN.md | GUI 详细技术说明(完整参数表及深度故障排查) |
README.md | 开发与打包说明 |
安全须知
夹爪为运动部件,调试及演示过程中可能造成挤压伤害。操作前必须确认开合范围内无人员肢体及无关物体。首次运行须使用较低速度与力度。
本软件顶部「停止」按钮仅停止软件控制流程,不是独立的硬件急停装置。发生异常时应立即切断夹爪电源或执行硬件急停(如设备具备)。
2.1 一般安全要求
- 仅经培训人员方可操作本系统;
- 运行前检查夹爪安装牢固、电源及通信线缆连接可靠;
- 传感器标定及系统重启标定阶段,须保持两侧触觉传感器空载且静止;
- 修改力度、速度及触发阈值前,应备份
config/gripper.json; - 程序异常退出后,以夹爪实际物理状态为准,必要时手动断电复位。
2.2 电气与设备安全
- 串口通信期间不得热插拔通信线缆(除非硬件支持);
- USB 摄像头及串口设备应连接至稳定供电的 USB 端口,避免共用易过载的 USB Hub;
- Linux 环境下运行用户须具备
video、dialout设备组权限。
产品说明
3.1 系统组成
本系统由感知层、软件处理层及执行与呈现层构成。左、右触觉传感器采集视频帧并计算触觉力;智能夹持状态机根据力信号经 Modbus RTU 串口驱动夹爪;GUI 同步显示 3D 姿态、光流图像、力曲线及运行状态。
3.2 配置清单
| 序号 | 名称 | 数量 | 备注 |
|---|---|---|---|
| 1 | 智能夹爪及驱动控制器 | 1 套 | Modbus RTU,USB 转串口连接 |
| 2 | 视觉触觉传感器组件 | 2 套 | 左、右各一,含独立 USB 摄像头 |
| 3 | 通信及电源线缆 | 若干 | 按现场安装要求配置 |
| 4 | 运行计算机 | 1 台 | 算力版 |
3.3 软件目录结构
发布包解压后须保持完整目录结构。禁止仅复制可执行文件至其他路径单独运行。
GripperDemo02/ ├── GripperDemo02.exe # 主程序(Linux 无 .exe 后缀) ├── _internal/ # 运行时依赖库(禁止删除) ├── config/ │ ├── gripper.json # 主配置文件 │ ├── ddjx01_q6a.json # 传感器配置文件 │ ├── compound_eye.png # 传感器资源 │ └── gui_layout.json # 界面布局(保存后生成) ├── sdk/ # 夹爪通信 SDK ├── crt_ctag2f90d_gripper_visualization/ # 3D 模型资源 └── logs/ # 运行日志(首次运行后自动生成)
安装与配置
4.1 安装前检查
| 检查项 | 检查方法 | 合格标准 |
|---|---|---|
| 夹爪机械安装 | 目视及手动检查 | 安装牢固,开合路径无干涉 |
| 夹爪电源 | 上电指示 | 控制器正常上电 |
| 串口识别 | 设备管理器 / dmesg | 端口已识别(如 COM5、/dev/ttyUSB0) |
| 摄像头识别 | 系统相机应用或设备列表 | 两路摄像头均可独立打开 |
| 工作区域 | 目视 | 夹爪开合范围内无杂物 |
| 传感器状态 | 目视 | 触觉敏感面无预加载、无遮挡 |
4.2 基本配置
使用文本编辑器打开 config/gripper.json,至少须正确配置以下参数后方可运行。
| 参数名 | 说明 | Windows 示例 | Linux 示例 |
|---|---|---|---|
video1 | 左摄像头设备编号或路径 | "0" | "0" 或 "/dev/video0" |
video2 | 右摄像头设备编号或路径 | "1" | "1" 或 "/dev/video1" |
port | 夹爪串口 | "COM5" | "/dev/ttyUSB0" |
baudrate | 串口波特率 | 115200(须与设备一致) | |
slave_id | Modbus 从站地址 | 1(须与设备一致) | |
video1 与 video2 必须对应不同的物理摄像头。配置错误将导致单侧无数据或数据重复。
4.3 系统要求
本系统默认随算力版主机一并交付,出厂已完成操作系统、驱动及软件环境配置,用户开箱连接夹爪与传感器即可使用。若用户自备运行计算机,须满足表 4-3 所列环境要求,并自行完成摄像头、串口及依赖库配置。
| 项目 | 要求 |
|---|---|
| 部署方式 | 算力版(默认交付)或用户自备计算机 |
| 操作系统 | Windows 10/11 x64,或 Ubuntu 20.04+ x86_64 |
| 显示 | 分辨率 ≥ 1920×1080,支持 OpenGL 3.0+ |
| 内存 | ≥ 8 GB |
| USB | 独立端口连接两路摄像头及串口设备 |
启动与停止
5.1 正常启动程序
- 确认第 4 章检查项目均合格;
- 双击运行
GripperDemo02.exe(Linux:./GripperDemo02); - 程序启动后自动创建控制线程,夹爪执行张开动作;
- 系统在
baseline_seconds(默认 1.0 s)内完成传感器空载基准标定,此期间保持两侧传感器无接触; - 待顶部状态栏显示
state=open_wait(等待触发),且action=open-wait-armed(已就绪); - 确认左右传感器状态指示为绿色,FPS 显示正常数值(非
--)。
正常启动后无需再次点击顶部「启动」图标。仅当控制程序处于空闲(已停止)状态时,方使用该按钮重新建立设备连接。
5.2 正常停止与退出
| 操作 | 作用范围 | 说明 |
|---|---|---|
| 顶部「停止」 | 控制线程 | 停止状态机及传感器采集,释放串口与摄像头资源 |
| 顶部「关闭」或快捷键 Q | 整个程序 | 先请求停止控制线程,等待结束后关闭窗口 |
| 顶部「重启」 | 控制线程 | 等效于先停止再启动,重新标定传感器基准 |
当配置项 open_at_end=true(默认)时,控制流程结束时会尝试发送夹爪张开命令。若设备已断电或通信异常,以夹爪实际状态为准。
5.3 源码方式运行(调试人员)
# Windows conda activate py311 python -m gripper.visualizer --windowed # 跳过真实串口(传感器与 GUI 仍运行) python -m gripper.visualizer --windowed --dry-run
主界面说明
本软件主界面由顶部状态控制栏、中央 3D 工作区及若干浮动功能面板组成。浮动面板可拖动、调整大小;布局可通过设置模块保存并在下次启动时恢复。
A
B
C左光流
C右光流
D
E
F
- A 顶部状态与控制栏
- B 夹爪 3D 模型工作区
- C 左/右光流窗口
- D 六路力曲线图
- E 夹爪控制区域
- F 传感器控制区域
| 区域编号 | 名称 | 功能说明 |
|---|---|---|
| A | 顶部状态与控制栏 | 显示 state、action;提供设置、启停、重启及窗口管理 |
| B | 夹爪 3D 模型工作区 | 显示夹爪实时开合姿态、当前状态及力/位置摘要 |
| C | 左/右光流窗口 | 分别显示左、右传感器光流或幅值图像 |
| D | 曲线图区域 | 六路力值(法向力、切向力 X/Y)实时趋势 |
| E | 夹爪控制区域 | 智能/手动模式切换;速度、力度、位置及动作命令 |
| F | 传感器控制区域 | 传感器在线状态、FPS、力值读数及单侧重启 |
- 1 品牌 Logo
- 2 运行状态(
state/action) - 3 设置
- 4 启动控制
- 5 停止控制
- 6 重启控制程序
- 7 最小化 / 全屏 / 关闭
功能模块操作
7.1 夹爪 3D 模型
3D 模型区域根据实时夹爪位置在预缓存的开合档位间切换,显示当前机械姿态。区域下方叠加显示左/右法向力、夹爪位置、当前力百分比及自适应目标力百分比。
| 输入 | 操作 |
|---|---|
| 鼠标左键拖动 | 旋转观察视角 |
| 鼠标中键拖动 | 平移观察中心 |
| 鼠标滚轮 | 缩放 |
1state=hold_check
23D 开合姿态
3力/位置摘要
hold_check)状态示例:标注顶部状态行、3D 模型区及底部实时摘要。- 1 状态栏显示
hold_check/ 当前动作 - 2 3D 模型反映当前开合档位
- 3 左/右法向力、位置、力比例摘要
7.2 光流窗口
左、右光流窗口为独立浮动面板,分别对应两路触觉传感器。用户可通过右上角模式按钮在「光流」与「幅值」显示模式间切换。
1左侧传感器
2右侧传感器
3光流/幅值切换
- 1 左传感器光流/幅值画面
- 2 右传感器光流/幅值画面
- 3 「光流 / 幅值」模式切换按钮
| 操作 | 方法 |
|---|---|
| 切换显示模式 | 点击窗口右上角「光流 / 幅值」按钮 |
| 移动窗口 | 拖动标题栏或图像区域 |
| 调整大小 | 拖动窗口右下角约 18 px 区域 |
| 旋转 / 镜像 | 设置 → 画面 → 对应侧按钮(见 10.1 节) |
7.3 力曲线图
曲线区域以 3 行 × 2 列布局显示六路力值,横轴为时间(秒),纵轴为力(牛顿)。默认显示最近约 6 s 数据;显示值经平滑处理,绝对值低于 0.05 N 时归零显示。
D曲线图区域
1法向力
2
3
- D 曲线图浮动面板整体
- 1 第 1 行:左/右法向力
- 2 第 2 行:左/右切向力 X
- 3 第 3 行:左/右切向力 Y
7.4 传感器控制区域
F
1在线状态
2
3力值 / FPS
- F 传感器控制浮动面板
- 1 绿/红状态点(是否收到样本)
- 2 左/右 FPS 显示
- 3 法向/切向力读数及重启按钮
| 显示项 | 说明 |
|---|---|
| 左/右法向力、切向力 | 经标定后的实时力值,单位 N |
| 夹爪当前力比例 / 目标力比例 | 控制器输出力百分比及自适应目标力百分比 |
| 速度 | 当前控制器速度百分比 |
| 重启图标 | 重启单侧传感器采集进程(不触发全程序基准重标定) |
单侧重启仅恢复该侧相机采集。若力值零点出现明显漂移,应执行顶部「重启控制程序」,并在标定阶段保持传感器空载。
智能夹持标准流程
智能模式为本软件默认工作模式。该模式下,夹爪动作由触觉信号驱动的状态机自动控制,用户不应在演示过程中切换至手动模式或干预运动参数。
8.1 标准演示步骤
| 步骤 | 操作 | 预期现象 |
|---|---|---|
| 1 | 按 5.1 节完成启动,等待就绪 | action=open-wait-armed(已就绪) |
| 2 | 用物体从任意一侧轻扫触觉传感器 | 力值上升;action=side-trigger-close |
| 3 | 夹爪开始闭合,将物体移至钳口中央 | state=closing → gripping |
| 4 | 系统检测接触后低力保持,再分步加力 | 3D 模型闭合;力比例逐步上升 |
| 5 | 自适应补力完成后进入释放检测 | state=hold_check |
| 6 | 取走或移动物体 | 法向/切向力变化超阈;夹爪张开 |
| 7 | 等待恢复完成 | 返回 open_wait,可进行下一次演示 |
8.2 运行约束
- 默认配置要求左右两侧均达到接触阈值(
grip_requires_both=true)方判定夹持成功; - 闭合超时(默认 5 s,参数
close_timeout_seconds)未检测到物体时,系统自动张开; - 释放后须满足位置/力恢复条件并经过最短休息时间(
rearm_seconds,默认 0.5 s),方可再次触发; - 休息期间即便传感器检测到扫过,也不会触发闭合。
手动控制操作
控制程序处于运行状态时,用户可点击「手动模式」切换至手动控制。手动模式下,用户可直接设定速度、最大力及目标位置,并执行张开、闭合、保持等命令。
E
1智能模式(锁定)
2滑条禁用
3
- E 夹爪控制面板
- 1 「智能模式」高亮,「手动模式」不可切换干预
- 2 速度 / 最大力 / 位置滑条禁用
- 3 张开 / 闭合 / 保持按钮禁用
E
1手动模式
2动作按钮可用
- E 夹爪控制面板
- 1 「手动模式」激活,可调整速度/力度/位置
- 2 保持、张开、闭合按钮可点击
| 参数 | 范围 | 步进 | 生效方式 |
|---|---|---|---|
| 速度 | 0~100% | 5% | 调整后立即更新控制器速度 |
| 最大力 | 0~100% | 5% | 随下一次动作命令发送;受 force_min、force_max 约束 |
| 夹爪位置 | open_pos~close_pos | 100 | 释放滑条或点击步进按钮后发送位置命令 |
| 按钮 | 功能 |
|---|---|
| 夹爪张开 | 以当前速度、最大力运动至 open_pos |
| 夹爪闭合 | 以当前速度、最大力运动至 close_pos |
| 保持 | 读取当前位置并以当前最大力保持;按钮文字变为「释放」 |
| 释放 | 取消手动保持状态,返回手动待机;不自动执行张开动作 |
参数配置与设置
点击顶部设置图标打开设置窗口。设置窗口分为「画面」「布局」及若干参数分组页,参数分组内容直接映射 config/gripper.json 文件字段。
config/gui_layout.json。
port、baudrate、slave_id 等通信参数。
10.1 参数保存程序
在设置窗口中修改参数后,须按以下顺序操作,否则运行中的控制程序不会加载新值:
- 点击「保存到 gripper.json」,确认保存成功提示;
- 关闭设置窗口;
- 点击顶部「重启控制程序」。
「保存当前布局」与「保存到 gripper.json」为相互独立操作。布局文件 gui_layout.json 不包含运行参数;参数文件不包含曲线历史及当前运行状态。
10.2 常用参数速查
| 参数 | 默认值 | 说明 |
|---|---|---|
trigger_normal_force | 0.1 N | 单侧法向力触发阈值 |
trigger_shear_force | 0.1 N | 单侧切向力触发阈值 |
grip_normal_force | 0.2 N | 判定接触的法向力阈值 |
grip_requires_both | true | 是否要求双侧同时接触 |
hold_force | 20% | 基础保持目标力百分比 |
adaptive_force_max | 80% | 自适应夹持力上限 |
release_normal_change | 0.2 N | 释放检测法向力变化阈值 |
rearm_seconds | 0.5 s | 张开后再次允许触发的最短休息时间 |
完整参数分组及默认值见《GUI 详细技术说明》(docs/GUI_USER_MANUAL.zh-CN.md)第 14 章。
运行状态与日志
11.1 状态码说明
| state | 界面显示 | 含义 |
|---|---|---|
open_wait | 等待触发 | 夹爪张开,等待触觉触发 |
closing | 闭合中 | 已触发,正在闭合并寻找物体 |
gripping | 夹持加力 | 已检测到物体,正在增加夹持力 |
hold_check | 夹持检测 | 自适应补力、保持及释放检测 |
open_recover | 张开恢复 | 已张开,等待位置或力信号恢复 |
error | 错误 | 控制线程异常,须查看日志 |
11.2 日志文件
打包版程序运行日志保存在程序目录下 logs/ 文件夹。程序自动保留最近 10 次运行会话。
logs/
├── latest.txt # 最近一次会话目录名
└── YYYYMMDD_HHMMSS_PID/
├── main.log # GUI、控制器、串口及异常信息
└── worker_*.log # 左、右传感器进程日志
建议故障排查顺序:读取 latest.txt → 打开对应会话目录 → 检查 main.log 末尾异常 → 必要时对照 worker_*.log。
11.3 快捷键
| 快捷键 | 功能 |
|---|---|
| Esc | 全屏与窗口模式切换 |
| Q | 退出程序 |
故障排除
| 序号 | 故障现象 | 可能原因 | 处理措施 |
|---|---|---|---|
| 1 | 传感器无画面,FPS 显示 -- |
摄像头未连接;设备编号错误;被其他程序占用 | 检查 USB 连接及 video1/video2;关闭占用程序;执行单侧或全部重启 |
| 2 | 串口连接失败 | 端口号错误;驱动未安装;端口被占用;从站地址/波特率不匹配 | 核对 port、baudrate、slave_id;检查 main.log 中 Modbus 相关报错 |
| 3 | 启动后 state=error |
传感器或串口初始化失败;配置文件格式错误 | 查看 main.log 异常栈;可用 --dry-run 区分串口与传感器故障 |
| 4 | 空载力值不归零 / 漂移 | 标定阶段有负载;光照或摄像头松动;标定参数不当 | 移开负载后重启控制程序;标定阶段保持静止;检查标定 JSON |
| 5 | 修改参数未生效 | 未保存文件或未重启控制程序 | 确认保存成功并执行「重启控制程序」 |
| 6 | 3D 模型无法显示 | OpenGL 不可用;模型资源缺失 | 更新显卡驱动;确认 crt_ctag2f90d_gripper_visualization 目录完整 |
| 7 | 界面卡顿、FPS 低 | 光流算法配置不当;分辨率或帧率过高 | 确认 ddjx01_q6a.json 中算法为 dis;适当降低 sensor_fps |
维护与定期检查
13.1 日常维护
- 保持触觉敏感面清洁,避免油污及硬质颗粒;
- 定期检查 USB 及串口线缆有无松动或外皮破损;
- 长期停用后重新启用前,执行一次完整重启并完成空载标定;
- 重要参数变更前备份
config/gripper.json及config/gui_layout.json。
13.2 标定参数维护
normal_force_calibration 与 shear_force_calibration 用于将传感器原始量映射至牛顿单位,直接影响触发、接触及释放判断。修改标定点须有实测数据支持,修改后须重新验证全流程。
附录
附录 A 现场操作检查表
启动前检查
- 左右摄像头已被操作系统识别
- 夹爪电源及串口通信正常
video1、video2、port配置正确- 夹爪开合范围内无人员及杂物
- 两侧触觉传感器无预加载
启动后确认
- 左右传感器 FPS 正常,状态点为绿色
- 3D 模型姿态与夹爪实际位置一致
- 顶部状态无
error - 已等待
open-wait-armed(已就绪)后再进行演示
附录 B 插图维护说明
本手册插图由软件界面自动截取生成。软件界面变更后,可在项目根目录执行以下命令重新生成插图:
conda activate py311 python build/capture_gui_screenshots.py python build/generate_manual_diagrams.py
截图输出路径:docs/images/manual/;矢量示意图输出路径:docs/assets/diagrams/。
— 文档结束 · GD02-UM-001 V1.0 —
Orisys 夹爪产品使用说明书