用户手册 · User Manual

Orisys 夹爪

图形化监控与智能夹持控制软件

文档编号GD02-UM-001
文档版本V1.0
发布日期2026-07-21
适用软件Orisys 夹爪 GUI(Release 20260717 及同系列版本)
适用平台Windows x64 / Linux x86_64
文档密级随产品交付资料
DOCUMENT CONTROL

版本履历

表 0-1 文档修订记录
版本 日期 修订人 修订说明
V1.0 2026-07-21 — 首版发布。含完整界面说明、操作流程、参数设置、故障排除及现场检查表。
表 0-2 适用读者
读者角色建议阅读章节
现场演示人员第 2、5、6、8 章及附录 A
设备调试人员第 4、7、9、10、11、12 章
参数维护人员第 10、11、12 章及附录 B
技术支持人员全文及《GUI 详细技术说明》
说明

本手册描述软件操作与配置方法,不替代夹爪、传感器硬件厂商提供的机械安装与安全规范。硬件安装、电气接线须按对应硬件说明书执行。

CHAPTER 1

引言

1.1 编写目的

本手册用于指导用户正确安装、配置、操作和维护 Orisys 夹爪软件(以下简称「本软件」)。用户应在使用本软件前通读第 2 章安全须知,并按本手册规定步骤进行操作。

1.2 产品简介

Orisys 夹爪是一套集成视觉触觉感知、智能夹持控制与图形化监控的演示系统。系统通过左右两个视觉触觉传感器采集法向力与切向力信息,经 Modbus RTU 串口驱动夹爪执行动作,并在 PyQt5 图形界面中同步显示 3D 模型、光流画面、力曲线及运行状态。

本软件主要实现以下功能:

  • 单侧触觉触发后自动闭合、接触检测、分步加力、自适应夹持及取物释放;
  • 实时显示夹爪三维姿态、左右传感器光流/幅值图像及六路力值曲线;
  • 提供智能模式与手动模式,支持速度、力度、位置等参数调节;
  • 支持运行参数在线编辑、工作区布局保存及运行日志记录。

1.3 术语与缩略语

表 1-1 术语定义
术语含义
法向力垂直于触觉敏感表面的力分量,单位 N
切向力沿触觉敏感表面平面内的合力,单位 N
光流基于图像序列估计的表面位移矢量场,用于可视化触觉形变
智能模式由状态机根据触觉信号自动控制夹爪,用户不可干预运动参数
手动模式用户通过界面直接下发张开、闭合、保持及位置命令
state控制状态机当前所处状态(如等待触发、闭合中、夹持检测等)
action当前控制周期内正在执行的具体动作描述
dry-run跳过真实串口动作、仅记录控制逻辑的调试模式

1.4 引用文件

表 1-2 相关文档
文档名称说明
config/gripper.json主运行配置文件
config/ddjx01_q6a.json触觉传感器及光流算法配置
docs/GUI_USER_MANUAL.zh-CN.mdGUI 详细技术说明(完整参数表及深度故障排查)
README.md开发与打包说明
CHAPTER 2

安全须知

警告

夹爪为运动部件,调试及演示过程中可能造成挤压伤害。操作前必须确认开合范围内无人员肢体及无关物体。首次运行须使用较低速度与力度。

注意

本软件顶部「停止」按钮仅停止软件控制流程,不是独立的硬件急停装置。发生异常时应立即切断夹爪电源或执行硬件急停(如设备具备)。

2.1 一般安全要求

  1. 仅经培训人员方可操作本系统;
  2. 运行前检查夹爪安装牢固、电源及通信线缆连接可靠;
  3. 传感器标定及系统重启标定阶段,须保持两侧触觉传感器空载且静止;
  4. 修改力度、速度及触发阈值前,应备份 config/gripper.json;
  5. 程序异常退出后,以夹爪实际物理状态为准,必要时手动断电复位。

2.2 电气与设备安全

  • 串口通信期间不得热插拔通信线缆(除非硬件支持);
  • USB 摄像头及串口设备应连接至稳定供电的 USB 端口,避免共用易过载的 USB Hub;
  • Linux 环境下运行用户须具备 video、dialout 设备组权限。
CHAPTER 3

产品说明

3.1 系统组成

本系统由感知层、软件处理层及执行与呈现层构成。左、右触觉传感器采集视频帧并计算触觉力;智能夹持状态机根据力信号经 Modbus RTU 串口驱动夹爪;GUI 同步显示 3D 姿态、光流图像、力曲线及运行状态。

Orisys 夹爪 系统组成与数据流示意图
图 3-1 系统组成与数据流示意图。实线为主要控制/数据流;虚线为位置反馈。

3.2 配置清单

表 3-1 硬件配置参考清单
序号名称数量备注
1智能夹爪及驱动控制器1 套Modbus RTU,USB 转串口连接
2视觉触觉传感器组件2 套左、右各一,含独立 USB 摄像头
3通信及电源线缆若干按现场安装要求配置
4运行计算机1 台算力版

3.3 软件目录结构

发布包解压后须保持完整目录结构。禁止仅复制可执行文件至其他路径单独运行。

GripperDemo02/
├── GripperDemo02.exe              # 主程序(Linux 无 .exe 后缀)
├── _internal/                     # 运行时依赖库(禁止删除)
├── config/
│   ├── gripper.json               # 主配置文件
│   ├── ddjx01_q6a.json                # 传感器配置文件
│   ├── compound_eye.png           # 传感器资源
│   └── gui_layout.json            # 界面布局(保存后生成)
├── sdk/                           # 夹爪通信 SDK
├── crt_ctag2f90d_gripper_visualization/   # 3D 模型资源
└── logs/                          # 运行日志(首次运行后自动生成)
CHAPTER 4

安装与配置

4.1 安装前检查

表 4-1 安装前检查项目
检查项检查方法合格标准
夹爪机械安装目视及手动检查安装牢固,开合路径无干涉
夹爪电源上电指示控制器正常上电
串口识别设备管理器 / dmesg端口已识别(如 COM5、/dev/ttyUSB0)
摄像头识别系统相机应用或设备列表两路摄像头均可独立打开
工作区域目视夹爪开合范围内无杂物
传感器状态目视触觉敏感面无预加载、无遮挡

4.2 基本配置

使用文本编辑器打开 config/gripper.json,至少须正确配置以下参数后方可运行。

表 4-2 必配参数
参数名说明Windows 示例Linux 示例
video1左摄像头设备编号或路径"0""0" 或 "/dev/video0"
video2右摄像头设备编号或路径"1""1" 或 "/dev/video1"
port夹爪串口"COM5""/dev/ttyUSB0"
baudrate串口波特率115200(须与设备一致)
slave_idModbus 从站地址1(须与设备一致)
说明

video1 与 video2 必须对应不同的物理摄像头。配置错误将导致单侧无数据或数据重复。

4.3 系统要求

本系统默认随算力版主机一并交付,出厂已完成操作系统、驱动及软件环境配置,用户开箱连接夹爪与传感器即可使用。若用户自备运行计算机,须满足表 4-3 所列环境要求,并自行完成摄像头、串口及依赖库配置。

表 4-3 自备计算机运行环境(可选)
项目要求
部署方式算力版(默认交付)或用户自备计算机
操作系统Windows 10/11 x64,或 Ubuntu 20.04+ x86_64
显示分辨率 ≥ 1920×1080,支持 OpenGL 3.0+
内存≥ 8 GB
USB独立端口连接两路摄像头及串口设备
CHAPTER 5

启动与停止

5.1 正常启动程序

  1. 确认第 4 章检查项目均合格;
  2. 双击运行 GripperDemo02.exe(Linux:./GripperDemo02);
  3. 程序启动后自动创建控制线程,夹爪执行张开动作;
  4. 系统在 baseline_seconds(默认 1.0 s)内完成传感器空载基准标定,此期间保持两侧传感器无接触;
  5. 待顶部状态栏显示 state=open_wait(等待触发),且 action=open-wait-armed(已就绪);
  6. 确认左右传感器状态指示为绿色,FPS 显示正常数值(非 --)。
说明

正常启动后无需再次点击顶部「启动」图标。仅当控制程序处于空闲(已停止)状态时,方使用该按钮重新建立设备连接。

5.2 正常停止与退出

表 5-1 停止方式说明
操作作用范围说明
顶部「停止」控制线程停止状态机及传感器采集,释放串口与摄像头资源
顶部「关闭」或快捷键 Q整个程序先请求停止控制线程,等待结束后关闭窗口
顶部「重启」控制线程等效于先停止再启动,重新标定传感器基准

当配置项 open_at_end=true(默认)时,控制流程结束时会尝试发送夹爪张开命令。若设备已断电或通信异常,以夹爪实际状态为准。

5.3 源码方式运行(调试人员)

# Windows
conda activate py311
python -m gripper.visualizer --windowed

# 跳过真实串口(传感器与 GUI 仍运行)
python -m gripper.visualizer --windowed --dry-run
CHAPTER 6

主界面说明

本软件主界面由顶部状态控制栏、中央 3D 工作区及若干浮动功能面板组成。浮动面板可拖动、调整大小;布局可通过设置模块保存并在下次启动时恢复。

Orisys 夹爪 主界面
A
B
C左光流
C右光流
D
E
F
图 6-1 主界面总览。彩色框标注各功能区域,对应表 6-1 编号。
  • A 顶部状态与控制栏
  • B 夹爪 3D 模型工作区
  • C 左/右光流窗口
  • D 六路力曲线图
  • E 夹爪控制区域
  • F 传感器控制区域
表 6-1 主界面区域功能说明
区域编号名称功能说明
A顶部状态与控制栏显示 state、action;提供设置、启停、重启及窗口管理
B夹爪 3D 模型工作区显示夹爪实时开合姿态、当前状态及力/位置摘要
C左/右光流窗口分别显示左、右传感器光流或幅值图像
D曲线图区域六路力值(法向力、切向力 X/Y)实时趋势
E夹爪控制区域智能/手动模式切换;速度、力度、位置及动作命令
F传感器控制区域传感器在线状态、FPS、力值读数及单侧重启
顶部状态与控制栏
1Logo
2state / action
3设置
4
5
6
7
图 6-2 顶部状态与控制栏局部放大标注。
  • 1 品牌 Logo
  • 2 运行状态(state / action)
  • 3 设置
  • 4 启动控制
  • 5 停止控制
  • 6 重启控制程序
  • 7 最小化 / 全屏 / 关闭
CHAPTER 7

功能模块操作

7.1 夹爪 3D 模型

3D 模型区域根据实时夹爪位置在预缓存的开合档位间切换,显示当前机械姿态。区域下方叠加显示左/右法向力、夹爪位置、当前力百分比及自适应目标力百分比。

表 7-1 3D 视图操作
输入操作
鼠标左键拖动旋转观察视角
鼠标中键拖动平移观察中心
鼠标滚轮缩放
夹持检测状态界面
1state=hold_check
23D 开合姿态
3力/位置摘要
图 7-1 夹持检测(hold_check)状态示例:标注顶部状态行、3D 模型区及底部实时摘要。
  • 1 状态栏显示 hold_check / 当前动作
  • 2 3D 模型反映当前开合档位
  • 3 左/右法向力、位置、力比例摘要

7.2 光流窗口

左、右光流窗口为独立浮动面板,分别对应两路触觉传感器。用户可通过右上角模式按钮在「光流」与「幅值」显示模式间切换。

左右光流窗口
1左侧传感器
2右侧传感器
3光流/幅值切换
图 7-2 光流窗口特写。标注左右面板及模式切换按钮位置。
  • 1 左传感器光流/幅值画面
  • 2 右传感器光流/幅值画面
  • 3 「光流 / 幅值」模式切换按钮
表 7-2 光流窗口操作
操作方法
切换显示模式点击窗口右上角「光流 / 幅值」按钮
移动窗口拖动标题栏或图像区域
调整大小拖动窗口右下角约 18 px 区域
旋转 / 镜像设置 → 画面 → 对应侧按钮(见 10.1 节)

7.3 力曲线图

曲线区域以 3 行 × 2 列布局显示六路力值,横轴为时间(秒),纵轴为力(牛顿)。默认显示最近约 6 s 数据;显示值经平滑处理,绝对值低于 0.05 N 时归零显示。

六路力曲线图
D曲线图区域
1法向力
2
3
图 7-3 力曲线区域特写。三行分别对应法向力、切向力 X、切向力 Y。
  • D 曲线图浮动面板整体
  • 1 第 1 行:左/右法向力
  • 2 第 2 行:左/右切向力 X
  • 3 第 3 行:左/右切向力 Y

7.4 传感器控制区域

传感器控制区域
F
1在线状态
2
3力值 / FPS
图 7-4 传感器控制区域特写。标注在线指示、FPS 及力值读数位置。
  • F 传感器控制浮动面板
  • 1 绿/红状态点(是否收到样本)
  • 2 左/右 FPS 显示
  • 3 法向/切向力读数及重启按钮
表 7-3 传感器区域显示项
显示项说明
左/右法向力、切向力经标定后的实时力值,单位 N
夹爪当前力比例 / 目标力比例控制器输出力百分比及自适应目标力百分比
速度当前控制器速度百分比
重启图标重启单侧传感器采集进程(不触发全程序基准重标定)
注意

单侧重启仅恢复该侧相机采集。若力值零点出现明显漂移,应执行顶部「重启控制程序」,并在标定阶段保持传感器空载。

CHAPTER 8

智能夹持标准流程

智能模式为本软件默认工作模式。该模式下,夹爪动作由触觉信号驱动的状态机自动控制,用户不应在演示过程中切换至手动模式或干预运动参数。

智能夹持状态流转图
图 8-1 智能夹持状态流转图。蓝色回环:恢复后重新就绪;红色虚线:闭合超时路径。

8.1 标准演示步骤

表 8-1 现场演示操作步骤
步骤操作预期现象
1按 5.1 节完成启动,等待就绪action=open-wait-armed(已就绪)
2用物体从任意一侧轻扫触觉传感器力值上升;action=side-trigger-close
3夹爪开始闭合,将物体移至钳口中央state=closing → gripping
4系统检测接触后低力保持,再分步加力3D 模型闭合;力比例逐步上升
5自适应补力完成后进入释放检测state=hold_check
6取走或移动物体法向/切向力变化超阈;夹爪张开
7等待恢复完成返回 open_wait,可进行下一次演示

8.2 运行约束

  • 默认配置要求左右两侧均达到接触阈值(grip_requires_both=true)方判定夹持成功;
  • 闭合超时(默认 5 s,参数 close_timeout_seconds)未检测到物体时,系统自动张开;
  • 释放后须满足位置/力恢复条件并经过最短休息时间(rearm_seconds,默认 0.5 s),方可再次触发;
  • 休息期间即便传感器检测到扫过,也不会触发闭合。
CHAPTER 9

手动控制操作

控制程序处于运行状态时,用户可点击「手动模式」切换至手动控制。手动模式下,用户可直接设定速度、最大力及目标位置,并执行张开、闭合、保持等命令。

智能模式夹爪控制面板
E
1智能模式(锁定)
2滑条禁用
3
图 9-1 智能模式:模式切换、滑条与动作按钮均为灰色锁定状态。
  • E 夹爪控制面板
  • 1 「智能模式」高亮,「手动模式」不可切换干预
  • 2 速度 / 最大力 / 位置滑条禁用
  • 3 张开 / 闭合 / 保持按钮禁用
手动模式夹爪控制面板
E
1手动模式
2动作按钮可用
图 9-2 手动模式:滑条与动作按钮均已启用,可直接下发命令。
  • E 夹爪控制面板
  • 1 「手动模式」激活,可调整速度/力度/位置
  • 2 保持、张开、闭合按钮可点击
表 9-1 手动控制参数
参数范围步进生效方式
速度0~100%5%调整后立即更新控制器速度
最大力0~100%5%随下一次动作命令发送;受 force_min、force_max 约束
夹爪位置open_pos~close_pos100释放滑条或点击步进按钮后发送位置命令
表 9-2 手动动作按钮
按钮功能
夹爪张开以当前速度、最大力运动至 open_pos
夹爪闭合以当前速度、最大力运动至 close_pos
保持读取当前位置并以当前最大力保持;按钮文字变为「释放」
释放取消手动保持状态,返回手动待机;不自动执行张开动作
CHAPTER 10

参数配置与设置

点击顶部设置图标打开设置窗口。设置窗口分为「画面」「布局」及若干参数分组页,参数分组内容直接映射 config/gripper.json 文件字段。

设置窗口-画面页
图 10-1 设置 — 画面页。可分别对左、右光流画面执行旋转(90° 步进)、水平镜像、垂直镜像及重置。
设置窗口-布局页
图 10-2 设置 — 布局页。可将当前窗口尺寸、浮动面板位置、3D 视角及画面方向保存至 config/gui_layout.json。
设置窗口-串口参数
图 10-3 设置 — 串口 / 设备页:配置 port、baudrate、slave_id 等通信参数。
设置窗口-触发夹持参数
图 10-4 设置 — 触发 / 夹持页:触发阈值、接触判定、闭合超时及分步加力参数。

10.1 参数保存程序

在设置窗口中修改参数后,须按以下顺序操作,否则运行中的控制程序不会加载新值:

  1. 点击「保存到 gripper.json」,确认保存成功提示;
  2. 关闭设置窗口;
  3. 点击顶部「重启控制程序」。
注意

「保存当前布局」与「保存到 gripper.json」为相互独立操作。布局文件 gui_layout.json 不包含运行参数;参数文件不包含曲线历史及当前运行状态。

10.2 常用参数速查

表 10-1 常用运行参数
参数默认值说明
trigger_normal_force0.1 N单侧法向力触发阈值
trigger_shear_force0.1 N单侧切向力触发阈值
grip_normal_force0.2 N判定接触的法向力阈值
grip_requires_bothtrue是否要求双侧同时接触
hold_force20%基础保持目标力百分比
adaptive_force_max80%自适应夹持力上限
release_normal_change0.2 N释放检测法向力变化阈值
rearm_seconds0.5 s张开后再次允许触发的最短休息时间

完整参数分组及默认值见《GUI 详细技术说明》(docs/GUI_USER_MANUAL.zh-CN.md)第 14 章。

CHAPTER 11

运行状态与日志

11.1 状态码说明

表 11-1 主要 state 状态
state界面显示含义
open_wait等待触发夹爪张开,等待触觉触发
closing闭合中已触发,正在闭合并寻找物体
gripping夹持加力已检测到物体,正在增加夹持力
hold_check夹持检测自适应补力、保持及释放检测
open_recover张开恢复已张开,等待位置或力信号恢复
error错误控制线程异常,须查看日志

11.2 日志文件

打包版程序运行日志保存在程序目录下 logs/ 文件夹。程序自动保留最近 10 次运行会话。

logs/
├── latest.txt                      # 最近一次会话目录名
└── YYYYMMDD_HHMMSS_PID/
    ├── main.log                    # GUI、控制器、串口及异常信息
    └── worker_*.log                # 左、右传感器进程日志

建议故障排查顺序:读取 latest.txt → 打开对应会话目录 → 检查 main.log 末尾异常 → 必要时对照 worker_*.log。

11.3 快捷键

表 11-2 键盘快捷键
快捷键功能
Esc全屏与窗口模式切换
Q退出程序
CHAPTER 12

故障排除

表 12-1 常见故障及处理
序号故障现象可能原因处理措施
1 传感器无画面,FPS 显示 -- 摄像头未连接;设备编号错误;被其他程序占用 检查 USB 连接及 video1/video2;关闭占用程序;执行单侧或全部重启
2 串口连接失败 端口号错误;驱动未安装;端口被占用;从站地址/波特率不匹配 核对 port、baudrate、slave_id;检查 main.log 中 Modbus 相关报错
3 启动后 state=error 传感器或串口初始化失败;配置文件格式错误 查看 main.log 异常栈;可用 --dry-run 区分串口与传感器故障
4 空载力值不归零 / 漂移 标定阶段有负载;光照或摄像头松动;标定参数不当 移开负载后重启控制程序;标定阶段保持静止;检查标定 JSON
5 修改参数未生效 未保存文件或未重启控制程序 确认保存成功并执行「重启控制程序」
6 3D 模型无法显示 OpenGL 不可用;模型资源缺失 更新显卡驱动;确认 crt_ctag2f90d_gripper_visualization 目录完整
7 界面卡顿、FPS 低 光流算法配置不当;分辨率或帧率过高 确认 ddjx01_q6a.json 中算法为 dis;适当降低 sensor_fps
CHAPTER 13

维护与定期检查

13.1 日常维护

  • 保持触觉敏感面清洁,避免油污及硬质颗粒;
  • 定期检查 USB 及串口线缆有无松动或外皮破损;
  • 长期停用后重新启用前,执行一次完整重启并完成空载标定;
  • 重要参数变更前备份 config/gripper.json 及 config/gui_layout.json。

13.2 标定参数维护

normal_force_calibration 与 shear_force_calibration 用于将传感器原始量映射至牛顿单位,直接影响触发、接触及释放判断。修改标定点须有实测数据支持,修改后须重新验证全流程。

APPENDIX

附录

附录 A 现场操作检查表

启动前检查

  • 左右摄像头已被操作系统识别
  • 夹爪电源及串口通信正常
  • video1、video2、port 配置正确
  • 夹爪开合范围内无人员及杂物
  • 两侧触觉传感器无预加载

启动后确认

  • 左右传感器 FPS 正常,状态点为绿色
  • 3D 模型姿态与夹爪实际位置一致
  • 顶部状态无 error
  • 已等待 open-wait-armed(已就绪) 后再进行演示

附录 B 插图维护说明

本手册插图由软件界面自动截取生成。软件界面变更后,可在项目根目录执行以下命令重新生成插图:

conda activate py311
python build/capture_gui_screenshots.py
python build/generate_manual_diagrams.py

截图输出路径:docs/images/manual/;矢量示意图输出路径:docs/assets/diagrams/。


— 文档结束 · GD02-UM-001 V1.0 —
Orisys 夹爪产品使用说明书