Files
orisys-app/apps/studio/docs/shell-lifecycle.md
T
ykcheungab 9b3c5fe46c 回放与实时统一为一套界面;修复 30 fps 设备被以 16.7 fps 消费的计时器缺陷 - What: 1) 删除 ui/replay_bar.py(进度条、录制目录选择、重算深度按钮、提示行)与回放条的全部接线:历史回放现在与实时监测同布局(分割比例同为 0,360,1080,0)、同一条状态轨、同一套曲线手势,唯一差别是来源槽——实时是摄像机,回放是「选择录制视频…」(toolbar.btn_replay_video,与文件菜单「打开视频…」同一条 _load_replay_video 路径:视频所在目录即录制目录,曲线自动配对同目录 forces.csv)。时间轴改为曲线游标本身:表头新增播放/暂停图标按钮(icons.play/pause,空格键同效)以 1× 推进(按墙钟计时,漏拍不变慢),到末尾自动停;拖动游标、框选、滚轮平移或拖总览条一律自动暂停(ForcePlotsPanel.pause_playback)。回放的降采样/跨版本提示移入来源摘要 tooltip,打开录制时另发一条 6 秒通知。修复视频文件名残留在实时视图的问题:_refresh_status_rail 只在 _view_preset == "replay" 时写视频名。2) 录制格式不变:raw_*.mp4 与 forces.csv/frames.csv/session.json 继续一起写。按「两者都要」新增 视图 → 由视频重算力值(act_recompute):默认曲线读录制的 CSV,打开后把录制视频重新跑一遍视觉管线(进 SessionStore、2D 面板交给管线绘制、只能顺序前进,播放按钮即开始/暂停,关闭即挂回 CSV),启动路径唯一(set_playing → _on_chart_play_toggled → _start_run),并让文件源的时间轴改为视频自身时间(mono_t = 帧号 × 1/fps),否则重算结果会落在与 CSV 不同的横轴上。回放 2D 面板不再提供深度视图(REPLAY_VIEW_MODES=("recorded",)),离线深度重算引擎保留但无界面入口。3) 采集只有 16.67 fps 的根因是上一轮引入的等待:Windows 默认计时器分辨率 15.6 ms,time.sleep(0.002) 实测睡 15.5 ms,重复帧等两拍即跨过 30 fps 的 33 ms 周期,30 fps 设备被以 ~16.7 fps 消费并隔帧丢弃(配置本身正确:mini/sensor.json 写 camera.fps=30;离线实测整套管线 15.2 ms/帧≈66 fps,余量充足)。新增 _high_resolution_timer() 在会话期间把分辨率提到 1 ms(结束还原),并把重复帧等待改为 min(距下一帧时间, 半个周期)、到期只 sleep(0)。 - Why: 用户评审 3 点——回放界面与实时不一致且拖拽条效果一般、不想为回放录制深度信息、想同时保留视频与 CSV 记录、以及采集帧率只有 16.67 fps(应为 30)。 - Verification: ui_check.py 562 项 0 失败(新增两视图同布局/无 bar、来源槽随视图切换且无残留、播放暂停与手动手势暂停、重算模式切换与视频源、回放提示在 tooltip);test_ui_smoke.py 73 项 0 失败(新增视图统一、传输控制、重算模式);drive_shared.py 150 项 0 失败(新增 shared/tests/test_worker_frame_rate.py::test_a_file_source_runs_on_the_video_s_own_timeline,并把 30 fps 用例改成必须落在 27–31.5 fps;同文件实测无 1 ms 计时器 21.6 fps、有则 30.0 fps,同一帧返回 3 次时 11317:39);locale_studio.py 266 键齐全、zh==en;reproduce.py 退出 0;ui_snapshot.py 三张复核图(统一后的回放、实时、选区中英)。 - Not in this change: 录制文件格式与 CSV 列序不变;离线深度重算引擎(ReplayController.request_depth / DepthRecomputer)保留并有独立测试,但界面已无入口,可下一步删除;重算模式用有损 mp4,数值与原 CSV 会有差异(这正是它要显式呈现的)。
2026-09-13 22:04:01 +08:00

15 KiB
Raw Blame History

Studio 外壳:视图与关闭流程

这份文档记录主窗口的三件"外壳"行为:三个顶层视图如何切换面板、回放如何并入主窗口 (含可拖拽进度条),以及窗口关闭后进程如何回到命令行。它们都不属于记录通道,但都会 直接影响可用性。


1. 三个顶层视图 = 同一窗口的三套布局

品牌轨上的三个导航项不打开新窗口,而是切换主窗口的布局 (StudioMainWindow._apply_view_preset,预设在 VIEW_PRESETS / VIEW_SPLITTER_SIZES):

视图 面板 曲线 比例(3D,2D,曲线,标定)
实时监测 live 2D 图像 + 力曲线(+ 手指三维) 跟随实时 0, 360, 1080, 0
历史回放 replay 2D 图像 + 力曲线 + 回放条 读打开的录制;未打开时仍是实时跟随 0, 320, 1120, 0
标定 calibration 标定面板 + 力曲线 不变 0, 0, 560, 880
自由 custom(启动默认) 由视图菜单决定 不变 用户在分割条上摆的位置
  • 为什么标定视图给标定面板 880 px:六列诊断表头加九个动作按钮,在 300–400 px 的 三栏布局里必然被挤压。标定面板自身还有纵向滚动区,窗口再矮也够得到「应用到设备」。
  • custom 不点亮任何导航项:手工摆出来的布局不属于三个视图中的任何一个。
  • 视图 → 标定面板 与「标定」导航是同一个开关:勾上进入标定视图,取消回到实时视图。
  • 布局菜单里的「自由布局 / 二维模式」已删除:导航视图 + 分割条已经覆盖它们,而 「深度图 + 曲线」由 2D 面板自带的「深度图」模式一键完成;layout_preset 偏好一并移除。

1.1 采集来源随视图,不再是「来源」下拉

ToolbarWidget 的状态轨上有一个来源槽(source_slot):

情形 轨上显示
实时监测 + 摄像机 摄像机 [编号] [搜索]
实时监测 + 视频文件 使用摄像机 按钮 + 摘要里的 视频文件: xxx.mp4
历史回放 不占位(回放条里有录制选择与路径)

「用视频文件跑一次采集」仍从「文件 → 打开视频…」进入,source_mode / video_path 偏好保留,但不再有一个需要先选「来源」才能用的下拉。

1.2 传感器与标定共用一个弹窗

轨上只有一个摘要按钮(BOX · box/sensor.json,ToolbarWidget.btn_sensor); 点击打开 apps/studio/src/orisys_studio/ui/sensor_dialog.py::SensorDialog:

  • 传感器类型 / 传感器配置两个下拉(原 SensorPickerWidget,仍是窗口的属性, 因此 sensor_type() / config_name() 与信号语义不变);
  • 「当前生效的标定」:设备确认的版本(_active_calibration_id)与已标定轴;
  • 「最近导出的系数」:文件、大小、时间与文件身份(类型 / SN / 配置,来自 calibration_identity());导出/应用按钮转调 CalPanel.export_coefficients() / apply_coefficients(),实现只有一份。

弹窗常驻一个实例、每次打开 refresh(),所以设备刚确认的标定立刻可见。


2. 回放与实时是同一套界面(只换来源)

「历史回放」不另开窗口,也不另起一套控件:它与「实时监测」是同一套布局、同一条状态轨、 同一套图表手势。唯一的差别是左上的来源槽——实时是摄像机,回放是一段录制视频。 ui/replay_bar.py(进度条 + 录制目录选择)与 PlaybackDialog 都已删除。

  • apps/studio/src/orisys_studio/replay.py::ReplayController(QObject):录制读取、游标、 离线深度重算引擎(daemon 线程 + 120 ms 轮询、请求绑定 (_record_serial, seq, frame)、 旧结果一律丢弃;界面已不提供深度视图)、深度色标、回放提示(降采样 / 跨版本)。 它不画任何东西,只发信号:position_changed / frames_changed / status_changed / recording_changed。
  • 选视频即选录制:状态轨的「选择录制视频…」(toolbar.btn_replay_video)与 「文件 → 打开视频…」都走 _load_replay_video(path)——视频所在目录就是录制目录, 于是曲线自动配对同目录的 forces.csv。视频与 CSV 仍然同时记录(录制格式不变)。
  • 曲线:ForcePlotsPanel.set_recording_source(reader) 用 RecordingCurveSource 直接读 录制目录(区间按需读盘 + 缓存包络),所以全程总览、拖动、缩放、框选都在同一套曲线上; 表头显示「回放录制(浏览)」,返回最新 在录制模式下禁用。
  • 回放按录制实际有的单位打开(_replay_unit_for):FN_N 等列全空的录制退回 raw, 否则在 newton 偏好下会画出三张空图、每张数值卡一个横杠——看起来就是"回放没加载"。 表头的单位芯片是唯一的单位开关(_set_display_unit 同时告诉曲线、工具栏与控制器)。
  • 2D 面板:ArrowPanel.set_source_kind("replay") 把视图下拉换成「原始图像」一项 (REPLAY_VIEW_MODES;录制里没有光流,也没有存储深度),页脚显示「录制视频(原始相机 图像)」并隐藏放大倍率与有效区域。
  • 游标就是播放头:曲线表头的播放按钮(chart.play / chart.pause,编辑器习惯: 空格键同效)以 1× 推进游标,到末尾自动停;拖动游标、框选、滚轮平移或拖总览条都会 自动暂停(ForcePlotsPanel.pause_playback)。没有独立进度条。
  • 数值卡读游标处的那一帧(ForcePlotsPanel._readout_at_cursor)。浏览历史或回放时, 三个大数字是播放头所指的样本;跟随实时时"最新样本就是游标",不额外读盘。旧写法在回放 时显示实时采集的最后一个样本,于是一张 7.5e5 原始计数的曲线旁边写着实时的 0.0。
  • 2D 面板归当前视图的来源所有(_replay_owns_image()):回放视图打开录制后,采集线程 仍然在跑,但 _on_run_tick / _on_preview_tick 不再把实时帧画进 2D 面板, _render_run_image 直接返回。否则回放画面会被摄像头帧一帧一帧盖掉("回放时好像用的是 摄像头")。切回实时视图才把面板交还给实时帧。
  • 回放提示不占位置:降采样 / 跨版本等说明放在来源摘要的 tooltip 里(状态栏只留一次性 通知,见 §2.2),打开录制时另发一条 6 秒通知。
  • 离开回放视图:曲线挂回实时 store 并恢复跟随,来源槽换回摄像机,已打开的录制保留, 摘要里的视频名不再出现(这正是"视频文件名残留在实时检测里"的修法)。
  • 文件菜单两条入口(打开录制视频… / 回放最近一次录制)都只是切到回放视图并加载录制。

2.1 「由视频重算」:算法复核模式

视图 → 由视频重算力值(act_recompute)把曲线的来源从录制的 CSV 换成把录制的视频 重新跑一遍视觉管线:

默认(关闭) 打开
曲线数据 录制目录的 forces.csv(当时测得的值) 管线在视频上重算出的样本(进 SessionStore)
2D 面板 录制视频在游标处的那一帧 管线正在处理的帧
时间轴 任意定位(游标、框选、总览条、播放) 只能顺序前进(管线是有状态的),播放按钮即开始/暂停这一遍
用途 看当时的记录 复核算法版本(mp4 有损,数值与原记录会有差异)

打开它时会立即开始这一遍(_on_recompute_toggled → force_plots.set_playing(True) → _on_chart_play_toggled → _start_run,只有一条启动路径,避免按钮与菜单各启动一次); 关闭时停止该遍并挂回 CSV。_replay_owns_image() 在这一遍运行期间为 False,2D 面板交给 管线自己画。

apps/studio/tools/ui_snapshot.py --scene replay 会合成一段短录制并打开它,用于人工复核 统一后的回放布局(不写业务数据,也不需要硬件)。

2.2 状态栏与来源摘要的分工

  • 状态轨的来源槽按视图切换:实时 = 摄像机编号 + 搜索;回放 = 「选择录制视频…」。 source_summary 在回放视图里写「视频文件: xxx.mp4」,在实时视图里只写帧率—— 视频名出现在实时视图里就是残留。
  • 底部状态栏只放一次性通知(见 §1 表格与 _NoticeBar),回放提示与完整路径放在来源摘要的 tooltip 里。

曲线缩放与默认模式

  • 三条曲线在所有模式下 mouseEnabled(x=True):滚轮缩放、左键平移。手势信号用 pyqtgraph 的 sigRangeChangedManually(只有真实滚轮/拖动才会发),不是 sigXRangeChanged——后者在窗口缩放沿 X 轴联动传播时也会发,会把"缩放窗口"误判成 "用户开始浏览"。y 轴仍按配置的固定量程。
  • 浏览模式下共享光标线可拖动,拖动即移动播放头(回放视图里就是回放位置)。
  • 启动、新一次运行、切换单位/传感器、切回「实时监测」都保证回到「跟随实时」; 只有打开录制后的回放视图才处于浏览状态。

曲线表头:动作是图标,单位是开关

表头右侧三个动作(ForcePlotsPanel._header_button)只画符号、不写字,符号由 apps/studio/src/orisys_studio/ui/icons.py 在运行时用当前主题的颜色绘制 (zoom_fit 取景框+角标、box_zoom 虚线框、latest 箭头进入竖条),因此没有新增色值, 换主题时按令牌重新着色,也不会出现位图在不同底色上发灰:

动作 符号 文字(tooltip / 无障碍名)
全程总览 zoom_fit chart.overview
框选 box_zoom chart.box_zoom
返回最新 latest chart.return_latest
  • 符号不替代语义:每个按钮都带 tooltip 与 accessibleName,ui_check.py 的 chart header and unit chip 段逐项断言 text()=="" 且这三样齐全——只有符号没有说明 等于把动作藏起来。全程总览区域名(window_caption)仍是文字,它标注的是一块区域。
  • 选区统计在数值卡上,不在下方:框选/缩放出一段窗口后,每张卡的大号数字变成该窗口的 峰值、下方小字是该窗口的均值 · σ(chart.selection_detail),卡片的 tooltip 说明 大数字是峰值;曲线下方只剩「选区 4.13 s / 183 点」(完整的一行仍在它的 tooltip 里)。 以前把三通道的峰/均/σ 塞在一行 QLabel 里,中文长句直接把面板顶出右边界。 窗口等于整个会话(「全程总览」)不算选区——那是默认适配,此时卡片回到"游标处样本"。
  • 单位芯片是可点的按钮(QPushButton#unitBadge,不再是 QLabel):点一下就切换 N ⇄ raw,同一条命令(_set_display_unit)同时改曲线、数值卡与设置区下拉,三处永远 一致。旧写法只有「raw/N」两个字,看起来像只读状态。
  • 箭头图页脚的放大倍率写成「箭头按位移放大 ×2」,不再只有一个「×2」。

状态栏是一条通知行,不是第二条状态行

底部 QStatusBar 只承载一次性通知(录制结束/失败、标定已应用、连接慢、错误原因):

  • 没有常驻控件。以前右下角有一条 配置 sensor.json(status.device_label),而状态轨 的传感器摘要按钮已经写着 MINI · sensor.json,右下角是同一件事实的第二遍。
  • 消息会过期(_NoticeBar.DEFAULT_TIMEOUT_MS = 6 s)。Qt 的 showMessage(text) 默认 msecs=0,意思是"永不消失",于是会话刚开始那句「运行中(0)」一直挂到退出;只读状态 的读法应该在顶栏(阶段芯片 + 来源槽),所以子类把"没有超时"一律换成 6 秒。
  • 与状态轨重复的两条提示被删掉:status.run_started(「运行中(0)」)与 status.connecting(「正在连接…」)在轨上分别有「采集中」芯片与相机编号、以及 「连接中」芯片。
  • 逐帧重复的通告只发一次:status.units_raw_fallback(无标定 → 显示原始单位)以前每 一帧都发一次,等于永久占住通知行;现在每次运行只提示一次。

单位切换是"开关",不是"重新解释"

曲线缓冲区里的每个数都带着它被测量时的单位。设备在头几帧还没确认标定时,显示会退到 raw;标定一到位就切到 N —— 这一次切换丢弃缓冲区里的旧单位样本(会话存储仍然保留 它们,RecordingCurveSource / SessionStore 可重建),而不是把 raw 计数画到牛顿轴上。 旧写法只把 _unit 记成新单位、样本原样留着,于是每次开始采集的第一个画面都是一根 ~1e5 的尖峰。触发切换的那一帧本身仍然会刷新数值卡(早期实现里它被 return 吃掉了), 而浏览/回放时卡片改为按新单位重读游标处的样本。

同样地,_start_run 现在先 session_store.reset() 再 force_plots.set_store(...): 反过来的话新会话开局会带着上一次会话的尾巴。

切换单位后(set_units)立即按新单位重读游标处的样本,因为浏览/回放时数值卡说的是游标, 不是实时样本——否则换一下单位,卡片会短暂显示上一次实时读数。


3. 关闭流程:窗口关掉后进程必须回到命令行

关闭顺序(StudioMainWindow.closeEvent → main()):

  1. closeEvent:
    • 先摘掉记录通道的 sink,避免正在收尾的采集线程继续持有窗口;
    • _stop_run(reason="user_stop", wait=True):阻塞地释放设备;
    • _stop_recording(wait=True):写出 session.json 并关闭 MP4/CSV;
    • _persist_prefs():保存窗口几何、分割比例、视图与各项开关。
  2. app.exec_() 返回后,main() 立刻结束进程:
code = int(app.exec_())
logging.shutdown()
for stream in (sys.stdout, sys.stderr):
    try:
        stream.flush()
    except Exception:
        pass
os._exit(code)

为什么用 os._exit:相机 SDK 与 OpenCV 各自持有原生线程与句柄,正常返回会在它们之上 再跑一遍解释器收尾(模块销毁、DLL 卸载),进程就卡在那里——症状正是"命令行不会完全退出"。 所有需要落盘的东西在 closeEvent 与 logging.shutdown() 里已经写完,这里跳过的只是 "已经没有东西可写的库"的析构。

tools/ui_check.py 的 clean shutdown 段在子进程里跑真实的 main(),用定时器关掉窗口 并断言进程在 45 秒内以 0 返回(实测约 2 秒),所以这条路径有回归保护。


4. 复核方式

$py = "D:\orisys_ws\orisys-app\.venv-build\Scripts\python.exe"
$env:PYTHONPATH = "D:\orisys_ws\orisys-app\shared\src;D:\orisys_ws\orisys-app\apps\studio\src"
cd D:\orisys_ws\orisys-app\apps\studio

& $py tools/ui_check.py                                  # 含 top area / views / instrument panels / replay / clean shutdown
& $py tools/ui_snapshot.py --demo --scene replay --out outputs/_snap_replay.png
& $py tools/ui_snapshot.py --demo --preset calibration --out outputs/_snap_calibration.png