Skip to content
Back to search

dsh-see-now

让 AI 实时看见你的屏幕:按变化量筛选帧、多帧拼进一张图,静止画面几乎不花 token

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Checked yesterday
Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/saos-3624--dsh-see-now/badge.svg)](/listings/saos-3624--dsh-see-now)

HTML

<a href="/listings/saos-3624--dsh-see-now"><img src="/api/listings/saos-3624--dsh-see-now/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

README.md · README · 777 lines
  1. # See Now · 让 AI 实时看见你的屏幕
  2. > **AI 不再"听你描述屏幕",而是自己看 —— 而且只传"画面变了"的那几帧。**
  3. 一个给 [DSH](https://github.com/deepseek-ai) 用的实时视觉插件:把你的屏幕(或摄像头 / 视频文件)变成一串**按变化量筛选过**的画面,压进一张几帧拼成的图,交给模型。
  4. 静止的屏幕几乎不花钱;一镜到底的视频按"运动量"给帧;硬切幻灯片每切一次留一帧。
  5. ---
  6. ## 授权说明 / License
  7. **Apache License 2.0** —— 随便用。个人、公司内部、闭源产品、SaaS、二次分发都可以,
  8. **不需要问我要授权,也不收费**。只要保留 [LICENSE](./LICENSE) 和 [NOTICE](./NOTICE) 这两份文件。
  9. 如果你觉得它替你省了时间,欢迎扫码打赏 —— 纯自愿,**不影响上面任何一个字**:
  10. <p align="center">
  11. <img src="./docs/images/reward-qr.png" alt="赞赏码(微信 / 支付宝)" width="240">
  12. </p>
  13. 提交 PR 前读一下 [CONTRIBUTING.md](./CONTRIBUTING.md) —— 现在**不需要签 CLA** 了,
  14. 按 Apache-2.0 的规矩来就行。
  15. ---
  16. ## 看看它长什么样
  17. 调试窗(开发期用,不在发布包里):左边是**抓到的每一帧**,留下的带缩略图和格号,没留下的只剩一根分数条;右边是**正在拼的那张图**,按真实像素位置摆,新帧落格会亮一下,重排时格子会滑动。
  18. ![调试窗](docs/images/debug-window.png)
  19. 逐场景模式(`scene:true`):每换一次画面单独出一张满幅图,右下角「已出图」每条都标着 `1 帧 100%`。
  20. ![逐场景模式](docs/images/scene-mode.png)
  21. 悬浮窗:AI 说的话在这里出现并被念出来(`say` 是唯一通道)。
  22. ![悬浮窗](docs/images/floating-window.png)
  23. 外观可以在**设置 › 看你看的东西 › 悬浮窗样式**里换:`实时玻璃`(跟着桌面模糊,吃 CPU)、
  24. `静态磨砂`(不抓屏,CPU 接近 0 —— 觉得卡就选它)、`纯色`、`自动`。改完立刻生效,
  25. 不用重开 DSH;它和陪看共用同一份 `~/.dsh/watch-window.json`。
  26. ---
  27. ## 它解决什么问题
  28. 想让 AI 陪你看屏幕,最直觉的做法是"定时截全屏喂过去"。两个死结:
  29. | 做法 | 问题 |
  30. |---|---|
  31. | 每 2 秒截一张全屏 | 一分钟 30 张图,全是重复画面,token 直接烧穿 |
  32. | 每隔 30 秒截一张 | 中间发生了什么全丢了,AI 只会说"看起来你在用电脑" |
  33. See Now 换了个思路:**先判断这一帧值不值得看,再决定传不传**。
  34. - 每个画面帧先打一个 **0–255 的"变化分"**(HSV 三通道加权差,在 64×36 网格上算,约 0.2ms)
  35. - 只有"**画面突然换了一张**"或"**一直在动、攒够了量**"才留下来
  36. - 留下来的几帧**拼进同一张图**,一张图的固定成本摊到 4~8 帧上
  37. 结果:同样一段 30 秒的操作,别人烧 30 张图,这里常常只要 2~3 张。
  38. ---
  39. ## 有多省
  40. | 场景 | 表现 |
  41. |---|---|
  42. | 静止屏幕(看文档、发呆) | **几乎不出图**。20 秒给一张兜底帧,让你知道"确实没变" |
  43. | 滚网页、切窗口 | 变化剧烈 → 留几帧 → 每 15 秒左右给你一张 |
  44. | 一镜到底的视频 | 没有切点,靠"积分"攒够一个采样点才出帧 |
  45. | 硬切幻灯片(每张停 2 秒) | **每切一次留一帧**,6 张照片 → 6 帧 |
  46. 成本口径(按宿主 DeepSeek-V4 的 patch 网格算:14px patch 向上对齐 → 42px 一格 → `rows×(cols+1)+2`):
  47. | 档位 | 画布(画面 + 音轨条) | 每张 token |
  48. |---|---|---|
  49. | `low`(默认) | 798×450 + 12px = **798×462** | **222** |
  50. | `standard` | 1050×600 + 30px = 1050×630 | 392 |
  51. | `high` | 1260×720 + 36px = 1260×756 | 560 |
  52. | `ultra` | 1596×900 + 24px = 1596×924 | 860 |
  53. 一张图里塞 4 帧还是 8 帧,**价格一样** —— 所以"多留一帧"几乎免费,"漏掉一帧"才贵。
  54. **宽度故意不对齐 16:9,而是对齐 42**(800→798、1066→1050、1280→1260、1600→1596):
  55. 800 会被 pad 到 812 = 19.3 格,白算一整列;798 正好 19 列,面积只少 **0.25%**,每张省 11~24 token。
  56. 这是整个链路里唯一**零代价**的降本点(storyboard 那边也是这么干的)。
  57. **音轨条不额外花钱**:token 是按 42px 一行算的阶梯函数,450 高的画面占 11 行、上界 462 ——
  58. 底下**空着 12px 也照样收 11 行的钱**。条就用这 12px(其余档位同理:600 余 30、720 余 36、900 余 24)。
  59. 所以"加条"和"不加条"的 token 完全一样,关掉它只是图干净一点,省不到钱。
  60. ### 看久了会变贵 —— 但原因不在这个插件
  61. 每张 222 token 只是**编码成本**。真正吃钱的是**累积**:图在会话历史里是一段 base64,
  62. 一张 798×450 的 PNG 约 130 KB,base64 之后约 **173 KB**。
  63. DSH 有个「图片省略」机制:**单个请求里保留的 base64 图片总量超过 `maxRequestImageBytes`
  64. (默认 20 MiB)时,它会把最老的图片永久替换成一段「附件路径」占位文字,然后重试。**
  65. 关键词是**永久** —— 它改的是**会话历史本身**。历史一改,DeepSeek 的前缀缓存从被改的那个
  66. 位置往后全部对不上:每省略一张老图,那一段上下文就重新计费一次。
  67. (社区实测:图片从第 43 万 token 处才开始出现,每省略一张,后面 14 万 token 重新算钱。)
  68. 换算:20 MiB ÷ 173 KB ≈ **120 张**。`dense` 档 110 秒出 6 张(社区实测),一小时约 200 张 ——
  69. **半小时出头就撞线**;默认节奏 15~40 秒一张,也在 1 小时上下。
  70. **这个插件拦不住它**:省略发生在宿主发请求之前,插件只看得到自己交付的那张图。能做的只有:
  71. - **长会话分段**:陪看一两小时后开个新会话,比让老图被反复省略便宜得多;
  72. - **别一直挂 `dense`**:出图频率是默认档的两三倍;
  73. - 静止画面本来就不出图 —— 那段时间是真的免费。
  74. > 真要根治得在宿主侧:让省略**从最前面开始**(连同更早的历史一起截),而不是在历史中间
  75. > 挖一个洞 —— 那样前缀缓存仍然连续。这不在本插件的范围里。
  76. ### 想让 AI 派子代理去看?先算这笔账
  77. 能 —— 宿主的 `subagent` 本来就能调 `see_now`,让它看完回来用文字复述。但**别当主路径**:
  78. | | token |
  79. |---|---|
  80. | 你自己看一张宫格 | **222** |
  81. | 派子代理跑一轮(`inheritsParentContext: false`) | **约 22,000** |
  82. 22,000 ÷ 222 ≈ **99 张**。子代理的钱主要花在它**自己的系统提示、工具定义和几轮工具往返**上,
  83. 看图那点 token 根本不算大头。所以「用子代理省钱」这个说法,在「看一眼屏幕」这个用法上是反的。
  84. > 顺带说清楚:那种「子代理只要 7 厘」的对比,比的是**子代理三种投递方式之间**哪个便宜,
  85. > 不是「用子代理比主模型自己看便宜」。这两个比下来差将近两个数量级。
  86. 还丢三样东西:
  87. - **不能再看一眼**:它交完文字就结束了,你想追问「左下角那个是啥」,得再派一个,再 2 万。
  88. - **细节被压成一句话**:它写「两个人在说话」,你就不知道表情、站位、字幕写的是什么 ——
  89. 而分镜清单花力气保留的恰恰是这些。
  90. - **没法核对**:它说错了你也不知道,只能信。
  91. **只在长任务上才划算**:要连续看几十次、或者把整部片子从头过一遍,中间几十次工具调用塞进
  92. 主会话会撑爆 —— 那时候派一个子代理,把它烧完、回来交一份总结,是对的。
  93. 所以默认、推荐、也是最省的用法,永远是**模型自己看图**。`see_now` 的整个设计(宫格、
  94. 222 token 的口径、`frame@` 时间码、清单)都是为这个服务的:它让模型能反复看、能对得上时间。
  95. 子代理那条路是备用轮胎,不是方向盘。
  96. ---
  97. ## 快速开始
  98. ### 在 DSH 里用
  99. 已经发布到 npm,用 DSH 自带的 `dsh plugin` 装(它本质是 profile 维度的 pnpm 包装器 +
  100. 插件登记器,会在装前预检 engines/peer、装后自动把 `dsh.bundle` 写进 profile):
  101. ```bash
  102. dsh plugin --profile web add dsh-see-now
  103. ```
  104. - **`web`** 是浏览器里用的那个 profile;桌面版换成 `--profile desktop`(那个 profile 需要先开过一次桌面端才会被初始化)。
  105. - 装完**重启 DSH** 生效(插件树在进程启动时组合)。
  106. - 重启之后**不用新开会话**:工具表是每一步重新组装的,旧会话下一轮就能看到 `see_now`
  107. (宿主还会插一条 `tool-addition` 告诉模型多了这个工具)。所以「工具表在会话开头就定死了」
  108. 不成立 —— 挂不上多半是没重启,或者装的是旧副本。
  109. - 卸载:`dsh plugin --profile web remove dsh-see-now`
  110. - 升级:`dsh plugin --profile web update dsh-see-now`
  111. **关掉悬浮窗之后想再打开**:点 × 只是这一次不看,插件不会自己弹回来。手动叫:
  112. ```bash
  113. npx dsh-see-window # 开窗(已经开着就什么都不做)
  114. npx dsh-see-window --status # 只看它在不在
  115. npx dsh-see-window --force # 杀掉重开
  116. npx dsh-see-window --close # 关掉
  117. ```
  118. ### 斜杠命令 `/seenow`
  119. `npx dsh-see-window` 解决的是**会话之外**的口子(终端里把窗叫回来);在会话里想"看一眼屏幕",
  120. 打 `/` 更直接:
  121. | 命令 | 行为 |
  122. |---|---|
  123. | `/seenow` | 开窗(幂等)→ 起采集 → 把常驻循环绑到**发命令的这个会话** → 通知模型「眼睛开了,从此刻起是 peek 模式」 |
  124. | `/seenow off` | 停循环 → 停采集 → 关窗 → 告诉模型别再看 |
  125. | `/seenow status` | 三行短状态:采集 / 窗口 / 循环绑在哪个会话 |
  126. | `/seenow show` \| `hide` | 显示 / 最小化到托盘(采集不停) |
  127. 命令**不提交用户消息**、不额外开一轮:它只把机器打开,然后投一句话给模型。
  128. 宿主没有 `commands` 服务时(headless / 老版本)**自动跳过注册**,工具照常可用——
  129. `see_now({action:"status"})` 里会如实写「命令:未注册」。
  130. <details>
  131. <summary>从源码装(改代码时用)</summary>
  132. ```bash
  133. git clone https://github.com/SAOS-3624/dsh-see-now.git
  134. cd dsh-see-now
  135. node scripts/install-dev.mjs # 拷进本机 DSH 的 desktop profile
  136. ```
  137. > `install-dev` 是**复制**不是软链(Node 解析裸包名要走真实路径,软链会找不到宿主的
  138. > `@deepseek-ai/dsh-tools`)。装完同样要重启 DSH。
  139. </details>
  140. #### 平台
  141. | 平台 | 屏幕引擎 | 要额外做的 |
  142. |---|---|---|
  143. | Windows | `ddagrab`,不行退 `gdigrab`(自动探测) | 无 |
  144. | macOS | `avfoundation` | 系统设置 → 隐私与安全性 → **屏幕录制**,勾上跑 DSH 的 App |
  145. | Linux | **`portal`**:xdg-desktop-portal ScreenCast → PipeWire → gst | `python-gobject` + `gstreamer` + `gst-plugin-pipewire`;首次弹一次选屏框(之后用 restore_token) |
  146. > **「看屏幕」和「悬浮窗」是两件事**,上表说的是采集引擎。悬浮窗(Tk)在 0.1.4 之前
  147. > 在 macOS/Linux 上**必崩**(`ctypes.windll`,issue #40),现在能起来了:Windows 专有的
  148. > DPI/WDA 调用都按平台收口,没有 WDA 的系统改走"抓到自己就填掉"那条路。
  149. > Retina 上窗口坐标是逻辑像素、和 mss 的物理像素会差一个缩放倍数,**背景可能对不齐** ——
  150. > 那类机器在设置里选 `frost`(静态磨砂)或 `solid`(纯色),这两档都不抓屏,不吃这个亏。
  151. **悬浮窗对解释器的要求**(这块最容易踩成"窗口起不来但没日志"):
  152. - **Python ≥ 3.8,且带 `_tkinter`**。插件会自己跑一遍探针找解释器,一个都不合格就把
  153. 每个候选为什么不合格、以及最后一次启动的 stderr 尾巴一起报出来 —— 先看那段再动手。
  154. - **macOS**:`/usr/bin/python3`(Xcode CLT 自带)就够用。homebrew 的 python **默认不带
  155. tkinter**,要单独 `brew install python-tk@3.13`,否则探针会报 `tkinter 不可用`。
  156. - **Linux**:`apt install python3-tk`;另外要 `python3-pil python3-mss python3-numpy`
  157. (缺哪个探针/启动报错里会点名)。
  158. - 指定解释器:`~/.dsh/see-window.json` 的 `{"python": "…"}` 或环境变量 `DSH_SEE_PYTHON`
  159. (`py -0p` 能列出 Windows 上装了哪些)。
  160. - 窗口自己的 stderr 落在 `~/.dsh/see-now-window.log`。**如果那个文件是 0 字节而你用的是
  161. `pythonw.exe`**,说明 stderr 被 GUI 子系统吞了 —— 改用 `python.exe` 复现一次就能看到
  162. Traceback。
  163. ffmpeg 不用进 PATH:插件会按 `DSH_FFMPEG_PATH` / `FFMPEG_PATH` / `DSH_FFMPEG_DIR` /
  164. `~/.dsh/tools/ffmpeg/bin` / `~/.dsh/bin` 的顺序自己找(DSH 桌面版把 ffmpeg 装在第四个位置)。
  165. ##### Linux 怎么抓
  166. Wayland 下 ffmpeg 没有正路(`x11grab` 抓的是 XWayland 根窗口,里面没有原生 Wayland
  167. 窗口;`kmsgrab` 要 root),所以 Linux 走的是 **xdg-desktop-portal 的 ScreenCast**:
  168. ```
  169. portal 握手(一次授权,restore_token 存 ~/.dsh/see-now/portal-token.json)
  170. → PipeWire 节点(GNOME 上还要 OpenPipeWireRemote 拿 fd,节点在 portal 私有实例里)
  171. → gst:pipewiresrc → videorate → videoconvert → [videocrop] → videoscale → rgb24
  172. ```
  173. **依赖**(缺了会直接影响能不能看屏幕,所以逐项列清楚):
  174. | 组件 | Arch | Ubuntu 24.04 | 缺了会怎样 |
  175. |---|---|---|---|
  176. | `python3-gi`(Gio) | `python-gobject` | `python3-gi` | **采集起不来**:直接报错并给出对应发行版的装包命令 |
  177. | GStreamer 基础插件<br>(`videorate` / `videoconvert` / `videoscale` / `videocrop` / `fdsink`) | `gstreamer` | `gstreamer1.0-tools` + `gstreamer1.0-plugins-base` | 同上 |
  178. | `pipewiresrc` | `gst-plugin-pipewire` | `gstreamer1.0-pipewire` | 同上 |
  179. | **PySide6**(只用于指示框) | `pyside6` 或 venv | 没有发行版包 → venv + `DSH_SEE_PYTHON` | **采集照旧**,只是没有光晕和顶部状态条(`SEE_NOW_INDICATOR=0` 等价) |
  180. | tkinter + Pillow + mss + numpy(只用于悬浮窗,上游 `window.py`) | `tk` `python-pillow` `python-mss` `python-numpy` | `python3-tk` `python3-pil` `python3-mss` `python3-numpy` | **采集照旧**,窗打不开;Wayland 下建议设置里选 `frost`/`solid`(这两档不抓屏) |
  181. | ffmpeg(只用于 `source:"file"` / `"rtmp"`) | `ffmpeg` | `ffmpeg` | 屏幕采集不受影响 |
  182. PySide6 装进 venv 之后,用 `DSH_SEE_PYTHON=~/.venvs/pyside/bin/python` 指给**指示框**;Qt 的 xcb 插件
  183. 还需要 `libxcb-cursor0`(Ubuntu 上不装会 `Could not load the Qt platform plugin "xcb"`)。
  184. **采集 worker 不吃这个变量**:它要的是系统 python 里的 `gi`(PyGObject),而 PySide6 的 venv 里
  185. 一般没有。worker 默认就是 `python3`,确实要换用 `DSH_SEE_WORKER_PYTHON`。
  186. 如果想让一个解释器两用,venv 得带系统包:`python3 -m venv --system-site-packages ~/.venvs/dsh`。
  187. - **静止画面**:Mutter/KWin 只在有 damage 时发帧,所以 gst 加了 `keepalive-time=250`
  188. (每 250ms 重发最后一帧),否则桌面不动时一帧都不来。
  189. - **`region`**:坐标是**采集流的坐标系**(`status` 里的「采集流 W×H」)。取框窗拿到的是
  190. Tk 的**物理像素**,两者比例不保证整数(实测 100% → ×1.0、125% → ×1.25、150% → ×1.5),
  191. 所以按 x/y 各自换算、再夹回流范围内。
  192. - **听声音(Linux)**:Windows 那条 WASAPI 回环用不了,改抓 **PulseAudio/PipeWire 的 monitor 源**
  193. (`ffmpeg -f pulse -i <默认输出>.monitor`,`pactl` 用来找默认输出)。所以 Linux 上只需要
  194. `numpy` + `ffmpeg`(`pactl` 来自 `pulseaudio-utils`;没有它时找默认输出的那段会报错),
  195. **不需要 pyaudiowpatch**;
  196. 转写仍然走宿主的 `speechToText` 或 `~/.dsh/asr.json`,和 Windows 同一条链。
  197. - **无桌面环境**(服务器 / 容器 / 纯 SSH)用不了:portal 不响应,插件会直接报清楚。
  198. - **已知问题**:反复 SIGKILL 采集进程可能让 KDE 的 `xdg-desktop-portal` 卡住(表现为
  199. 握手成功但 0 帧、不报错);正常 stop 会调 `Session.Close`,不会留下这个状态。
  200. 真卡住了:`systemctl --user restart xdg-desktop-portal`(GNOME 上还要重启
  201. `xdg-desktop-portal-gnome`)。
  202. - **悬浮窗**:用的是上游 `window.py`。非 Windows 上默认走 `frost`(静态磨砂)—— `live`
  203. 要抓窗口背后的像素,而 Wayland 拿不到、macOS 没给屏幕录制权限时也是黑的,整窗会发黑
  204. (issue #45 / PR #38)。想改回实时玻璃或纯色:设置页选,或 `~/.dsh/watch-window.json`
  205. 写 `{"glass": "live"}`。
  206. - 非 Windows 上窗口是**一张 `KEY(#010203)` 底色的深色卡片、四角直角**——`-transparentcolor`
  207. 是 Windows 专有,这里不做透明(Tk 在 X11/Wayland 也不合成 per-pixel alpha)。
  208. 然后让模型调:
  209. ```js
  210. see_now({ action: "watch" }) // 阻塞到你攒够一张图,然后把图交回来
  211. see_now({ action: "watch", say: "…" }) // 同时说一句话(只有 say 会进悬浮窗、会被念出来)
  212. ```
  213. 第一次调用约 1 秒返回当前屏幕;之后每次返回"这段时间里发生的事"。
  214. ### 不进 DSH,当普通 Node 库用
  215. 包本身不依赖 DSH,`capture` / `pipeline` / `png` 都是独立导出的:
  216. ```js
  217. import { spawnFrames } from 'dsh-see-now/capture';
  218. import { createPipeline } from 'dsh-see-now/pipeline';
  219. const p = createPipeline({ width: 800, height: 450, fps: 12, queueDepth: 0 });
  220. const run = spawnFrames({
  221. source: { kind: 'screen' }, // 或 { kind:'file', path:'x.mp4' }
  222. width: 800, height: 450, fps: 12,
  223. onFrame: (f) => p.push(f),
  224. });
  225. setInterval(() => {
  226. const sheet = p.take(); // 一张 PNG + 每帧的时间戳/档位/来源
  227. if (sheet) require('fs').writeFileSync(`sheet-${sheet.at}.png`, sheet.png);
  228. }, 200);
  229. ```
  230. ---
  231. ## 声音
  232. 核心**不内置任何 TTS 引擎**,只 dynamic import 一个你指定的模块。配好之后,
  233. `say` 会进悬浮窗**并且被念出来**;普通回复永远只有字。
  234. ```json
  235. // ~/.dsh/voice.json
  236. { "adapter": "/绝对路径/examples/voice-say-mac.mjs" }
  237. ```
  238. **自定义模型**:适配器自己的配置走 `options`,原样交给 `attach(api, options)` ——
  239. 换自己训的模型不用改适配器源码:
  240. ```json
  241. // ~/.dsh/voice.json
  242. { "adapter": "D:/my-voice/index.mjs", "options": { "model": "D:/my/models/xxx" } }
  243. ```
  244. macOS 自带一个:`examples/voice-say-mac.mjs`,走系统的 `say`,音色和语速从
  245. `~/.dsh/tts.json` 读(和 `dsh-watch-together` 共用同一份):
  246. ```json
  247. // ~/.dsh/tts.json
  248. { "voice": "Tingting", "rate": 185 }
  249. ```
  250. `say -v '?' | grep zh_` 可以列出本机所有中文音色(`Tingting` / `Meijia` / `Sinji` / `Reed` / `Rocko`…)。
  251. **改完不用重启**:每次调用工具前都会比对一次配置指纹(适配器路径 + `tts.json` 内容摘要),
  252. 变了就自动卸载重挂,没变就一次读文件的开销。所以改音色、换适配器,**下一句就生效**。
  253. > 适配器要自己处理两件事:**串行**(两个 `say` 抢音频设备会像结巴)和 **`spoken` 上报**
  254. > (在出声的那一瞬发,不能等念完 —— 展示层是"字跟着声音走"的)。
  255. ---
  256. ## 听声音(视频里在说什么)
  257. 上一节是**它说给你听**,这一节是**它听你在看的东西**。
  258. 图只能说明画面,说明不了"他们在说什么"。开着这个之后,`see_now` 的清单里会多一段
  259. `台词`,时间码和每帧那个 `24.1s` 是同一个坐标系 —— 模型能把一句话对到某一格画面上。
  260. ```
  261. 过去 24.1–45.6 秒的 4 个画面 · 798×462
  262. 1. 24.1s · 400×225 · cut · 2 档
  263. ...
  264. 台词(这段时间里视频里在说的,机器转写,可能有错字/听岔):
  265. 24.4s 评价一个镜头的好坏,一般来说有两个维度
  266. 31.2s 第二个维度是艺术维度
  267. ```
  268. **要什么**:一条 WASAPI 回环(抓的是"电脑正在放什么",不是麦克风)+ 一个转写服务。
  269. - 转写:DSH 桌面版**自带** `speechToText`(SenseVoice),不用配任何东西;
  270. 命令行/其他宿主就在 `~/.dsh/asr.json` 里指一个 OpenAI 兼容服务
  271. (和 `dsh-video-storyboard` 共用同一份配置):
  272. ```json
  273. { "baseUrl": "http://127.0.0.1:8000/v1", "key": "local-key", "model": "paraformer-zh-2024-03-09" }
  274. ```
  275. - 抓声音:`pip install pyaudiowpatch numpy`。**不需要装虚拟声卡**,也不需要开"立体声混音"。
  276. 装到哪个解释器都行,插件会自己找;找不到就把它写进 `~/.dsh/see-window.json`:
  277. ```json
  278. { "listenPython": "C:/Python313/python.exe" }
  279. ```
  280. - **只抓视频、不抓自己**(Windows 10 2004+):默认 `listen.source = "auto"` 先试
  281. WASAPI 进程回环 —— 只收目标进程那棵树的声音,TTS 从别的进程出来的声音根本进不来,
  282. 不再需要"按字数装聋"。起不来(旧系统 / 没有目标进程 / 激活失败)**自动回落整机回环**,
  283. 行为与以前一致,只是继续有"可能听见自己"的老毛病。目标进程默认自动挑"正在出声、
  284. 且不是播放器"的那个,也可以钉死:
  285. ```json
  286. { "listen": { "source": "process", "targetProcess": "chrome.exe" } }
  287. ```
  288. 实现在 `examples/floating-chat/procloopback.py`(纯 ctypes,不新增任何依赖)。
  289. 进程回环生效时**不再读 `quiet-until.json`** —— 那个窗口是给整机回环保命用的,
  290. 分声源之后它挡不掉任何 AI 声音,只会把窗口期间真实存在的台词整段误杀
  291. (实测:TTS 连念 128 秒,视频里的话一直在说,却一条定稿句都没有)。回退设备回环时照旧。
  292. **开销**(i9-12900HX / Win11,实测):抓回环 0.3% 单核,转写 3 秒段 130–160ms。
  293. 跟画面采集(0.18–0.43 核)比是零头。
  294. **延迟**("这句话说完" → "模型能读到它"):
  295. | 环节 | 耗时 | 说明 |
  296. |---|---|---|
  297. | 静音判定 | **350ms** | 要等这么久才确认"说完了" |
  298. | 写盘 + 扫目录 | 5ms + 平均 50ms | `pollMs=100`,Python 是写完 `.tmp` 再 rename,读不到半截 |
  299. | 转写 | 100–180ms | 实测 1.0 秒段 99ms、3.0 秒段 174ms(本地 paraformer,单线程,加并发没用) |
  300. | **合计** | **约 0.6 秒** | 从最后一个字到文字可用 |
  301. **长句不等断句**:连续说话时 `--max-seg`(3 秒)才会强切,这 3 秒里一个字都出不来。
  302. 所以现在**说满 1.8 秒就先转一版**(`live-<t0>.wav`,同名覆盖),整句落盘后再覆盖它 ——
  303. 真机实测首版字幕从 3.30 秒提前到 **2.08 秒**。临时版在台词里标「还在说…」,
  304. **整句永远盖过快照**(迟到的快照改不回去)。
  305. **还有一段不归 ASR 管**:一张图覆盖 15 秒(`maxWaitSec`),第 3 秒说的话要等第 15 秒出图时
  306. 才随图交付 —— 平均 7.5 秒。要更跟得上画面就压 `maxWaitSec` 或用 `pace:"dense"`,
  307. 代价是 token 按比例涨。`watch` 返回前还会等最多 300ms(`listener.settle`),
  308. 把"差几百毫秒没转完、会被推到下一张"的那句捞回来。
  309. 要更快就把 `listen.pollMs` 调小(最低 50,再低只是空转),
  310. 或者把 `listen.silence` 从 0.35 再降到 0.25 —— 代价是句子更容易被切成两半。
  311. 这些参数都在 `~/.dsh/see-now.json` 的 `listen` 段,改完重开 DSH。
  312. **图上长出了音轨条**:图底下多一条带子(默认档 12px 高),画响度柱、静音灰块和切点刻度 ——
  313. 配色和 `dsh-video-storyboard` 一样。数据不用重新解码一遍音频:`listen.py` 断句时已经在算 RMS,
  314. 顺手按 0.1 秒一格记下来(`levels.json`),画的时候直接取。
  315. **它不额外花 token**:条高取的是画面占行后剩下的余量(450 余 12),总高 462 仍在 11 行里。
  316. 台词的时间码给两个:`15:57:32 / 9.3s` —— 前面是本机时钟(回头对"当时几点"用),
  317. 后面是相对这张图起点的秒数(和每格画面同一个坐标系)。
  318. **没有或不想用**:`DSH_SEE_AUDIO=0` 关掉;或者干脆不装那个 Python 包。
  319. 两种情况都只是**没有字幕**,看图一切照旧 —— `status` 里的「听声音」那一行会直说是
  320. 缺服务、缺包、还是这台机器抓不到回环:
  321. ```
  322. 听声音:在听(宿主 SenseVoice,累计 42 句,最近一句 3s 前)
  323. 听声音:没在听 —— 没有能用的 Python(要 pip install pyaudiowpatch numpy)
  324. ```
  325. **已知限制**:
  326. - **只有 Windows**。macOS 抓系统声音要装 BlackHole 之类的虚拟声卡(而且要手动配置多输出设备),
  327. 这一版没做 —— 在 mac 上「听声音」会直接报"抓不到回环",其余功能正常。
  328. - **抓的是整个系统的输出**,不只是视频:QQ 提示音、BGM、游戏音效都会进台词。
  329. 视频里没人在说话时,转写多半是空的(服务端有 VAD),偶尔会对着音乐吐出几句幻觉歌词。
  330. - **它听得见自己**:TTS 念台词时音箱会出声,那段会被回环收回去。所以落盘前查
  331. `quiet-until.json`(和 `mic.py` 共用),念的时候整段丢弃 —— 否则 AI 会把自己的话
  332. 当成"视频里说的",然后接着聊下去。
  333. - 转写是**机器识别**,同音字会错("技术维" / "技术为")。模型被明确要求不要把它当原文引用。
  334. ---
  335. ## 参数
  336. | 参数 | 说明 |
  337. |---|---|
  338. | `action` | `watch`(默认,阻塞取图)/ `peek` / `start` / `stop` / `status` / `window` / `region` / `help` |
  339. | `show` | 配 `action:"window"`:`true` 把悬浮窗叫回来,`false` 藏起来,不传只报状态 |
  340. | `region` | 只看屏幕上一块:`"x,y,w,h"`(屏幕物理像素),或 `"off"` 取消。**一般不用手填** —— 说"框这块"让它自己框,见下 |
  341. | `say` | **唯一能进悬浮窗、能被念出来的通道**。普通回复不进气泡,但会被记进小窗的对话记录 |
  342. | `quality` | `low`(800×450) / `standard` / `high` / `ultra`。改它会重启采集(~0.6s),并立刻返回当前这一帧 |
  343. | `pace` | 节奏:`calm` / `normal`(默认)/ `dense`。见下 |
  344. | `scene` | `true` = 逐场景模式:一张图只装一个画面、铺满。见下 |
  345. | `seconds` | `watch` 的阻塞上限(默认 300,封顶 860)。只是上限,攒够一张就提前返回 |
  346. | `minFrames` | 少于这么多帧的图就别给我了(省 token) |
  347. | `source` / `path` / `realtime` | 采集源:屏幕 / 摄像头 / 回放一个视频文件 |
  348. > `see_now({action:"help"})` 返回一份完整手册(各节奏的具体门槛、档位换算、区域成本、
  349. > `status` 每行什么意思、变化日志怎么用)。**工具契约里只留"什么时候调、默认值是多少"**:
  350. > description 是每一轮请求都要重发的常驻文案,"为什么/多少 token/实测数字"搬进手册现取,
  351. > 不确定时调一次 `help` 就行。
  352. ### 只看一块(`region` / `action:"region"`)
  353. 只想让它盯住屏幕上的一个窗口(手机竖屏通话、播放器的画面、某个聊天窗口)时,
  354. **不用自己量像素**:说一句"框这块",模型会调 `see_now({action:"region"})`,
  355. 屏幕变暗后拖一个框,松手就行。坐标存在 `~/.dsh/see-now/region.json`,
  356. 之后每次 `watch` 默认只看这块,`region:"off"` 取消。
  357. 三条边界(插件会如实告诉模型,模型也该如实转述):
  358. - 抓的是**屏幕上正在显示的像素**:这块被别的窗口挡住,看到的就是挡住它的那个窗口;
  359. - **默认不接 OBS**,所以抓不到后台窗口、最小化的窗口。想让 OBS 出力(或者在没有物理屏的机器上抓),
  360. 用 `source: { kind: "obs" }` 或 `{ kind: "camera", device: "..." }`,走 dshow 设备;
  361. - 只支持**主屏**(负坐标表达不了,gdigrab 也不接受)。
  362. > 设备名带空格(`OBS Virtual Camera`)时如果报 `input url video=OBS` 这类"名字被截断"的错,
  363. > 把它换成 DirectShow 里的**无空格备用名**(`@device_sw_{...}\{...}`,在 ffmpeg 的
  364. > `-list_devices` 输出里能看到)传给 `device`。
  365. 带上区域后出图规则也变了:按区域宽高比出图(竖屏就出竖屏)、每帧长边固定 = 档位长边、
  366. 一张默认 2 帧最多 4 帧。token 会比全屏贵(帧不再被缩小):low 档 2 帧约 345 token。
  367. ### 三档节奏(`pace`)
  368. | 档 | 换画面门槛 | 最多多久叫醒一次 | 适合 |
  369. |---|---|---|---|
  370. | `calm` | 20 分 | 30 秒 | 日常挂着,只想知道"大场面变了没" |
  371. | **`normal`**(默认) | 12 分 | 15 秒 | 滚网页、切窗口不会每下都留帧 |
  372. | `dense` | 7 分 | 8 秒 | 幻灯片、逐帧播报 —— 贵,别常开 |
  373. > 觉得它太吵、太烧钱,就说一句「慢一点 / 省点钱」,模型会传 `pace:"calm"`。
  374. > 觉得它漏了、迟钝,就说「不灵敏」,它会传 `dense`。
  375. ### 逐场景模式(`scene`)
  376. 打开后**每换一次画面单独给你一张满幅图**,并且每换一次就叫你一次 —— 用来做"每翻一页说一句这是什么"。
  377. ```js
  378. see_now({ scene: true, say: "好,接下来每换一个画面我就说一句" })
  379. ```
  380. 它是粘性的,一直生效到 `scene:false` 或停止。
  381. 单帧铺满靠的是 `strategy: 'single'`(档位固定压到 1),不然场景一密,格子会缩到 1/4、1/9,中间全是灰条。
  382. ### 自己的节奏:`~/.dsh/see-now.json`
  383. 有三件事是"每次会话都一样的偏好",不该让模型每次传参:多久自己收工、
  384. 默认用哪一档节奏。写进这个文件(**改完重开 DSH 生效**,不进 profile,
  385. `dsh plugin update` 不会覆盖):
  386. ```json
  387. {
  388. "maxAutonomousWakes": 24,
  389. "idleStopMin": 10,
  390. "defaultPace": "calm",
  391. "fps": 12,
  392. "speechPacing": true
  393. }
  394. ```
  395. | 字段 | 默认 | 说明 |
  396. |---|---:|---|
  397. | `maxAutonomousWakes` | 8 | 连续这么多次自动叫醒都没人理 → 收工。**悬浮窗开着时,这条就是实际的最长陪看时长**(normal 15 秒一次 ≈ 2 分钟)。1–200 |
  398. | `idleStopMin` | 3 | 没开悬浮窗时,用户这么久没说话 → 收工。`0` = 关掉这条 |
  399. | `defaultPace` | `normal` | 新会话/重开采集时的默认节奏:`calm` / `normal` / `dense` / `game-economic`。调用里显式传 `pace` 仍然优先 |
  400. | `fps` | 12 | 采集**与打分共用**的帧率。采集侧定时抽帧、`pipeline` 算"秒 ↔ 帧"都用它,两个数不一致会让积分阈值和密度窗整体偏 |
  401. | `timeNormalizeFrames` | `true` | 把三处**按帧**的内部窗口(`smoothFrames` 6 / `BAR_WINDOW` 24 / `cutBgWindow` 6)按 `帧数/12×fps` 折算成等效帧数,保住秒数。`fps: 12` 时折算系数正好 1,行为逐位不变;关掉 = 0.1.x 老口径 |
  402. | `speechPacing` | `true` | 按上一句的估计时长排下一轮(中文约 5 字/秒)。`"guard"` = 只在长句时推迟、不比旧节奏密;`false` = 退回固定间隔 |
  403. | `changeLog` | `false` | 交付时在图下面附一段「这期间屏幕怎么动的」(每张图一行:时刻 / 变化分 / 方位 / 占屏)。`queueDepth` 挤掉的画面只有这里能看到。每次交付约 +100 token,默认关 |
  404. | `tierMode` | `density` | 格子大小按什么算:`density` 看过去 1 秒平均每秒几帧;`weight` 按每帧变化分切面积(同图内会出现大小对比,省 28~45% token,但一张图覆盖的时长变长、出图变慢) |
  405. | `tierCurve` | `docx` | 七道阈值取哪一套:`docx` 原始 / `perceptual` 按人眼瞬时记忆定标(一格 3 s ~ 0.3 s)/ `custom` 走 `tierThresholds` |
  406. | `tierThresholds` | `[0.26,0.6,0.9,1.2,1.8,2.4,3.0]` | `tierCurve:"custom"` 时生效:7 个**帧/秒**的数,**必须严格递增**(不递增会整份退回默认 —— 滞回带互相盖住会让档位卡死) |
  407. | `tierStyle` | `standard` | 映射:`standard`(1 档压成 1/2)/ `native` 原样 / `full` 整体降一档 / `compact` 升一档 / `custom` 走 `tierMap` |
  408. | `tierMap` | `[1,2,3,4,5,6,7,8]` | `tierStyle:"custom"` 时生效:第 i 个数 = "档位 i+1 映射到哪一档" |
  409. **为什么值得单独说 `fps`**:这套阈值里**只有三处是按帧写的**(`smoothFrames` / `BAR_WINDOW` /
  410. `cutBgWindow`),其余全是秒或分数 —— 因为本仓一直固定 12fps,帧数恰好等于时间,写死也没人发现。
  411. 改采集帧率(比如降到 8 省 CPU、升到 15 更跟手)之后,那三处窗口的**秒数**就变了:
  412. 15fps 下平滑只剩 0.4 秒、黑边窗 1.6 秒。`timeNormalizeFrames` 就是补这个的,
  413. **切点判定完全不受影响**(`cutAbs` 是分数、`cutMinGap` 是秒、积分是 `4×fps×3` 用 fps 换算)。
  414. 实测:同一段素材抽成 12fps(519 帧)和 15fps(649 帧)两批,`cut` 都是 **48** 个;
  415. 归一化打开时两边都出 **10 张**图,关掉则 15fps 变成 **12 张**(窗口变短 → 封箱更频繁)。
  416. **为什么要 `changeLog`**:出图队列只留最新一张("宁可丢老画面,不给模型看十几秒前的事")。
  417. 这在陪看视频时是对的,但**配合操作电脑时不够** —— 模型点完一下、或者上一轮思考的十几秒里
  418. 屏幕变了什么,回来时只剩一张"现在"的快照。打开这条之后,每张图(包括被挤掉的那些)都会
  419. 留一行摘要:
  420. ```
  421. 变化日志(3 段;图被挤掉时只有这个):
  422. 12.3s · 分 0.3 · 静止
  423. 27.4s · 分 35 · ⚡切场景 · 中右 51%
  424. 43.0s · 分 12 · 变化 · 中心 23%
  425. ```
  426. 它只记"变了多少、哪里变",不记"变的是什么"(那还得看图)。摘要按 `changeLogMax`(默认 60 条)
  427. 滚动淘汰,取走即清,不会在同一段里重复。
  428. **为什么要 `speechPacing`**:固定间隔是从"叫醒那一刻"起算的(calm 30s / normal 15s / dense 8s / 逐场景 4s),
  429. 跟上一句说了多久没关系。现在默认改成**跟随上一句**:上一句 3 秒,下一轮最早 3.8 秒后(有 3 秒地板,防连珠炮);
  430. 上一句 12 秒,就顺到 12.8 秒。想保持旧节奏就写 `"guard"`(取旧间隔和"说完+气口"里更晚的那个),
  431. 写 `false` 完全关掉。用户插话不受限制。
  432. 估时长只看文本,误差约 ±20%(不同引擎/语速),目的是"跟住嘴",不需要精确。
  433. `see_now({action:"status"})` 的循环行会显示 `上一句约 X.Xs`、`下一轮最早 Ns 后`。
  434. `see_now({action:"status"})` 的「收工线」那一行会显示当前生效的值,
  435. 改过配置会带上文件路径 —— 否则"怎么陪一会儿就自己停了"很难查。
  436. 非法值会退回默认并在日志里留一条 warning,不会把插件弄挂。
  437. ---
  438. ## 它是怎么判断"变了"的
  439. 两条判据,缺一不可:
  440. **① 切点** —— 这一帧的分数跳得又高又孤立
  441. ```
  442. score ≥ cutAbs(12) // 绝对地板:变化够不够大
  443. score > 2.5 × max(1, 前后帧) // 尖峰:是不是"一下子"
  444. mc ≥ cutSpikeMcAbs(20) // 尖峰也要有 mc 覆盖,防过渡帧先切
  445. 距上一刀 ≥ 0.4 秒 // 不应期
  446. // 补充出口(相机/机位场景)
  447. score ≥ 6 && mc ≥ 60 // 运动补偿:整屏在动但邻域匹配不上 = 换镜头
  448. score ≥ 80 && 跳 ≥ 12 && ≥ 1.5×邻居 // 强台阶:兜住 mc 关掉的配置
  449. 6 ≤ score < 12 && score > 3×邻居 && mc ≥ 8 && 包围盒 ≥ 20 && 填充率 ≥ 0.2 // 相似构图:压缩块,不是稀疏 UI 条
  450. ```
  451. mc 是运动补偿后的"变了多少格"占比(0–255),搜索半径默认 4 格:
  452. 整屏平移 8 格时 radius=2 会误报 194,radius=4 只有 5;换镜头则两边都高。
  453. B 站游戏片里 30.33s 的切机位只有 23.2 分,但 mc=121,靠这条能留下。
  454. 前景运动(手、勺子、遮挡物)也会让 mc 变高,所以低/中分切点再加一道**背景模型**:
  455. 最近 6 帧里一直没怎么动的格子算稳定背景;如果当前帧只改掉一部分稳定背景
  456. (`bg < cutBgAbs=100`),绝对变化格数不超过 `cutBgMaxChanged=600`,
  457. 且变化区域没盖满高度(`mcSpanY < 0.85`),
  458. 就按前景运动处理,不切。真正换镜头会把稳定背景整片换掉,或至少盖满画面高度。
  459. 宽银幕的上下黑边不计入这个高度(`contentHeightRatio` 归一),否则 Sintel 这类
  460. letterbox 片子的正常切点会被误挡。全黑帧仍按 0 跳过;暗场上下发黑、中间有亮内容时
  461. 改用 `guardHeightRatio`,不再因为边缘暗就跳过守卫。
  462. 高分候选(`score ≥ 60`)再等 0.5 秒做一次未来帧确认:用最近 24 帧的参考背景
  463. 看候选帧改掉的部分有没有回来。手/勺子离开后画面回到旧背景,就不切;真正换镜头
  464. 在新场景里稳定下来,仍然切。这项确认只作用于高分候选,低/中分仍走当前帧守卫。
  465. 前景停住超过 0.5 秒时,未来帧不会回到旧背景,但外圈通常还是旧背景:
  466. `bgKeep` 之外再看 `bgBorderChanged`,背景变化不到整片且外圈几乎没动时也判前景。
  467. 这条只在 `bg < 220` 且外圈 < 10 时生效,避免挡整屏换镜头的真切点。
  468. 外圈已经判成前景的候选不再等未来帧;真正的高分切点仍最多等 0.5 秒。
  469. 低/中分候选如果**外圈也被改掉**(`border ≥ 60`)、稳定背景很少(`≤ 700`),
  470. 且背景变化不到整片(`bg < 160`;`bg ≥ 220` 且稳定背景 `≤ 300` 也算),
  471. 也等 0.5 秒做一次未来帧确认;只有一部分旧背景回来
  472. (`keep < 210`;稳定背景 ≤ 300 时放宽到 `220`)才判前景。
  473. 如果未来帧仍是整屏新画面,仍会切。这是在真实带货直播里
  474. 大手/产品盖住外圈时补的,静态外框的烹饪/开箱真剪不会被这条带走。
  475. 要**整条关掉这个低分确认**(只留高分路径):`cutFutureLowBgMax: 0`。
  476. 注意上面括号里那个 `bg ≥ 220 且稳定背景 ≤ 300` 是独立出口 ——
  477. 它曾经排在 `bg ≥ cutFutureLowBgMax` 之外,所以设 0 只关掉 `bg < 160` 那半边。
  478. **② 积分** —— 分不高但一直有,攒够才录一帧
  479. ```
  480. need = 4分 × 12fps × 3秒 = 144 // 固定的绝对阈值,不跟着画面一起涨
  481. 每帧累加自己的分,累够就录、清零
  482. ```
  483. 为什么两个都要:**尖峰是相对的**,在低分区也会成立。实测缓慢放大(持续运动)有帧 `s=13.6`、前后邻居只有 1.1/1.3,尖峰判据完全放行 —— 没有绝对地板,它就会被切成一块块。
  484. 反过来只有地板也不行:一镜到底的视频每帧 4 分,永远不会"跳"。
  485. ---
  486. ## 调试窗(不在插件里)
  487. ```bash
  488. npm run debug:live # 看屏幕
  489. npm run debug:live -- --source=file --file=x.mp4 --realtime=1
  490. npm run debug:live -- --source=file --file=x.mp4 --scene # 看逐场景模式
  491. ```
  492. Windows 上可以直接双击 `debug/调试窗.cmd`,跟着菜单走。
  493. 窗口里有三样东西:**帧流**(每一帧都有一条,留下的带缩略图和格号)、**正在拼的 sheet**(按真实像素位置摆,新帧落格有动效)、**两条曲线**(每帧变化分 + 积分累积/阈值)。
  494. 代码在 `debug/`,**不进 npm 包、不进插件**,只是从外面驱动同一条流水线。
  495. ---
  496. ## 实测(Windows:i9-12900HX / RTX 4060 Laptop / 2560×1600)
  497. 采集开销(12fps → 800×450):
  498. | 源 | 首帧 | CPU |
  499. |---|---|---|
  500. | `ddagrab`(桌面复制 API) | 370ms | **0.28 核** |
  501. | `gdigrab`(GDI 抓屏) | 310ms | 0.45 核 |
  502. | OBS 虚拟摄像头 | 575ms | 0.13 核 |
  503. ## 实测(macOS:M 系列 / Retina)
  504. | 源 | 首帧 | CPU |
  505. |---|---|---|
  506. | `avfoundation` 屏幕 | **~700ms** | **~0.16 核** |
  507. 首帧慢在 `AVCaptureSession` 冷启动(ffmpeg 进程本身 ~300ms),但稳态比 Windows 两种引擎都省。
  508. 像素格式是**探针试出来的**,不是写死的:屏幕输入不支持默认的 `yuv420p`,探针按 CPU 从省到费
  509. (`nv12` → `uyvy422` → `bgr0` → 设备默认)试到第一个真能出帧的,然后整个进程记住。
  510. > macOS 上有两个坑会伪装成"插件坏了",都写在 `src/capture.js` 里:
  511. > **① `-framerate` 在 avfoundation 屏幕源上不压速**(实测 30 帧只用 0.73 秒,≈40fps),
  512. > 必须靠输出侧 `-r 12` 把速度压回来 —— 开发时少了这一条,管道被灌出过 240GB 的 raw 文件。
  513. > **② 没有「屏幕录制」权限时它不报错**,exit 0、帧数正常,只是全黑。
  514. > 探针会算平均像素,发现全黑就在 `start` 的返回里带一句提示,告诉你去系统设置里勾。
  515. 变化分刻度(0–255,同一套代码):
  516. | 内容 | 分数 |
  517. |---|---|
  518. | 静止桌面 | **0.00**(屏幕采集近似无损) |
  519. | 光标在静止画面上移动 | **0.7** |
  520. | 两张色调接近的照片切换 | 16~18 |
  521. | 滚网页 / 切窗口 | 30~42 |
  522. | 两张完全不同的照片切换 | 46~63 |
  523. 所以 `cutAbs: 12` 这个默认值的位置是:**照片切换抓得住,光标和微小抖动碰不到**。
  524. ---
  525. ## 目录
  526. ```
  527. src/
  528. capture.js 唯一 spawn ffmpeg 的地方,一根 rawvideo 管道
  529. binaries.js 找 ffmpeg(DSH 桌面版不进 PATH,所以不能写裸命令)
  530. cuts.js 逐帧变化分(64×36 HSV 网格)
  531. pipeline.js 唯一有状态的地方:帧 → 打分 → 切点/积分 → 留帧 → 档位 → pack → 出图
  532. tiers.js 档位(格子边长 1/k)与策略
  533. pack.js DP 装箱:把 N 个不同大小的格子铺满画布
  534. sheet.js 合成 PNG(烧帧号、留缝)
  535. runner.js 采集管线 + 阻塞取图 + 节奏
  536. listen.js 听声音:扫 wav → 转写(宿主/本地 HTTP)→ 台词缓冲 → 挂到图上
  537. loop.js 常驻循环:有新图就唤醒模型
  538. index.js 工具注册与路由
  539. examples/floating-chat/ 悬浮窗(Tk)+ listen.py(抓回环、按静音断句)+ mic.py(麦克风)
  540. debug/ 调试窗 + audio-check.mjs(手工验听声音,不在 npm 包里)
  541. test/ 181 条测试
  542. ```
  543. ---
  544. ## 已知限制
  545. - **只认"画面变了",不认"语义变了"**。同一句话的两个排版版本算变化,两段内容不同但长得很像的页面可能算没变。
  546. - **没有跨帧去重**(除了 `dupMin` 那道粗筛)。它不保证给你的每一帧都"有新信息"。
  547. - **前景外圈守卫有边界**:外圈也被前景盖住时只能靠低分未来帧确认;
  548. 前景一直停住、`bg ≥ 220` 时仍挡不住。反过来,真正切到
  549. "外圈固定、主体只在中部变"的近景,可能被这条误挡。
  550. - **参考背景会被长期前景污染**:24 帧里前景占多数时模型会漂;外圈守卫还能挡一部分,
  551. 整屏前景仍然要等它离开。
  552. - **唤醒有节流**:再密也不会超过 `pace` 里的间隔 —— 语音播报是串行的,更快只会排队。
  553. - **平台**:Windows(`ddagrab` / `gdigrab`)和 macOS(`avfoundation`)都实测过;
  554. **Linux 走 portal**(无桌面环境、或没装 Screencast 后端时会直接报错,不假装能用;
  555. 首次要授权一次,KDE/GNOME 的行为略有差异,见上面「Linux 怎么抓」)。
  556. - **macOS 要多给一次权限**:系统设置 → 隐私与安全性 → **屏幕录制**,勾上跑 DSH 的那个 App。
  557. 没给的时候不会报错,只会全黑 —— 插件会提示,但权限本身只能你去点。
  558. - **听声音(台词)只有 Windows**:靠 WASAPI 回环,mac 上要装 BlackHole 之类的虚拟声卡
  559. 再配多输出设备,这一版没做。mac 上「听声音」会直接报抓不到回环,画面功能照常。
  560. - **区域模式只能看到前台像素**:没有 OBS 之类的采集源,被遮挡 / 最小化的窗口抓不到。
  561. 抓屏整体失败时(锁屏、UAC 安全桌面、远程桌面)窗口会退成一块**纯色底板**,
  562. 字还能读,但背后不是真实画面。
  563. ---
  564. ## 下游项目
  565. - **[dsh-see-now-more](https://github.com/nacivageer/dsh-see-now-more)** —— 基于本项目的本地增强分支:
  566. 常驻悬浮窗(IM 式聊天 / 历史 / 收藏 / 送达回执)、回合中插话、系统声音字幕、逐场景模式。
  567. 屏幕采样与拼图那部分仍是这里的代码,按 Apache-2.0 保留 LICENSE / NOTICE,README 标了上游。
  568. 不是本仓库维护的,问题请提到它自己的 issue。
  569. 想把衍生项目挂在这里,开个 issue 说一声就行 —— 不要求改代码,也不要求征得同意(Apache-2.0 本来就允许),
  570. 只是别让人以为它是官方版本。
  571. ---
  572. ## 协议
  573. **Apache License 2.0** —— 商用、闭源、再分发、改完再卖都可以,保留 [LICENSE](./LICENSE) 与
  574. [NOTICE](./NOTICE) 即可。
  575. `examples/floating-chat/` 来自同作者的另一个项目 `dsh-watch-together`,两边现在是**同一个协议**,
  576. 不再有"这个目录 Apache、其余非商业"的分裂。
  577. 愿意打赏就扫上面那个码 —— 不打赏一样能用全部功能,**没有任何东西锁在付费后面**。
  578. Copyright © 2026 SAOS-3624

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.