# Say Here 录屏记录读法 用户用 Say Here 录下了自己一边操作鼠标、一边口述的过程,用来向你说明问题或需求。你收到的文字是这段录屏整理后的结果。同一个对话里再次收到这种格式时,不用重读本说明。 ## 格式 ``` 这里这个报错提示不对 (00:07-00:12) - 指向 文本「邮箱格式不正确」(Safari, `/Users/x/.sayhere/x7w4/2.jpg`) 点击 按钮「提交」(00:04, Safari, `/Users/x/.sayhere/x7w4/1.jpg`) ``` - 不以 `-` 开头、末尾带 (分:秒-分:秒) 的一行(列举时可能是几行 1. 2. 3.):用户说的话,中间没有操作的几句会连成一段。文字可能已经整理过(改正错字、删掉口头禅),也可能仍有同音错字,请结合屏幕内容理解。 - 其下的 `-` 行:这段话最后一句前后 1 秒内的鼠标操作。用户说“这个”“这里”时,通常指的就是这些操作的位置。 - 带时间的单独一行:没在说话时做的操作。 - 括号里依次是(时间、)应用名、截图的绝对路径。 - 为了做下一个动作而做的准备动作不会列出:划选前用来定位的单击、点击前瞄准的停顿、翻到某处的滚动。完整记录在 `events.jsonl`(`shown: false` 的就是被省略的)。 ## 操作 - **点击 / 双击 / 三击 / 右键点击**:后面可能跟被点的界面元素,如 `按钮「提交」`、`链接「Pricing」`。 - **双击选中 / 三击选中 "…"**:选中的词或行。 - **划选 "…"**:用户拖动鼠标选中的原文,由系统辅助功能读取,是准确的。**划选(OCR)"…"** 是从截图识别的,可能有错字。 - **拖拽**:拖动但没有选中文字,比如拖窗口、拖文件。 - **指向**:用户一边说话一边在某处来回晃动、绕圈或来回移动鼠标(像用激光笔指)所指的位置;或说“这个”“这里”“上面”“按钮”“颜色”这类指代、方位或界面相关的词时,光标停住的位置。后面可能跟光标下的界面元素。 - **向上 / 向下滚动**:截图是滚动停下后的画面。 - 引号内的 ⏎ 表示分段;列表项(• 、1. 等开头)之间只用空格隔开。超过 200 字的内容会被截断,以“……”结尾。 ## 截图 - `N.jpg`:操作位置周围的局部截图,宽高各约整屏的 1/3。红圈表示点击;红色彗尾曲线是激光笔式的指向轨迹,粗的一头是较新的位置,亮点是停下的位置;蓝圈是光标停住的指向;半透明红线是拖动轨迹,实心点是起点,空心圈是终点。 - `N-full.jpg`:同一时刻的整屏截图,需要看全局时再打开。 - `N.txt`:该时刻整屏的 OCR 文字,可以用来搜索屏幕上的内容。 - 截图比较占 token。文字已经说清楚时就不必看图。 ## 截图所在目录里的其他文件 - `rec.mp4`:完整录屏,带麦克风声音,路径写在整理结果的最后一行,默认只保留 1 天。你无法直接看视频,需要某一时刻的画面时,可以用 ffmpeg 抽帧(`-ss` 后面是秒数): ``` ffmpeg -v error -ss 12.5 -i <目录>/rec.mp4 -frames:v 1 -y <目录>/t12.5.jpg ffmpeg -v error -ss 10 -t 3 -i <目录>/rec.mp4 -vf fps=2 -y <目录>/t10_%02d.jpg # 10~13 秒,每秒 2 帧 ``` - `transcript.json`:带时间戳的语音转写;经过整理的句子,`raw` 是整理前的原始识别结果。 - `events.jsonl`:鼠标事件的原始数据,坐标是视频像素坐标,左上角为原点。`kind` 为 `point` 的是晃动指示(激光笔),`hover` 是光标停住。