Skip to content
Back to search

chatbook

SkillWorks with Claude CodeGitHub

把用户手里的群聊导出文件(一个或多个群、多个文件、混合格式:QQ/Telegram 导出、ChatLab、通用 JSON 数组、手动整理的 txt、csv)的全部聊天记录,做成给群友看的「群聊年鉴」:大事记网站(按月时间线、搜索、年度十大、登录访问)、以群友为原型的同人小剧场、逐行读完全部记录写成的非虚构人物志,以及可用于后续创作、可和本人对照的人物性格模型(含盲测验证);也能出零 LLM 成本的统计看板(数据页)、分享卡片、年度报告、月报年报,支持两人私聊、大群;英文群为实验性支持(事件抽取、统计、数据页)。只要用户提到要把群聊记录整理成大事记/编年史/年鉴/纪念网站、给群友写人物小传或同人故事、根据聊天记录分析某人的性格或做人物设定、“这几年群里发生了什么”,或手里有聊天导出文件想“做点什么”(group chat yearbook、chat export / chat history to website、chat log timeline),就使用这个 skill——即使用户没说“年鉴”这个词。不适用:解读一小段聊天截图或几句话、即时回答“他这句话什么意思”、不需要成品网页或长文的一次性分析。

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Checked today
Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/snowsui--chatbook/badge.svg)](/listings/snowsui--chatbook)

HTML

<a href="/listings/snowsui--chatbook"><img src="/api/listings/snowsui--chatbook/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

Install instructions from the README

As written by the repo's author. findsafeskills has not verified these steps.

需要 Python 3.9 或更新。

git clone https://github.com/snowsui/chatbook.git   # 放进你所用 AI 工具的 skills 目录
pip install fonttools brotli        # 可选:字体子集嵌入
pip install cryptography            # 可选:给免费静态托管的公开链接加访问口令(build_locked.py)
pip install playwright && python3 -m playwright install chromium   # 可选:分享卡片 PNG
pip install jieba                   # 可选:数据页中文词云分词(没装时退化成 2–4 字 n-gram,词云里会有半截词)
# 可选:登录版网站需要 Node.js 与 Cloudflare 账号(npx wrangler)

字体不随仓库分发:页面用的三种字体各自是 SIL Open Font License(OFL)开源字体,下载地址和配置见 `assets/fonts/README.md`。不配置也能用,会退回系统字体。

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

SKILL.md · Manifest · 117 lines
  1. ---
  2. name: chatbook
  3. description: 把用户手里的群聊导出文件(一个或多个群、多个文件、混合格式:QQ/Telegram 导出、ChatLab、通用 JSON 数组、手动整理的 txt、csv)的全部聊天记录,做成给群友看的「群聊年鉴」:大事记网站(按月时间线、搜索、年度十大、登录访问)、以群友为原型的同人小剧场、逐行读完全部记录写成的非虚构人物志,以及可用于后续创作、可和本人对照的人物性格模型(含盲测验证);也能出零 LLM 成本的统计看板(数据页)、分享卡片、年度报告、月报年报,支持两人私聊、大群;英文群为实验性支持(事件抽取、统计、数据页)。只要用户提到要把群聊记录整理成大事记/编年史/年鉴/纪念网站、给群友写人物小传或同人故事、根据聊天记录分析某人的性格或做人物设定、“这几年群里发生了什么”,或手里有聊天导出文件想“做点什么”(group chat yearbook、chat export / chat history to website、chat log timeline),就使用这个 skill——即使用户没说“年鉴”这个词。不适用:解读一小段聊天截图或几句话、即时回答“他这句话什么意思”、不需要成品网页或长文的一次性分析。
  4. ---
  5. # 群聊年鉴(chatbook)
  6. 把一个老朋友群多年的聊天记录,变成群友会认真看、看了会笑也会被打动的东西。整套流程来自一个真实项目(9 位核心群友、8 年、约 25 万条消息),踩过的坑都写进了各模块文档。
  7. ## 先理解这件事的性质
  8. - **读者是聊天记录里的真人和他们的家属。** 写错一件事、引错一句话、把玩笑当真心、把一段私事写进公开页面,伤害的是真实的友谊。所以本 skill 的大部分规则都在服务两件事:**准确**(每个事实可追溯到原文)和**分寸**(禁区、真名、暧昧感、笑柄)。
  9. - **聊天记录很长,偷懒的读法会漏掉最重要的东西。** 最热闹的事往往是短句刷屏;人的真实样子在日常里而不在高光里。所以凡是“读”的环节都要求逐行读完,用并行子任务分摊。
  10. - **用户本人通常也在群里**,是作者也是被写的人。他确认过的事实(性别、关系、谁是谁)是最高依据。
  11. ## 模块(按需选用,可以只做其中几个)
  12. **产出模块**
  13. | 模块 | 产出 | 依赖 | 文档 |
  14. |---|---|---|---|
  15. | ① 导入与标准化 | `work/all.json` | 无 | references/00-export-guide.md(拿到导出文件)、01-ingest.md |
  16. | ② 大事记 | 按月事件 → 单文件网页 / 登录版网站 | ① | references/02-chronicle.md |
  17. | ③ 小剧场 | 以群友为原型的同人故事(化名) | ① | references/03-stories.md |
  18. | ④ 人物志 | 非虚构人物小传(群内称呼) | ①⑧ | references/04-portraits.md |
  19. | ⑤ 人物模型 | 可推演的人物性格模型(本地私用) | ①⑧ | references/05-personas.md |
  20. | ⑥ 验证闭环 | 审稿、日常基线、引语核对、盲测 | ⑤(也用于回修 ④) | references/06-validation.md |
  21. | ⑦ 发布 | Cloudflare Worker 登录版站点 | ②(③④⑮ 可挂成栏目) | references/07-publish.md |
  22. | ⑪ 分享形态与托管 | 分享卡片、年度报告、托管选型(免费静态托管时给公开链接加口令) | ②④ | references/11-share-hosting.md |
  23. | ⑫ 规模适配 / 增量 / 月报年报 | 两人私聊、大群、多群、长跨度;重新导出后只补新内容 | ② | references/12-scale-incremental.md |
  24. | ⑬ 英文(实验性) | 英文模板与统计口径(config.lang);只承诺事件抽取、统计、数据页 | — | references/13-english.md |
  25. | ⑭ 群聊戏与像不像盲测 | 按节拍表写群聊片段,和真实片段盲测 | ⑤ | references/14-creative.md |
  26. | ⑮ 数据页 | 只数不读的统计看板(榜单、热力图、复读、口头禅、词云、互动矩阵、小团体图、数据卡);单文件 / 网站第四栏 /stats;零 LLM 成本 | ① | references/15-stats-dashboard.md |
  27. **底层机制与维护**(不单独产出给读者的东西,但上面每个模块都用到)
  28. | 模块 | 内容 | 文档 |
  29. |---|---|---|
  30. | ⑧ 核心流水线 | 统一阅读、引语出处标注、pipeline 编排、档位与成本估算 | references/08-pipeline.md |
  31. | ⑨ 隐私闸门与本人确认 | 构建时隐私扫描(默认只提醒,可开严格模式);可选的一对一确认页与回收 | references/09-privacy.md |
  32. | ⑩ 评测 | 带标准答案的合成语料 + 自动评分(改 skill 时用) | references/10-evaluation.md |
  33. **踩坑总结**(强烈建议在开始 ③④⑤ 前读一遍):references/lessons.md
  34. 数据格式与目录约定:CONTRACT.md。子任务说明模板:prompts/(用 `scripts/fill_prompt.py` 填好占位再发给子任务,见下)。脚本:scripts/。
  35. **依赖**:Python 3.9 或更新,脚本以标准库为主。可选:`fonttools` + `brotli`(页面字体子集嵌入)、`cryptography`(免费静态托管时给公开链接加访问口令)、`playwright`(分享卡片 PNG、浏览器测试)、`jieba`(数据页中文词云分词;没装时退化成 2–4 字 n-gram,词云里会有半截词)。登录版站点需要 Node.js + wrangler。
  36. **脚本一律这样调用**:`python3 <skill>/scripts/<脚本>.py --project <项目目录> [参数]`(也可以把项目目录写成第一个参数)。路径里有空格或中文时加引号;脚本打印的命令已经加好了。
  37. ## 开工前:和用户确认这些(先做 1–4 定下人物名单,其余一次问清,别边做边问)
  38. 只做大事记(lite)时可以简化:第 4 条只要定全员和改名(核心人物缺省全员即可)、第 5 条直接 lite、第 8 条只问原文展示和家属(数据页的作息视图不用问)、第 11 条作者称呼不用问(只在人物志里用)——最短清单是 1、2、3、4、6、7、10。
  39. 1. **要做哪些模块**,给谁看(只给原群?带家属?),是否需要上线。
  40. 2. **聊天导出在哪**。怎么拿到导出文件、支持哪些格式、手动整理的 txt 会丢什么,都在 references/00-export-guide.md(本 skill 不负责获取聊天记录)。**让用户把手里的文件一次全给**(一个文件夹或多个路径):几个群、同一个群导出过好几次(时间重叠也行)、混合格式都可以,下一步 init_project 一次读入。
  41. 3. **导入**:`init_project.py --project <dir> <文件或目录>...` 自动识别格式和编码、分群(同一个群的重叠导出合并去重)、写最小 config、跑 ingest。读不了的文件不影响别的,最后列出办法照做即可(识别不了的写成 `文件:格式`、没日期的 txt 写成 `文件:txt@2024-02-10`);提示“疑似同一个群”的,问用户后用 `--same B=A` 合并;群名取自文件名的,记下来在第 10 条一起问。
  42. 4. **人物名单(核心人物)**——用户心里只有“核心人物”,不要让他理解 members / people / aliases:
  43. 1. `roster.py --project <dir> build` → work/roster.md;
  44. 2. 把 roster.md 的编号表给用户看(多群时先说各群几个人、哪些人按同一账号自动并成了一个人;再列“可能是同一个人”“可能是两个人共用一个名字”的建议,说明这些**没有**自动合并);
  45. 3. 让用户用一句话回复:选哪几个编号当核心人物、哪些是同一个人、谁要改称呼、哪个是他本人、哪些要去掉(机器人/广告号/退群的人)。名单里同一人多个昵称、一个外号几个人共用都很常见,**以用户说的为准**,不要自己合并(编号可写 `1-3`、`1、2、5`,也可直接写称呼);
  46. 4. 换成 `roster.py apply --core … [--merge …] [--rename …] [--me …] [--drop …] [--split …] [--members auto|…]`(写回 config 并重跑 ingest),把新的 roster.md 给用户再看一眼。几个人改称呼写 `--rename 1=芳姐,2=小周`(或每人一个 `--rename`),几组合并写 `--merge "3=7,8;4=9"`(分号隔组)。
  47. 核心人物写进 config.core:要写人物志/模型的人缺省就是他们(config.people 不写 = core),数据页的核心成员也取它;统计用的全体成员(config.members)缺省 = 核心 + 推荐为“成员”的人 + 作者本人。用户只说“给某某写一篇”时,核心就选这一人,成员按推荐。
  48. 5. **估成本、定档位**:跑 `estimate.py --all-tiers`,把 lite / standard / deep 三档的任务数、token 量和金额区间给用户看,让用户选 `config.tier`(见 08-pipeline.md 第 4 节)。拿不准的建议最短路径:先出数据页(零 LLM 成本)→ lite 出大事记 → 看了再决定。规模差得远(两人私聊、几百人大群、十年以上)时按 12-scale-incremental.md 定 `config.scale`。
  49. 6. **性别与关系**——一定要问,不要从昵称推断(“哥”“嫂”“大爷”这类反串称呼很常见)。写进 config.gender / config.relations。
  50. 7. **禁区与隐私**(通用禁区清单见 09-privacy.md 第一节,这里只问本群特有的):
  51. - 本群特有、绝对不能写的事(如某人近期的私事),写进 config.taboo_extra——**任何模式下都生效**;
  52. - 本群敏感词(config.sensitive_words)和群友真名列表(config.real_names)——隐私闸门据此提醒;用户只说“别写女生名字/公司名”没给具体词时,主控可以从聊天里检索出具体词,给用户确认后补进 sensitive_words(09-privacy.md 第五节);
  53. - 群里的核心梗碰到通用禁区(如“减肥、改名瘦虎”这类外形梗):问用户;默认可以写梗和事件本身,不写具体体重数字等;
  54. - 公开细节档位 config.public_detail:缺省 standard,用户明确要求才设 full(含义见 09 第一节)。
  55. - **问要不要开隐私拦截**:先说明默认行为——构建时把疑似隐私问题列出来供他过目,页面照常生成,是否发布由他决定;再问要不要打开拦截(命中「重点」级,如删过的句子又出现、手机号、敏感词,就中止构建,改掉才能出页面)。要就写 `"privacy": {"strict": true}`,不要就不写;以后随时可改。同时说明闸门只认逐字/近似命中,换了说法的要靠人看。
  56. 8. 公开范围:哪些群的原文可以在网页上展示(默认都不展示原文、只展示事件;数据页的复读句也用这个开关);成品会不会给家属看(决定 `family_safe`)。做数据页时另问:夜猫子/早鸟/活跃时段这类会暴露作息的视图要不要、潜水榜要不要(15-stats-dashboard.md 第一节)。
  57. 9. 语言:成品给英文读者看时设 `config.lang = "en"`(按读者选,不按聊天语言选,见 13-english.md)。英文是实验性支持:只承诺事件抽取、统计、数据页,其余要人工把关,先跟用户说清;英文群目前建议 lite 档(standard/deep 的统一阅读 00 没有英文版,选这两档要人工把关)。
  58. 10. **页面叫什么**:网站/页面标题(config.title,竖排大标题 config.pages.name)、每个群在页面上显示的名字(config.groups[].label——init_project 用文件名代替的要改)。
  59. 11. 可选:页面字体(config.fonts,见 assets/fonts/README.md)、人物志评语框的称呼(config.author_title,缺省“史官”)。不配也能出页面。
  60. 然后把其余答复补进 `chronicle.config.json`(见 CONTRACT.md)。
  61. ## 通用工作方式
  62. - **用 pipeline 驱动**:`pipeline.py status` 看进度和下一步,`pipeline.py next --limit <并发>` 领下一批任务(给出 prompt、填说明的完整命令、模型建议、产出路径)。进度在 `work/state.json`,跨会话可续;产出写好、机检通过就自动标 done。增量更新(incremental.py)登记的任务也在里面。
  63. pipeline 管的是 ①②④⑤⑥ 这条主线(导入 → 统一阅读 → 大事记 → 统计与基线 → 小传 → 人物模型与验证 → 终审 → 人物志页面);小剧场(③)、数据页(⑮)、本人确认(⑨)、分享卡片与年度报告(⑪)、站点打包(⑦)、增量与月报(⑫)、群聊戏(⑭)按各自文档手动跑。
  64. - **读原文一律用统一阅读**(prompts/00):一个分段读一遍,同时产出事件和人物证据(每条带消息 id),`collect_evidence.py` 汇总成每人的 evidence.md。lite 档只做大事记时用 01。
  65. - **并行子任务**:读原文、日常标注、盲测这类“量大、可分块”的活交给并行子任务(pipeline 标 cheap:便宜快速的模型,如 Claude Sonnet / Haiku);写作、建模、审稿、终审用强模型(标 strong:最强的模型,如 Claude Opus)。一次并发有上限时,排队补发。
  66. - **给子任务的说明**一律用 prompts/ 下的模板填空,不要临场口述——临场口述最容易漏掉禁区和格式。pipeline next 会给出命令,手动填也可以:
  67. ```
  68. python3 <skill>/scripts/fill_prompt.py --project <dir> --prompt 00 --files 2020-05_p1.txt --out work/prompts/00-a.md
  69. python3 <skill>/scripts/fill_prompt.py --project <dir> --prompt 08 --person 张三 --out work/prompts/08-张三.md
  70. ```
  71. config 类占位自动生成;任务参数用 `--person / --files / --months / --story-id / --story-brief / --round`,其他占位用 `--set a=1 b=2`(一次写多个;写两次 `--set` 后一个会覆盖前一个)。模板编号不唯一时写更长的前缀(`--prompt 17-monthly`、`--prompt 17b`)。有没填的占位会报错并提示该补哪个参数。
  72. - **所有引语带出处标注**:小传、人物模型里每句引语后紧跟 `<!--k:稳定键-->`(写法见 08-pipeline.md 第 2 节),交稿后跑 `verify_citations.py --strict` 清零;报告 `work/review/<人>-citations.md` 就是终审用的引语出处表。
  73. - **子任务的回报要能核对是否读完**:卡片里 `read_to < lines` 会被 pipeline 判为没读完;`next` 给出的命令带 `--from-line`,只补派剩余行,产出写 `<分段>-b.json`,不覆盖原卡片。
  74. - **隐私闸门**:构建公开页面的脚本会自动过闸门,默认只提醒、开 `privacy.strict` 才拦(references/09-privacy.md 第二节);把提醒转述给用户,改不改、发不发由他决定。子任务交回的稿子可以先 `privacy_gate.py --scan <文件>` 再合入;月报年报发群前可以跑 `privacy_gate.py --target digest`;用户删掉一句话时,可以 `privacy_gate.py --add-blocked "那句话"`,防止下游再加回来。
  75. - **每一步可审计**:事件带原文消息 ID;修改走修订清单(scripts/apply_fixes.py,old 必须唯一命中);模型和小传带修订记录。
  76. - **独立复核**:写的人不审自己。终审交给没参与写作的子任务,并给它“已知需重点查”的清单。
  77. - **对用户汇报**:每批子任务回来,用一两句话说清进展和发现的问题;需要用户拍板的事集中列出,并附上你的建议。
  78. ## 推荐顺序(= pipeline 的阶段顺序)
  79. 1. init_project → roster build → 用户圈定核心人物 → roster apply(让用户看一眼每群条数、时间范围、人名归一是否正确);estimate → 定档位。
  80. 2. ingest 之后随时可以出数据页(⑮,零 LLM 成本,适合先给群友一个“看得见的东西”)。
  81. split → read(统一阅读)→ collect → merge → check → freeze → chronicle:大事记最快出成果,也最能让用户校正人物关系和性别——让用户看人物列表,问“有没有认错的人”。
  82. 3. person-stats → baseline(**先日常,后写作与建模**)→ portraits(④);小剧场(③)可并行。
  83. 4. deep 档:personas(⑤)→ review / blind → revise(⑥)→ factfix 回修 ④ → overview。
  84. 5. editor 总编终审 → build 人物志页面。
  85. 6. 分享与发布:
  86. - 可选:想让被写的人先看看时,`build_review_pages.py` 生成每人的确认页 → 一对一私发 → `collect_reviews.py` 回收,按意见修订(09-privacy.md 第四节);构建和打包不依赖它,回收过的只打一行汇总提醒;
  87. - 构建输出里的隐私警告给用户过目;
  88. - 再按用户要的形态出:登录版站点(⑦)、分享卡片 / 年度报告(⑪)。部署是对外发布,先征得用户同意。
  89. 7. 之后群还在聊:按 ⑫ 做增量更新和月报年报。
  90. ## 收尾
  91. - 把项目要点(文件位置、部署方式、用户确认过的事实、待办)告诉用户,并建议保存到他的长期笔记。
  92. - 提醒用户:人物模型是基于聊天记录的推断,和真人的差异需要本人对照(模型里有“对照清单”);不要把人物模型发到群里。
  93. - 本人确认页含人物模型内容,适合一对一私发,别发群、别放进站点。
  94. - 本地单文件默认不加密,发给谁由用户自己决定。只有放到免费静态托管(无服务器、做不了登录)时,才用 build_locked.py 给公开链接加访问口令:**口令另走渠道**,别和链接发在同一处;弱口令能被离线猜出来(11-share-hosting.md)。
README.md · README · 114 lines
  1. # chatbook · 群聊年鉴
  2. 一个 skill(标准 SKILL.md 格式,放进支持 skill 的 AI 编程工具即可使用):把一个老朋友群多年的聊天记录,做成群友会认真看的东西——
  3. - **大事记**:按月的事件编年史,带原文引用、搜索、年度十大、群友榜;单文件网页或登录版网站。
  4. - **小剧场**:以群友为原型、用化名写的多体裁同人短篇(武侠、宫廷、推理、科幻、童话……)。
  5. - **人物志**:逐行读完全部聊天记录后写成的非虚构人物小传(太史公式“以事见人”,每句话可追溯原文)。
  6. - **人物模型**:可推演的人物性格模型(日常基线、发言类型分布、声音模型、关系网、情境推演),附独立审稿与盲测验证——用来和本人对照,或作为后续创作的人物设定。
  7. - **数据页**:只数不读的统计看板——话痨/打卡/斗图/夜猫子榜、星期×小时热力图、复读、口头禅与词云、@/接话/引用矩阵、小团体关系图、每人数据卡(零 LLM 成本)。
  8. - **分享**:每人一张竖版卡片、年度报告翻页(放到免费静态托管时可加访问口令);月报/年报;按人物模型写群聊片段并和真实片段盲测。
  9. - **流程**:统一阅读(一遍读完,事件与人物证据带消息 id)、pipeline 进度编排(跨会话可续)、lite/standard/deep 三档与成本估算、增量更新、两人私聊/大群适配;英文群为实验性支持(只承诺事件抽取、统计、数据页;建议 lite 档,standard/deep 需人工把关)。
  10. - **隐私**:构建时的隐私扫描(已删除素材、敏感词、个人信息、具体金额与住址、人物模型隔离;默认只提醒、开 `privacy.strict` 才拦,见 references/09-privacy.md)、可选的一对一本人确认页。skill 只负责生成,是否发布、发给谁由创作者决定。
  11. 流程来自一个真实项目(9 位核心群友、8 年、约 25 万条消息),踩过的坑都写在 `references/lessons.md`。
  12. > 成品截图:暂未附。想先看样子,把 `assets/samples/` 复制到一个空目录,跑 `ingest.py --project <那个目录>` 和 `build_stats.py --project <那个目录>`,打开里面的 `out/stats.html`。
  13. ## English
  14. An agent skill (standard SKILL.md format) that turns years of group-chat exports (QQ, Telegram, ChatLab, a generic JSON array, CSV, or hand-copied text) into a "yearbook" for the people in the chat: a month-by-month event timeline website, non-fiction profiles where every quote is traceable to a message, optional fan fiction and personality models, and a zero-LLM-cost stats dashboard. It ships with a privacy scan that lists likely leaks at build time (warn-only by default, with an optional strict mode that blocks the build) and optional per-person review pages; whether and where to publish is up to the creator. Prompts and docs are written in Chinese; English chats are supported experimentally (event extraction, stats and the dashboard); use the lite tier for them, since the unified reader (00) used by standard/deep has no English version and those tiers need manual review. Triggers: "group chat yearbook", "turn our chat export into a website", "chat history timeline".
  15. ## 安装
  16. 需要 Python 3.9 或更新。
  17. ```bash
  18. git clone https://github.com/snowsui/chatbook.git # 放进你所用 AI 工具的 skills 目录
  19. pip install fonttools brotli # 可选:字体子集嵌入
  20. pip install cryptography # 可选:给免费静态托管的公开链接加访问口令(build_locked.py)
  21. pip install playwright && python3 -m playwright install chromium # 可选:分享卡片 PNG
  22. pip install jieba # 可选:数据页中文词云分词(没装时退化成 2–4 字 n-gram,词云里会有半截词)
  23. # 可选:登录版网站需要 Node.js 与 Cloudflare 账号(npx wrangler)
  24. ```
  25. 字体不随仓库分发:页面用的三种字体各自是 SIL Open Font License(OFL)开源字体,下载地址和配置见 `assets/fonts/README.md`。不配置也能用,会退回系统字体。
  26. ## 用法
  27. 在你的 AI 工具里说,例如:
  28. > 我有几个群的聊天导出(~/exports/ 里,有 json 也有 txt),想做一个群大事记网站,再给几个老朋友写人物小传。
  29. > 把我和室友群这四年的聊天记录做成一个年鉴,先看看要花多少钱。
  30. > 这是我们宿舍群的 QQ 导出,帮我出一个数据页,看看谁是话痨、谁是夜猫子。
  31. AI 会先导入(自动识别格式和编码、把同一个群的几次导出合并)、列出跨群合并好的人物编号表让你一句话圈定核心人物,再给你看三档的成本估算,和你确认:要做哪些模块、**性别与关系**、额外禁区与敏感词、要不要打开隐私拦截、哪些群的原文可以公开、网站叫什么,然后写 `chronicle.config.json` 开工。
  32. ### 支持的输入
  33. 本 skill 只负责“拿到导出文件之后”的部分,不负责获取聊天记录;请使用平台官方导出功能,或自行选择工具导出为支持的格式,并确保只处理自己有权处理的记录。支持的格式(通用 JSON 数组、ChatLab、Telegram、QQ 消息管理器、txt、csv)、各平台怎么导出、手动整理的 txt 会丢什么,见 `references/00-export-guide.md`。
  34. 一次可以给多个文件或一个文件夹:几个群、同一个群的多次导出(时间重叠会去重)、混合格式都行,`init_project.py` 一次读入;读不了的文件不影响其他文件,最后会列出办法。
  35. ## 要花多少
  36. 数据页零 LLM 成本;其余按读的字数、要写的人数和档位估。下表是 `scripts/estimate.py` 的估算(子任务 cheap 按 Claude Sonnet、strong 按 Claude Opus 的 API 单价,用别家模型按各自单价,按缓存价算,±50%,仅供参考,价格以官方当前价格为准;用订阅额度跑的不按这个算):
  37. | 规模 | lite(只做大事记) | standard(+ 人物志) | deep(+ 人物模型与验证) |
  38. |---|---|---|---|
  39. | 两人私聊 1 年,约 2 万条 | 约 1200 万 token,$5–16(¥40–110) | 约 2400 万,$9–28(¥70–200) | 约 6600 万,$23–68(¥160–490) |
  40. | 小群 3 年,约 5 万条,写 5 人 | 约 2600 万,$12–35(¥80–250) | 约 5500 万,$21–64(¥150–460) | 约 1.6 亿,$53–158(¥380–1100) |
  41. | 大群 8 年,约 25 万条,写 9 人 | 约 2.4 亿,$84–253(¥610–1800) | 约 3.2 亿,$108–323(¥780–2300) | 约 5.4 亿,$169–507(¥1200–3700) |
  42. 绝大部分 token 是缓存读。导入后跑 `estimate.py --project <dir> --all-tiers` 可以按你的实际数据估一遍(还没选核心人物时写作部分不计,会提示)。
  43. **最短上手路径**(先花最少的钱看到东西,再决定要不要往下做):
  44. 1. 导入:`python3 scripts/init_project.py --project <项目目录> <导出文件或目录>`
  45. 2. 数据页(零 LLM 成本):`python3 scripts/build_stats.py --project <项目目录>` → `out/stats.html`
  46. 3. lite 档大事记:config 里写 `"tier": "lite"`,让 AI 按 pipeline 跑 → `out/chronicle.html`
  47. 4. 看过再决定要不要 standard(人物志)/ deep(人物模型)。
  48. ## 目录
  49. ```
  50. SKILL.md 主流程与模块选择
  51. CONTRACT.md 数据格式、目录、配置约定
  52. references/ 00–15 各模块方法文档 + lessons.md(踩坑总结)
  53. 00 导出指南 01 导入 02 大事记 03 小剧场 04 人物志 05 人物模型 06 验证 07 发布
  54. 08 核心流水线 09 隐私闸门与本人确认(可选) 10 评测 11 分享形态与托管 12 规模/增量/月报年报 13 英文(实验性)
  55. 14 群聊戏与盲测 15 数据页
  56. prompts/ 子任务说明模板 00–19(并行子任务用);prompts/en/ 英文版(部分模板没有英文版,见 13)
  57. scripts/ 导入、统一阅读汇总、pipeline 编排、成本估算、事件机检、冻结、修订、统计、引语核对、隐私闸门、
  58. 本人确认、页面构建(大事记/小剧场/人物志/数据页/卡片/年度报告/口令页)、站点打包、增量更新、群聊戏抽样(统一 --project <dir>)
  59. assets/ 页面模板、站点(Cloudflare Worker)模板、输入样例
  60. evals/ 评测:带标准答案的合成语料 + 自动评分(references/10-evaluation.md)
  61. ```
  62. ## 隐私与分寸
  63. 这套东西写的是真人,读者也是真人和他们的家属。skill 内置了分层禁区(公开页面 vs 本地私用的人物模型)、引语出处标注与机检、独立终审;构建时会列出疑似隐私问题供你过目,默认只提醒、开 `privacy.strict` 才拦(references/09-privacy.md 第二节),是否发布由你决定。另有可选的一对一本人确认页,想让被写的人先看看时用。开工前建议先问清性别、关系和不能写的事。
  64. 闸门只认逐字或近似命中(已删除素材、敏感词、真名、个人信息、金额住址这类能用规则认出的东西);换了说法的机器认不出,要靠人看。
  65. ## 自测
  66. ```bash
  67. bash scripts/test_ingest.sh # 6 种输入格式、txt 补充形态、非 UTF-8、config 校验、init_project 容错与跨格式合并、各数据脚本冒烟
  68. bash scripts/test_roster.sh # 多份记录 → 人物名单:格式嗅探、重叠导出去重、跨群同账号合并、改名建议、apply 幂等、编号写法、core 联动
  69. bash scripts/test_pipeline.sh # 统一阅读、补读剩余行、引语标注、pipeline、成本估算
  70. bash scripts/test_privacy.sh # 隐私闸门(默认警告 / 严格模式拦)、标记已看过、金额住址、月报、本人确认(可选)与汇总提醒
  71. bash scripts/test_scene.sh # 群聊戏节拍表与盲测打包
  72. bash scripts/test_stats.sh # 数据页:统计口径、敏感词零命中、无时刻群、口头禅口径、英文、网站打包(有 playwright 时加浏览器检查)
  73. bash scripts/test_share.sh <项目目录> [年份] # 卡片、年度报告、口令页(需已做完大事记和 person_stats 的项目)
  74. bash scripts/test_incremental.sh <项目目录> # 增量更新、月报年报、核心人物(需已有 work/stable/、第一个群是 txt 的项目;init_project 建的即可)
  75. bash scripts/test_incremental_groups.sh # 多群增量:基线按群记、各群同步进度不同、中途新接入一个群、旧版基线换算
  76. ```
  77. 前六个自带数据、在临时目录里跑;后两个需要一个真实跑过的项目做源(只读,不改它)。
  78. ## 许可
  79. MIT,见 `LICENSE`。字体不在仓库里,各自遵循 OFL。
scripts/privacy_gate.py · Bundled script · 599 lines
  1. """隐私闸门:公开页面(大事记 / 小剧场 / 人物志 / 数据页 / 登录版网站)构建时的隐私扫描。
  2. build_chronicle / build_stories / build_portraits / build_stats / package_site 等会自动调用;默认只提醒不拦:
  3. 命中项全部作为警告打印(位置、上下文、id),照常写 work/privacy/last_scan.json,构建继续——是否发布由创作者决定。
  4. 想让闸门拦住构建时开严格模式:config 写 "privacy": {"strict": true}(所有构建脚本生效),或单独运行时加 --strict。
  5. 严格模式下「重点」类命中(下面标 ★ 的规则)会中止构建。也可以单独运行:
  6. python3 scripts/privacy_gate.py --project <dir> # 扫所有公开页面的输入(存在的才扫)
  7. python3 scripts/privacy_gate.py --project <dir> --target portraits # 只扫一类:chronicle / stories / portraits / stats / digest
  8. python3 scripts/privacy_gate.py --project <dir> --scan a.md b.json # 扫任意文件(所有规则都按公开页面口径)
  9. python3 scripts/privacy_gate.py --project <dir> --strict # 严格模式:有重点命中就以退出码 1 结束
  10. python3 scripts/privacy_gate.py --project <dir> --allow 3f9a01c2bd --reason "误报" # 标记已看过,之后不再列出
  11. python3 scripts/privacy_gate.py --project <dir> --add-blocked "用户删掉的那句话" # 追加已删除素材清单
  12. python3 scripts/privacy_gate.py --project <dir> --list # 看规则来源与忽略记录
  13. 规则(详见 references/09-privacy.md):
  14. - ★ blocked:已删除素材清单 = config.blocked_snippets + work/privacy/blocked.txt(一行一条,# 开头是注释)。
  15. 去掉空白与标点后做子串匹配;≥8 字的片段还做近似匹配(片段的二字组有 ≥70% 落在同一句里)。
  16. - ★ sensitive:config.sensitive_words(本群敏感词)。
  17. - ★ pii:手机号、身份证号、银行卡号(Luhn 校验)、邮箱、微信号/QQ 号、「密码是…」。
  18. - realname:config.real_names(列表,或 {显示名: 真名/[真名…]});出现在小剧场里算 ★,其他页面是普通警告。
  19. - ★ persona:公开页面的输入里引用 out/personas/ 下的文件,或出现人物模型的章节标题(大五人格、对照清单…)。
  20. - ★ money / address:大事记(stable/ 事件、top10 理由)、人物志、月报年报(out/digest/*.md)里带数字的金额
  21. (28k、3万、500元、¥200;中文数字的“补助八百”“预算十几万”“借了三千”要求前后有钱相关的词)和门牌住址(3号楼、2单元、501室、某某路12号),config.public_detail 为 standard(缺省)时;
  22. public_detail=full 时降为下面的普通警告。小剧场是虚构,不查这两条。
  23. - builtin:内置分层词表(健康/外貌体重/孕育/感情婚恋/家庭矛盾/金额/住址/证件账号/工作单位职级/醉酒),宽松匹配,普通警告。
  24. 闸门只认逐字或近似命中:换了说法的(“那件事”“你懂的”、打比方)机器认不出,要靠人看。
  25. 看过、确认无碍的命中可以 --allow 掉(记在 work/privacy/allowlist.json),之后不再列出,严格模式下也不再拦。
  26. """
  27. import datetime
  28. import hashlib
  29. import json
  30. import re
  31. import shlex
  32. import sys
  33. import unicodedata
  34. from pathlib import Path
  35. sys.path.insert(0, str(Path(__file__).resolve().parent))
  36. # 去掉这些字符再匹配(宽松匹配:中间夹了空格、Markdown 记号、标点也算命中)
  37. SKIP = set(' \t\r\n​‌‍*_~`#>|"\'“”‘’「」『』《》〈〉()()[]【】,,.。!!??;;::、…—-–·/\\')
  38. # 工作变故(内置词表的「工作单位职级」与 build_stats 的展示敏感词共用)
  39. WORK_CHANGE = r'裁员|被裁|被优化|辞职|裸辞|辞退|离职|跳槽|失业|待业|开除|降薪|降职|升职|绩效|赔偿|面试|offer|考公|考编|申论|行测|上岸'
  40. # 内置分层词表(正则,作用在去掉空白标点后的文本上)。命中 = 警告。
  41. BUILTIN = {
  42. '健康': r'住院|出院|手术|开刀|确诊|癌|肿瘤|化疗|抑郁|焦虑症|精神科|心理医生|吃药|病房|急诊|体检报告|复查|医院',
  43. '外貌体重': r'体重|减肥|长胖|胖了|发福|\d+斤|秃|发际线|颜值|整容',
  44. '孕育': r'怀孕|怀上|怀了|备孕|孕[期检]|产检|预产期|流产|坐月子|生娃|二胎|不孕|试管|接班人|下一代|添丁|有喜',
  45. '感情婚恋': r'离婚|分手|出轨|前任|前男友|前女友|相亲|单身|脱单|暧昧|表白|暗恋|追她|追他|约会|cp|嗑|官宣|小三',
  46. '家庭矛盾': r'吵架|冷战|婆婆|丈母娘|婆媳|闹掰|翻脸',
  47. '金额': r'\d+(?:\.\d+)?(?:万|千|w|k)(?:块|元)?|\d+(?:块|元|rmb)|¥\d|¥\d|工资|年薪|月薪|存款|房贷|车贷|借钱|欠钱|彩礼|首付',
  48. '住址': r'小区|\d+号楼|\d+栋|\d+单元|门牌|\d+室|路\d+号|住在',
  49. '证件账号': r'身份证|银行卡|卡号|账号|密码|手机号|电话号|车牌',
  50. '工作单位职级': r'公司|集团|单位|职级|总监|处长|科长|p\d|t\d|' + WORK_CHANGE,
  51. '醉酒': r'喝醉|喝多了|断片|吐了|宿醉',
  52. }
  53. # 带数字的金额、门牌住址(作用在去掉空白标点、小写后的文本上):public_detail=standard 时公开的非虚构页面里算重点
  54. MONEY = r'\d+(?:\.\d+)?(?:万|千|w|k)(?:块|元)?|\d+(?:块|元|rmb)|¥\d|¥\d'
  55. # 中文数字金额(补助八百、预算十几万、月薪两万五、借了三千块):数字里要有 百/千/万 或后面跟 块/元/k,
  56. # 后面不能是量词(一万个不愿意、三千米),前 8 字、后 6 字内还要有钱相关的词(“块钱”“元”本身就算;单个“块”不算,
  57. # “吃了三块”多半是块数)——“三分手感”“一万个不愿意”这类不报
  58. MONEY_CN_NOT = r'[多来]?(?:个|次|人|天|斤|公里|里|米|字|条|遍|分|岁|年|页|张|首|集|步|层|楼|号|名|位|件|本|章|句|小时|钟|秒|周|月|度|克|倍|场|口|台|部)'
  59. MONEY_CN = (r'(?:[一二两三四五六七八九十几][零一二两三四五六七八九十百千万几]*(?:多|来)?(?:块钱|块|元|k|w)'
  60. r'|[一二两三四五六七八九十几][零一二两三四五六七八九十几]*[百千万][零一二两三四五六七八九十百千万几]*(?:多|来)?(?:块钱|块|元|k|w)?)'
  61. rf'(?!{MONEY_CN_NOT})')
  62. MONEY_CTX = re.compile(r'钱|元|工资|薪|预算|补助|补贴|借|还[钱款了给他你我她]|价|花|offer|租|奖金|红包|转账|收入|存款|首付|贷|赚|挣|卖|买|费|报销|欠|贵|便宜|rmb')
  63. ADDRESS = r'\d+号楼|\d+栋|\d+单元|\d+室|\d+弄|\d+号院|路\d+号|街\d+号|门牌号?\d+'
  64. # 人物模型的章节标题 / 专有字样(出现在公开页面输入里 = 重点)
  65. PERSONA_MARKS = r'out/personas|personas/|人物模型|大五人格|misbelief|发言类型分布|日常基线|私人频道|情境推演|盲区与偏差|对照清单|声音模型|价值排序|核心恐惧|表层与真性格|压力下显出'
  66. PII = [ # (规则名, 正则, 作用在哪种文本上, 额外校验)
  67. ('手机号', r'(?<!\d)1[3-9]\d(?:[ -]?\d){8}(?!\d)', 'nfkc', None),
  68. ('身份证号', r'(?<![0-9A-Za-z])\d{6}(?:19|20)\d{2}(?:0[1-9]|1[0-2])(?:0[1-9]|[12]\d|3[01])\d{3}[0-9Xx](?![0-9A-Za-z])', 'nfkc', None),
  69. ('银行卡号', r'(?<!\d)\d(?:[ -]?\d){15,18}(?!\d)', 'nfkc', 'luhn'),
  70. ('邮箱', r'[A-Za-z0-9._%+-]+@[A-Za-z0-9-]+(?:\.[A-Za-z0-9-]+)*\.[A-Za-z]{2,}', 'nfkc', None),
  71. ('微信号/QQ号', r'(?i)(?:微信号?|vx|wx|qq号?)\s*(?:号)?\s*(?:是|为|[::])\s*[A-Za-z0-9_-]{5,20}|(?:微信号|qq号)\s*[A-Za-z0-9_-]{5,20}', 'nfkc', None),
  72. ('密码', r'密码\s*(?:是|为|[::])\s*\S{3,}', 'nfkc', None),
  73. ]
  74. def luhn(digits):
  75. s, alt = 0, False
  76. for ch in reversed(digits):
  77. d = int(ch)
  78. if alt:
  79. d = d * 2 - 9 if d > 4 else d * 2
  80. s += d
  81. alt = not alt
  82. return s % 10 == 0
  83. def norm(text, strip=True):
  84. """逐字 NFKC + 小写;strip=True 时再去掉空白和标点。返回 (新文本, 每个新字符对应的原下标)。"""
  85. out, pos = [], []
  86. for i, ch in enumerate(text):
  87. for c in unicodedata.normalize('NFKC', ch).lower():
  88. if strip and (c in SKIP or c.isspace()):
  89. continue
  90. out.append(c)
  91. pos.append(i)
  92. return ''.join(out), pos
  93. def bigrams(s):
  94. return {s[i:i + 2] for i in range(len(s) - 1)}
  95. # ---------------- 规则 ----------------
  96. def _read_lines(path):
  97. if not path.exists():
  98. return []
  99. return [x.strip() for x in path.read_text(encoding='utf-8').split('\n') if x.strip() and not x.strip().startswith('#')]
  100. def blocked_list(proj, cfg):
  101. items = list(cfg.get('blocked_snippets') or []) + _read_lines(proj / 'work/privacy/blocked.txt')
  102. seen, out = set(), []
  103. for s in items:
  104. n = norm(s)[0]
  105. if n and n not in seen:
  106. seen.add(n)
  107. out.append(s)
  108. return out
  109. def real_names(cfg):
  110. rn = cfg.get('real_names') or []
  111. if isinstance(rn, dict):
  112. vals = []
  113. for v in rn.values():
  114. vals += v if isinstance(v, list) else [v]
  115. rn = vals
  116. return [x for x in rn if x and len(x) >= 2]
  117. class Rules:
  118. def __init__(self, proj, cfg):
  119. self.blocked = [(s, norm(s)[0]) for s in blocked_list(proj, cfg)]
  120. self.sensitive = [(w, norm(w)[0]) for w in cfg.get('sensitive_words') or [] if norm(w)[0]]
  121. self.real = [(w, norm(w)[0]) for w in real_names(cfg)]
  122. self.builtin = {k: re.compile(v) for k, v in BUILTIN.items()}
  123. self.money = re.compile(MONEY)
  124. self.money_cn = re.compile(MONEY_CN)
  125. self.address = re.compile(ADDRESS)
  126. self.persona = re.compile(PERSONA_MARKS)
  127. self.pii = [(n, re.compile(p), t, chk) for n, p, t, chk in PII]
  128. def cn_money(rules, n):
  129. """去掉空白标点后的文本里,中文数字写的金额 → [(起, 止)]。要求前 8 字、后 6 字内有钱相关的词,后面不是量词。"""
  130. out = []
  131. for m in rules.money_cn.finditer(n):
  132. if m.group().endswith(('钱', '元')) or MONEY_CTX.search(n[max(0, m.start() - 8):m.start()] + '|' + n[m.end():m.end() + 6]):
  133. out.append((m.start(), m.end()))
  134. return out
  135. def _ctx(text, a, b, width=14):
  136. left = text[max(0, a - width):a].replace('\n', ' ')
  137. right = text[b:b + width].replace('\n', ' ')
  138. return f'{"…" if a > width else ""}{left}【{text[a:b]}】{right}{"…" if b + width < len(text) else ""}'
  139. def scan_text(rules, where, text, realname_block=False, builtin=True, excerpt=False, money_block=False):
  140. """扫一段文本(通常一行)。返回命中列表;severity = block(重点,严格模式下会拦)/ warn(普通警告)。
  141. excerpt=True:原文片段,只跑重点类规则。money_block=True:带数字的金额、门牌算重点(大事记、public_detail=standard)。"""
  142. hits = []
  143. n, pos = norm(text)
  144. k, kpos = norm(text, strip=False)
  145. def add(rule, sev, a, b, mapping, label=''):
  146. a0, b0 = mapping[a], mapping[b - 1] + 1
  147. match = text[a0:b0]
  148. win = norm(text[max(0, a0 - 15):b0 + 15])[0]
  149. hid = hashlib.sha1(f'{rule}|{norm(match)[0]}|{win}'.encode()).hexdigest()[:10]
  150. hits.append({'id': hid, 'rule': rule, 'severity': sev, 'label': label, 'match': match,
  151. 'where': where, 'col': a0 + 1, 'context': _ctx(text, a0, b0)})
  152. def find_all(needle, hay):
  153. i = hay.find(needle)
  154. while i >= 0:
  155. yield i, i + len(needle)
  156. i = hay.find(needle, i + 1)
  157. covered = set()
  158. for raw, s in rules.blocked:
  159. for a, b in find_all(s, n):
  160. add('blocked', 'block', a, b, pos, '已删除素材:' + raw[:30])
  161. covered.add(raw)
  162. if rules.blocked and len(n) >= 8: # 近似:改了几个字又加回来的
  163. for sent in re.finditer(r'[^。!?!?;;\n]+', text):
  164. sn, sp = norm(sent.group())
  165. if len(sn) < 6:
  166. continue
  167. sg = bigrams(sn)
  168. for raw, s in rules.blocked:
  169. if raw in covered or len(s) < 8:
  170. continue
  171. g = bigrams(s)
  172. if len(g & sg) / len(g) >= 0.7:
  173. add('blocked~', 'block', 0, len(sn), [sent.start() + p for p in sp],
  174. f'疑似改写后的已删除素材:{raw[:30]}')
  175. covered.add(raw)
  176. break
  177. for raw, s in rules.sensitive:
  178. for a, b in find_all(s, n):
  179. add('sensitive', 'block', a, b, pos, '本群敏感词:' + raw)
  180. for raw, s in rules.real:
  181. for a, b in find_all(s, n):
  182. add('realname', 'block' if realname_block else 'warn', a, b, pos, '真名:' + raw)
  183. for name, rx, _, chk in rules.pii:
  184. for m in rx.finditer(k):
  185. if chk == 'luhn':
  186. digits = re.sub(r'\D', '', m.group())
  187. if not 16 <= len(digits) <= 19 or not luhn(digits):
  188. continue
  189. add('pii', 'block', m.start(), m.end(), kpos, name)
  190. if not excerpt:
  191. for m in rules.persona.finditer(k):
  192. add('persona', 'block', m.start(), m.end(), kpos, '人物模型内容(只能本地私用)')
  193. if money_block and not excerpt:
  194. for m in rules.money.finditer(n):
  195. add('money', 'block', m.start(), m.end(), pos, '具体金额(public_detail=standard,公开页面只写概括)')
  196. for a, b in cn_money(rules, n):
  197. add('money', 'block', a, b, pos, '具体金额(public_detail=standard,公开页面只写概括)')
  198. for m in rules.address.finditer(n):
  199. add('address', 'block', m.start(), m.end(), pos, '具体住址(public_detail=standard,公开页面不写门牌)')
  200. if builtin and not excerpt:
  201. for tier, rx in rules.builtin.items():
  202. for m in rx.finditer(n):
  203. if money_block and ((tier == '金额' and rules.money.fullmatch(m.group()))
  204. or (tier == '住址' and rules.address.fullmatch(m.group()))):
  205. continue
  206. add('builtin', 'warn', m.start(), m.end(), pos, '内置词表·' + tier)
  207. if not money_block:
  208. for a, b in cn_money(rules, n):
  209. add('builtin', 'warn', a, b, pos, '内置词表·金额')
  210. return hits
  211. # ---------------- 公开页面的输入 ----------------
  212. def _md_units(path, rel):
  213. """按行;去掉引语出处标注 <!--k:…-->(不上页面,里面的长数字消息键会误判成卡号)。"""
  214. lines = path.read_text(encoding='utf-8').split('\n')
  215. return [(f'{rel}:{i}', t) for i, line in enumerate(lines, 1) if (t := re.sub(r'<!--k:[^>]*?-->', '', line)).strip()]
  216. def _strings(obj, prefix=''):
  217. if isinstance(obj, str):
  218. yield prefix, obj
  219. elif isinstance(obj, dict):
  220. for k, v in obj.items():
  221. yield from _strings(v, f'{prefix}.{k}' if prefix else str(k))
  222. elif isinstance(obj, list):
  223. for i, v in enumerate(obj):
  224. yield from _strings(v, f'{prefix}[{i}]')
  225. def units_for(proj, cfg, target):
  226. """返回 [(位置, 文本, 选项)];选项 = {'realname_block':…, 'excerpt':…}。"""
  227. out, W, O = [], proj / 'work', proj / 'out'
  228. rel = lambda p: p.relative_to(proj).as_posix()
  229. pages_cfg = (cfg.get('pages') or {})
  230. if target == 'chronicle':
  231. mb = {'money_block': cfg.get('public_detail') != 'full'}
  232. stable = sorted((W / 'stable').glob('*.json'))
  233. refs = []
  234. for f in stable:
  235. mo = json.loads(f.read_text(encoding='utf-8'))
  236. if mo.get('month_summary'):
  237. out.append((f'{rel(f)} M:{mo.get("month")}.month_summary', mo['month_summary'], mb))
  238. for i, e in enumerate(mo.get('events', [])):
  239. for fld in ('title', 'summary', 'category'):
  240. if e.get(fld):
  241. out.append((f'{rel(f)} E:{mo.get("month")}-{i}.{fld}', e[fld], mb))
  242. refs += e.get('refs', [])
  243. top = W / 'top10.json'
  244. if top.exists():
  245. for y, rows in json.loads(top.read_text(encoding='utf-8')).items():
  246. for r in rows:
  247. if r.get('reason'):
  248. out.append((f'{rel(top)} {y} {r.get("id")}.reason', r['reason'], mb))
  249. for path, s in _strings({k: v for k, v in pages_cfg.items() if k in ('name', 'chronicle', 'tabs')}):
  250. out.append((f'config.pages.{path}', s, {}))
  251. out += _excerpt_units(proj, cfg, refs)
  252. elif target == 'stories':
  253. src = O / 'stories'
  254. for f in sorted(src.glob('*.md')):
  255. if f.name.startswith('_'):
  256. continue
  257. cast = f.name == 'CAST.md' # 真名列不上页面,CAST 里不查真名
  258. out += [(w, t, {'realname_block': not cast, 'realname_skip': cast}) for w, t in _md_units(f, rel(f))]
  259. for path, s in _strings(pages_cfg.get('stories') or {}):
  260. out.append((f'config.pages.stories.{path}', s, {'realname_block': True}))
  261. elif target == 'portraits':
  262. mb = {'money_block': cfg.get('public_detail') != 'full'}
  263. for f in sorted((O / 'portraits').glob('*.md')):
  264. if not f.name.startswith('_'):
  265. out += [(w, t, mb) for w, t in _md_units(f, rel(f))]
  266. for path, s in _strings(pages_cfg.get('portraits') or {}):
  267. out.append((f'config.pages.portraits.{path}', s, {}))
  268. elif target == 'stats': # 数据页:只有这些字会上页面(其余是数字)
  269. f = W / 'stats.json'
  270. if f.exists():
  271. d = json.loads(f.read_text(encoding='utf-8'))
  272. where = rel(f)
  273. out += [(f'{where} people[{i}]', p['n'], {}) for i, p in enumerate(d.get('people', []))]
  274. out += [(f'{where} repeat.phrases[{i}]', t, {}) for i, t in enumerate(d.get('repeat', {}).get('phrases', []))]
  275. for key in ('catch', 'laugh'):
  276. out += [(f'{where} {key}[{i}]', t, {}) for i, rows in (d.get(key) or {}).items() for t, _ in rows]
  277. out += [(f'{where} cloud', w, {}) for w, _ in d.get('cloud', [])]
  278. for path, s in _strings(pages_cfg.get('stats') or {}):
  279. out.append((f'config.pages.stats.{path}', s, {}))
  280. elif target == 'digest': # 月报 / 年报正文:发群前扫
  281. mb = {'money_block': cfg.get('public_detail') != 'full'}
  282. for f in sorted((O / 'digest').glob('*.md')):
  283. out += [(w, t, mb) for w, t in _md_units(f, rel(f))]
  284. return out
  285. def _excerpt_units(proj, cfg, refs):
  286. """大事记里会展示的聊天原文(config.pages.show_chat_groups 里的群,被引用消息前后各 3 条)。只跑重点类规则。"""
  287. show_cfg = (cfg.get('pages') or {}).get('show_chat_groups') or []
  288. allf = proj / 'work/all.json'
  289. if not show_cfg or not refs or not allf.exists():
  290. return []
  291. label_of = {g.get('key'): g.get('label') for g in cfg.get('groups', [])}
  292. show = {label_of.get(x, x) for x in show_cfg}
  293. allm = json.loads(allf.read_text(encoding='utf-8'))
  294. idx = {m['k']: i for i, m in enumerate(allm)}
  295. keep = set()
  296. for r in refs:
  297. p = idx.get(r)
  298. if p is None or allm[p]['g'] not in show:
  299. continue
  300. keep.add(p)
  301. for step in (-1, 1):
  302. n, i = 0, p
  303. while 0 <= i + step < len(allm) and n < 3:
  304. i += step
  305. if allm[i]['g'] == allm[p]['g']:
  306. keep.add(i); n += 1
  307. return [(f'work/all.json {allm[i]["k"]}(大事记原文片段)', allm[i]['c'], {'excerpt': True}) for i in sorted(keep)]
  308. def file_units(path):
  309. """--scan 的任意文件:json 取所有字符串;html 去掉 data: URI 与标签;其他按行。"""
  310. text = path.read_text(encoding='utf-8', errors='replace')
  311. if path.suffix == '.json':
  312. try:
  313. return [(f'{path}{(" " + p) if p else ""}', s) for p, s in _strings(json.loads(text))
  314. if not re.fullmatch(r'[A-Za-z]{1,3}:[\w.-]+', s)] # 跳过消息稳定键(refs 等),免得长数字误判卡号
  315. except json.JSONDecodeError:
  316. pass
  317. if path.suffix in ('.html', '.htm'):
  318. text = re.sub(r'data:[^\'")\s]+', '', text)
  319. text = re.sub(r'<style[^>]*>.*?</style>', '', text, flags=re.S)
  320. text = re.sub(r'<[^>]+>', '\n', text)
  321. return [(f'{path}:{i}', line) for i, line in enumerate(text.split('\n'), 1) if line.strip()]
  322. # ---------------- 忽略记录 ----------------
  323. def _priv(proj):
  324. d = proj / 'work/privacy'
  325. d.mkdir(parents=True, exist_ok=True)
  326. return d
  327. def load_allow(proj):
  328. f = proj / 'work/privacy/allowlist.json'
  329. return json.loads(f.read_text(encoding='utf-8')) if f.exists() else []
  330. # 这几类命中的原文本身就是具体内容(某句已删素材、某个敏感词/真名/号码),标记看过后按「规则 + 原文」认,
  331. # 同一处原文出现在别的页面或别的输入里也不再列出;金额、住址、内置词表这类泛词仍按 id(含前后文)逐处认。
  332. BY_MATCH = ('blocked', 'blocked~', 'sensitive', 'pii', 'realname', 'persona')
  333. def is_allowed(h, allow_rows):
  334. ids = {a['id'] for a in allow_rows}
  335. pairs = {(a.get('rule'), norm(a.get('match') or '')[0]) for a in allow_rows if a.get('rule') in BY_MATCH and a.get('match')}
  336. return h['id'] in ids or (h['rule'] in BY_MATCH and (h['rule'], norm(h['match'])[0]) in pairs)
  337. def run_scan(proj, cfg, units):
  338. """→ (未忽略的命中, 已忽略条数, 全部命中)。写 last_scan.json 由调用方(save_scan)做。"""
  339. rules = Rules(proj, cfg)
  340. allow_rows = load_allow(proj)
  341. hits = []
  342. for where, text, opt in units:
  343. hs = scan_text(rules, where, text, realname_block=opt.get('realname_block', False), excerpt=opt.get('excerpt', False),
  344. money_block=opt.get('money_block', False))
  345. if opt.get('realname_skip'):
  346. hs = [h for h in hs if h['rule'] != 'realname']
  347. hits += hs
  348. live = [h for h in hits if not is_allowed(h, allow_rows)]
  349. return live, len(hits) - len(live), hits
  350. def save_scan(proj, key, hits):
  351. """last_scan.json:顶层 at/target/hits 是本次结果;targets 按「脚本:口径」分开保存每类最近一次的命中,
  352. 别的构建跑过也不会覆盖——--allow 在这里面找 id。"""
  353. f = _priv(proj) / 'last_scan.json'
  354. try:
  355. old = json.loads(f.read_text(encoding='utf-8')).get('targets') or {}
  356. except (OSError, ValueError, AttributeError):
  357. old = {}
  358. at = datetime.datetime.now().isoformat(timespec='seconds')
  359. old[key] = {'at': at, 'hits': hits}
  360. f.write_text(json.dumps({'at': at, 'target': key, 'hits': hits, 'targets': old}, ensure_ascii=False, indent=1), encoding='utf-8')
  361. def scanned_hits(proj):
  362. """last_scan.json 里各口径保存过的全部命中 → {id: 命中}。"""
  363. f = proj / 'work/privacy/last_scan.json'
  364. try:
  365. d = json.loads(f.read_text(encoding='utf-8'))
  366. except (OSError, ValueError):
  367. return {}
  368. rows = list(d.get('hits') or []) + [h for t in (d.get('targets') or {}).values() for h in t.get('hits') or []]
  369. return {h['id']: h for h in rows}
  370. def is_strict(cfg):
  371. """严格模式:config.privacy.strict = true 时,重点命中会中止构建。缺省只提醒。"""
  372. return bool((cfg.get('privacy') or {}).get('strict'))
  373. def report(live, skipped, label, max_warn=None, strict=False):
  374. blocks = [h for h in live if h['severity'] == 'block']
  375. warns = [h for h in live if h['severity'] == 'warn']
  376. for title, rows in (('阻断' if strict else '警告·重点', blocks), ('警告', warns)):
  377. if not rows:
  378. continue
  379. print(f'\n[隐私闸门·{title}] {len(rows)} 处', file=sys.stderr)
  380. cap = max_warn if title == '警告' and max_warn is not None else len(rows)
  381. if len(rows) > cap:
  382. print(f' (只列前 {cap} 处;全部见 work/privacy/last_scan.json,或单独运行 privacy_gate.py --project <dir>)', file=sys.stderr)
  383. for h in rows[:cap]:
  384. print(f' {h["id"]} {h["where"]}(第 {h["col"]} 字) {h["label"] or h["rule"]}\n {h["context"]}', file=sys.stderr)
  385. if strict:
  386. print(f'[隐私闸门·严格模式] {label}:阻断 {len(blocks)},警告 {len(warns)},已忽略 {skipped}', file=sys.stderr)
  387. if blocks:
  388. print(' 处理办法:改掉原文后重跑;确属可以公开的,标记已看过:\n'
  389. f' python3 {shlex.quote(str(Path(__file__).resolve()))} --project <dir> --allow <id> [<id>…] --reason "为什么可以";'
  390. '或关掉严格模式(config.privacy.strict)', file=sys.stderr)
  391. elif live:
  392. print(f'[隐私闸门] {label}:疑似隐私问题 {len(live)} 处(重点 {len(blocks)}),已忽略 {skipped}。'
  393. '只提醒、构建照常继续,是否发布由你决定', file=sys.stderr)
  394. else:
  395. print(f'[隐私闸门] {label}:没有发现疑似隐私问题(已忽略 {skipped})', file=sys.stderr)
  396. return blocks
  397. def _html_hits(proj, cfg, paths):
  398. """已生成的页面再查一遍重点类(已删除素材、敏感词、引用 personas/)——手改过 html 也能发现。"""
  399. rules = Rules(proj, cfg)
  400. allow_rows = load_allow(proj)
  401. live = []
  402. for p in paths:
  403. for where, text in file_units(p):
  404. where = where.replace(str(proj) + '/', '')
  405. hs = [h for h in scan_text(rules, where, text, builtin=False, excerpt=True) if h['rule'] in ('blocked', 'blocked~', 'sensitive')]
  406. if 'personas/' in text:
  407. i = text.find('personas/')
  408. snip = text[max(0, i - 15):i + 40] # 命中原文取引用处前后一段,--allow 时按它认
  409. hs.append({'id': hashlib.sha1(f'persona|{norm(snip)[0]}'.encode()).hexdigest()[:10], 'rule': 'persona',
  410. 'severity': 'block', 'label': '页面里引用了 personas/', 'match': snip, 'where': where,
  411. 'col': i + 1, 'context': text[:60]})
  412. live += [h for h in hs if not is_allowed(h, allow_rows)]
  413. return live
  414. def review_note(proj):
  415. """回收过本人确认结果(collect_reviews.py)时,打一行汇总提醒;只提醒,不影响构建。"""
  416. d = proj / 'work/review/replies'
  417. parts = []
  418. for f in sorted(d.glob('*.json')) if d.exists() else []:
  419. try:
  420. r = json.loads(f.read_text(encoding='utf-8'))
  421. if not isinstance(r, dict):
  422. raise ValueError('不是 JSON 对象')
  423. except (OSError, ValueError) as e:
  424. print(f'[本人确认·提醒] 跳过读不了的回收文件 {f.relative_to(proj)}({e}),重跑 collect_reviews.py 可重新生成', file=sys.stderr)
  425. continue
  426. its = [x for x in r.get('items') or [] if x.get('kind') in ('portrait', 'event')]
  427. bits = [f'{n} 条标了{lab}' for v, lab in (('hide', '别公开'), ('wrong', '要改'))
  428. if (n := sum(x.get('v') == v for x in its))]
  429. if bits:
  430. parts.append(f'{r.get("person") or f.stem} 有 ' + '、'.join(bits))
  431. if parts:
  432. print('[本人确认·提醒] ' + ';'.join(parts) + '(详见 work/review/replies.md)', file=sys.stderr)
  433. def enforce(proj, cfg, target, max_warn=15, texts=None, pages=None, strict=None):
  434. """build_* 脚本调用:target = chronicle / stories / portraits / stats / all(几类输入都扫)/ 列表(几类一起扫)/
  435. site(package_site 用:out/ 里已生成的页面对应的输入都扫,再把生成好的 html 查一遍重点类)。
  436. texts=[(位置, 文本)]:脚本自己拼出来的文案(口头禅、原话、卡片文字…),按公开页面口径一起扫。
  437. pages=[html 路径]:任意已生成的页面(build_locked 加密前),和 site 一样查重点类。
  438. 缺省只打印警告、返回命中列表;strict(缺省取 config.privacy.strict)为真且有重点命中时中止。"""
  439. strict = is_strict(cfg) if strict is None else strict
  440. targets = ['chronicle', 'stories', 'portraits', 'stats', 'digest'] if target == 'all' else list(target) if isinstance(target, (list, tuple)) else [target]
  441. html = list(pages or [])
  442. if target == 'site':
  443. O = proj / 'out'
  444. targets = [t for t, f in (('chronicle', 'chronicle.html'), ('stories', 'stories.html'), ('portraits', 'people.html'),
  445. ('stats', 'stats.html')) if (O / f).exists()]
  446. html += [O / f for f in ('chronicle.html', 'stories.html', 'people.html', 'stats.html') if (O / f).exists()]
  447. label = target if isinstance(target, str) else '+'.join(target)
  448. units = [u for t in targets for u in units_for(proj, cfg, t)] + [(w, t, {}) for w, t in texts or [] if t]
  449. live, skipped, hits = run_scan(proj, cfg, units)
  450. html_live = _html_hits(proj, cfg, html)
  451. save_scan(proj, f'{Path(sys.argv[0]).stem}:{label}', hits + html_live)
  452. live += html_live
  453. if report(live, skipped, label, max_warn, strict) and strict:
  454. sys.exit(f'隐私闸门(严格模式)拦下了构建({label})。详情见上;命中清单在 {proj / "work/privacy/last_scan.json"}')
  455. return live
  456. def allow(proj, ids, reason):
  457. hits = scanned_hits(proj)
  458. cur = load_allow(proj)
  459. have = {a['id'] for a in cur}
  460. now = datetime.datetime.now().isoformat(timespec='seconds')
  461. for i in ids:
  462. if i in have:
  463. print('已在忽略清单:', i); continue
  464. h = hits.get(i)
  465. if not h:
  466. print(f'提示:{i} 不在 last_scan.json 保存的扫描结果里,仍按 id 记录(确认 id 没抄错)')
  467. h = {}
  468. cur.append({'id': i, 'rule': h.get('rule', ''), 'label': h.get('label', ''), 'match': h.get('match', ''),
  469. 'where': h.get('where', ''), 'context': h.get('context', ''), 'reason': reason or '', 'at': now})
  470. print('已标记看过:', i, h.get('context', ''))
  471. (_priv(proj) / 'allowlist.json').write_text(json.dumps(cur, ensure_ascii=False, indent=1), encoding='utf-8')
  472. def add_blocked(proj, snippets, note=''):
  473. """追加到 work/privacy/blocked.txt(已有的跳过)。返回实际新增的条数。"""
  474. f = _priv(proj) / 'blocked.txt'
  475. have = {norm(s)[0] for s in _read_lines(f)}
  476. new = [s.replace('\n', ' ').strip() for s in snippets if s.strip() and norm(s)[0] not in have]
  477. if new:
  478. head = '' if f.exists() else '# 已删除素材清单(追加式,一行一条;# 开头为注释)。公开页面里再出现这些内容,隐私闸门会提醒(严格模式下会拦)。\n'
  479. stamp = f'# {datetime.date.today()} {note}'.rstrip() + '\n'
  480. with f.open('a', encoding='utf-8') as fh:
  481. fh.write(head + stamp + ''.join(s + '\n' for s in new))
  482. return len(new)
  483. def main():
  484. import common
  485. a = common.args(__doc__, lambda p: (
  486. p.add_argument('--target', choices=['chronicle', 'stories', 'portraits', 'stats', 'digest', 'all'], default='all'),
  487. p.add_argument('--scan', nargs='+', metavar='文件', help='扫描任意文件'),
  488. p.add_argument('--allow', nargs='+', metavar='id', help='标记已看过,之后不再列出(id 见扫描输出)'),
  489. p.add_argument('--reason', default='', help='理由(记录进 allowlist.json)'),
  490. p.add_argument('--strict', action='store_true', help='严格模式:有重点命中时退出码为 1'),
  491. p.add_argument('--add-blocked', nargs='+', metavar='片段', help='追加到已删除素材清单'),
  492. p.add_argument('--list', action='store_true', help='列出规则来源与忽略记录')))
  493. proj, cfg = a.project, a.cfg
  494. if a.add_blocked:
  495. print(f'已追加 {add_blocked(proj, a.add_blocked, "手动 --add-blocked")} 条 → {proj / "work/privacy/blocked.txt"}')
  496. return
  497. if a.allow:
  498. allow(proj, a.allow, a.reason)
  499. return
  500. if a.list:
  501. print('已删除素材清单:', *[f' - {s}' for s in blocked_list(proj, cfg)] or [' (无)'], sep='\n')
  502. print('本群敏感词:', '、'.join(cfg.get('sensitive_words') or []) or '(无)')
  503. print('真名:', '、'.join(real_names(cfg)) or '(无)')
  504. print('忽略记录:', *[f' {x["id"]} {x["label"]} {x["context"]} 理由:{x["reason"]}' for x in load_allow(proj)] or [' (无)'], sep='\n')
  505. return
  506. if a.scan:
  507. units = []
  508. for s in a.scan:
  509. p = Path(s).expanduser()
  510. if not p.is_absolute() and not p.exists():
  511. p = proj / s
  512. if not p.is_file():
  513. sys.exit(f'--scan:找不到文件 {s}')
  514. units += [(w, t, {'realname_block': True}) for w, t in file_units(p)]
  515. strict = a.strict or is_strict(cfg)
  516. live, skipped, hits = run_scan(proj, cfg, units)
  517. save_scan(proj, 'scan', hits)
  518. sys.exit(1 if report(live, skipped, '--scan', strict=strict) and strict else 0)
  519. enforce(proj, cfg, a.target, max_warn=None, strict=a.strict or is_strict(cfg))
  520. if __name__ == '__main__':
  521. main()

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.