chatbook
把用户手里的群聊导出文件(一个或多个群、多个文件、混合格式:QQ/Telegram 导出、ChatLab、通用 JSON 数组、手动整理的 txt、csv)的全部聊天记录,做成给群友看的「群聊年鉴」:大事记网站(按月时间线、搜索、年度十大、登录访问)、以群友为原型的同人小剧场、逐行读完全部记录写成的非虚构人物志,以及可用于后续创作、可和本人对照的人物性格模型(含盲测验证);也能出零 LLM 成本的统计看板(数据页)、分享卡片、年度报告、月报年报,支持两人私聊、大群;英文群为实验性支持(事件抽取、统计、数据页)。只要用户提到要把群聊记录整理成大事记/编年史/年鉴/纪念网站、给群友写人物小传或同人故事、根据聊天记录分析某人的性格或做人物设定、“这几年群里发生了什么”,或手里有聊天导出文件想“做点什么”(group chat yearbook、chat export / chat history to website、chat log timeline),就使用这个 skill——即使用户没说“年鉴”这个词。不适用:解读一小段聊天截图或几句话、即时回答“他这句话什么意思”、不需要成品网页或长文的一次性分析。
Safety scan
A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.
Badge for your README
Markdown
[](/listings/snowsui--chatbook)HTML
<a href="/listings/snowsui--chatbook"><img src="/api/listings/snowsui--chatbook/badge.svg" alt="findsafeskills safety rating" /></a>Install
Install instructions from the README
As written by the repo's author. findsafeskills has not verified these steps.
需要 Python 3.9 或更新。
git clone https://github.com/snowsui/chatbook.git # 放进你所用 AI 工具的 skills 目录 pip install fonttools brotli # 可选:字体子集嵌入 pip install cryptography # 可选:给免费静态托管的公开链接加访问口令(build_locked.py) pip install playwright && python3 -m playwright install chromium # 可选:分享卡片 PNG pip install jieba # 可选:数据页中文词云分词(没装时退化成 2–4 字 n-gram,词云里会有半截词) # 可选:登录版网站需要 Node.js 与 Cloudflare 账号(npx wrangler)
字体不随仓库分发:页面用的三种字体各自是 SIL Open Font License(OFL)开源字体,下载地址和配置见 `assets/fonts/README.md`。不配置也能用,会退回系统字体。
What was scanned
The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.
SKILL.md · Manifest · 117 lines
- ---
- name: chatbook
- description: 把用户手里的群聊导出文件(一个或多个群、多个文件、混合格式:QQ/Telegram 导出、ChatLab、通用 JSON 数组、手动整理的 txt、csv)的全部聊天记录,做成给群友看的「群聊年鉴」:大事记网站(按月时间线、搜索、年度十大、登录访问)、以群友为原型的同人小剧场、逐行读完全部记录写成的非虚构人物志,以及可用于后续创作、可和本人对照的人物性格模型(含盲测验证);也能出零 LLM 成本的统计看板(数据页)、分享卡片、年度报告、月报年报,支持两人私聊、大群;英文群为实验性支持(事件抽取、统计、数据页)。只要用户提到要把群聊记录整理成大事记/编年史/年鉴/纪念网站、给群友写人物小传或同人故事、根据聊天记录分析某人的性格或做人物设定、“这几年群里发生了什么”,或手里有聊天导出文件想“做点什么”(group chat yearbook、chat export / chat history to website、chat log timeline),就使用这个 skill——即使用户没说“年鉴”这个词。不适用:解读一小段聊天截图或几句话、即时回答“他这句话什么意思”、不需要成品网页或长文的一次性分析。
- ---
- # 群聊年鉴(chatbook)
- 把一个老朋友群多年的聊天记录,变成群友会认真看、看了会笑也会被打动的东西。整套流程来自一个真实项目(9 位核心群友、8 年、约 25 万条消息),踩过的坑都写进了各模块文档。
- ## 先理解这件事的性质
- - **读者是聊天记录里的真人和他们的家属。** 写错一件事、引错一句话、把玩笑当真心、把一段私事写进公开页面,伤害的是真实的友谊。所以本 skill 的大部分规则都在服务两件事:**准确**(每个事实可追溯到原文)和**分寸**(禁区、真名、暧昧感、笑柄)。
- - **聊天记录很长,偷懒的读法会漏掉最重要的东西。** 最热闹的事往往是短句刷屏;人的真实样子在日常里而不在高光里。所以凡是“读”的环节都要求逐行读完,用并行子任务分摊。
- - **用户本人通常也在群里**,是作者也是被写的人。他确认过的事实(性别、关系、谁是谁)是最高依据。
- ## 模块(按需选用,可以只做其中几个)
- **产出模块**
- | 模块 | 产出 | 依赖 | 文档 |
- |---|---|---|---|
- | ① 导入与标准化 | `work/all.json` | 无 | references/00-export-guide.md(拿到导出文件)、01-ingest.md |
- | ② 大事记 | 按月事件 → 单文件网页 / 登录版网站 | ① | references/02-chronicle.md |
- | ③ 小剧场 | 以群友为原型的同人故事(化名) | ① | references/03-stories.md |
- | ④ 人物志 | 非虚构人物小传(群内称呼) | ①⑧ | references/04-portraits.md |
- | ⑤ 人物模型 | 可推演的人物性格模型(本地私用) | ①⑧ | references/05-personas.md |
- | ⑥ 验证闭环 | 审稿、日常基线、引语核对、盲测 | ⑤(也用于回修 ④) | references/06-validation.md |
- | ⑦ 发布 | Cloudflare Worker 登录版站点 | ②(③④⑮ 可挂成栏目) | references/07-publish.md |
- | ⑪ 分享形态与托管 | 分享卡片、年度报告、托管选型(免费静态托管时给公开链接加口令) | ②④ | references/11-share-hosting.md |
- | ⑫ 规模适配 / 增量 / 月报年报 | 两人私聊、大群、多群、长跨度;重新导出后只补新内容 | ② | references/12-scale-incremental.md |
- | ⑬ 英文(实验性) | 英文模板与统计口径(config.lang);只承诺事件抽取、统计、数据页 | — | references/13-english.md |
- | ⑭ 群聊戏与像不像盲测 | 按节拍表写群聊片段,和真实片段盲测 | ⑤ | references/14-creative.md |
- | ⑮ 数据页 | 只数不读的统计看板(榜单、热力图、复读、口头禅、词云、互动矩阵、小团体图、数据卡);单文件 / 网站第四栏 /stats;零 LLM 成本 | ① | references/15-stats-dashboard.md |
- **底层机制与维护**(不单独产出给读者的东西,但上面每个模块都用到)
- | 模块 | 内容 | 文档 |
- |---|---|---|
- | ⑧ 核心流水线 | 统一阅读、引语出处标注、pipeline 编排、档位与成本估算 | references/08-pipeline.md |
- | ⑨ 隐私闸门与本人确认 | 构建时隐私扫描(默认只提醒,可开严格模式);可选的一对一确认页与回收 | references/09-privacy.md |
- | ⑩ 评测 | 带标准答案的合成语料 + 自动评分(改 skill 时用) | references/10-evaluation.md |
- **踩坑总结**(强烈建议在开始 ③④⑤ 前读一遍):references/lessons.md
- 数据格式与目录约定:CONTRACT.md。子任务说明模板:prompts/(用 `scripts/fill_prompt.py` 填好占位再发给子任务,见下)。脚本:scripts/。
- **依赖**:Python 3.9 或更新,脚本以标准库为主。可选:`fonttools` + `brotli`(页面字体子集嵌入)、`cryptography`(免费静态托管时给公开链接加访问口令)、`playwright`(分享卡片 PNG、浏览器测试)、`jieba`(数据页中文词云分词;没装时退化成 2–4 字 n-gram,词云里会有半截词)。登录版站点需要 Node.js + wrangler。
- **脚本一律这样调用**:`python3 <skill>/scripts/<脚本>.py --project <项目目录> [参数]`(也可以把项目目录写成第一个参数)。路径里有空格或中文时加引号;脚本打印的命令已经加好了。
- ## 开工前:和用户确认这些(先做 1–4 定下人物名单,其余一次问清,别边做边问)
- 只做大事记(lite)时可以简化:第 4 条只要定全员和改名(核心人物缺省全员即可)、第 5 条直接 lite、第 8 条只问原文展示和家属(数据页的作息视图不用问)、第 11 条作者称呼不用问(只在人物志里用)——最短清单是 1、2、3、4、6、7、10。
- 1. **要做哪些模块**,给谁看(只给原群?带家属?),是否需要上线。
- 2. **聊天导出在哪**。怎么拿到导出文件、支持哪些格式、手动整理的 txt 会丢什么,都在 references/00-export-guide.md(本 skill 不负责获取聊天记录)。**让用户把手里的文件一次全给**(一个文件夹或多个路径):几个群、同一个群导出过好几次(时间重叠也行)、混合格式都可以,下一步 init_project 一次读入。
- 3. **导入**:`init_project.py --project <dir> <文件或目录>...` 自动识别格式和编码、分群(同一个群的重叠导出合并去重)、写最小 config、跑 ingest。读不了的文件不影响别的,最后列出办法照做即可(识别不了的写成 `文件:格式`、没日期的 txt 写成 `文件:txt@2024-02-10`);提示“疑似同一个群”的,问用户后用 `--same B=A` 合并;群名取自文件名的,记下来在第 10 条一起问。
- 4. **人物名单(核心人物)**——用户心里只有“核心人物”,不要让他理解 members / people / aliases:
- 1. `roster.py --project <dir> build` → work/roster.md;
- 2. 把 roster.md 的编号表给用户看(多群时先说各群几个人、哪些人按同一账号自动并成了一个人;再列“可能是同一个人”“可能是两个人共用一个名字”的建议,说明这些**没有**自动合并);
- 3. 让用户用一句话回复:选哪几个编号当核心人物、哪些是同一个人、谁要改称呼、哪个是他本人、哪些要去掉(机器人/广告号/退群的人)。名单里同一人多个昵称、一个外号几个人共用都很常见,**以用户说的为准**,不要自己合并(编号可写 `1-3`、`1、2、5`,也可直接写称呼);
- 4. 换成 `roster.py apply --core … [--merge …] [--rename …] [--me …] [--drop …] [--split …] [--members auto|…]`(写回 config 并重跑 ingest),把新的 roster.md 给用户再看一眼。几个人改称呼写 `--rename 1=芳姐,2=小周`(或每人一个 `--rename`),几组合并写 `--merge "3=7,8;4=9"`(分号隔组)。
- 核心人物写进 config.core:要写人物志/模型的人缺省就是他们(config.people 不写 = core),数据页的核心成员也取它;统计用的全体成员(config.members)缺省 = 核心 + 推荐为“成员”的人 + 作者本人。用户只说“给某某写一篇”时,核心就选这一人,成员按推荐。
- 5. **估成本、定档位**:跑 `estimate.py --all-tiers`,把 lite / standard / deep 三档的任务数、token 量和金额区间给用户看,让用户选 `config.tier`(见 08-pipeline.md 第 4 节)。拿不准的建议最短路径:先出数据页(零 LLM 成本)→ lite 出大事记 → 看了再决定。规模差得远(两人私聊、几百人大群、十年以上)时按 12-scale-incremental.md 定 `config.scale`。
- 6. **性别与关系**——一定要问,不要从昵称推断(“哥”“嫂”“大爷”这类反串称呼很常见)。写进 config.gender / config.relations。
- 7. **禁区与隐私**(通用禁区清单见 09-privacy.md 第一节,这里只问本群特有的):
- - 本群特有、绝对不能写的事(如某人近期的私事),写进 config.taboo_extra——**任何模式下都生效**;
- - 本群敏感词(config.sensitive_words)和群友真名列表(config.real_names)——隐私闸门据此提醒;用户只说“别写女生名字/公司名”没给具体词时,主控可以从聊天里检索出具体词,给用户确认后补进 sensitive_words(09-privacy.md 第五节);
- - 群里的核心梗碰到通用禁区(如“减肥、改名瘦虎”这类外形梗):问用户;默认可以写梗和事件本身,不写具体体重数字等;
- - 公开细节档位 config.public_detail:缺省 standard,用户明确要求才设 full(含义见 09 第一节)。
- - **问要不要开隐私拦截**:先说明默认行为——构建时把疑似隐私问题列出来供他过目,页面照常生成,是否发布由他决定;再问要不要打开拦截(命中「重点」级,如删过的句子又出现、手机号、敏感词,就中止构建,改掉才能出页面)。要就写 `"privacy": {"strict": true}`,不要就不写;以后随时可改。同时说明闸门只认逐字/近似命中,换了说法的要靠人看。
- 8. 公开范围:哪些群的原文可以在网页上展示(默认都不展示原文、只展示事件;数据页的复读句也用这个开关);成品会不会给家属看(决定 `family_safe`)。做数据页时另问:夜猫子/早鸟/活跃时段这类会暴露作息的视图要不要、潜水榜要不要(15-stats-dashboard.md 第一节)。
- 9. 语言:成品给英文读者看时设 `config.lang = "en"`(按读者选,不按聊天语言选,见 13-english.md)。英文是实验性支持:只承诺事件抽取、统计、数据页,其余要人工把关,先跟用户说清;英文群目前建议 lite 档(standard/deep 的统一阅读 00 没有英文版,选这两档要人工把关)。
- 10. **页面叫什么**:网站/页面标题(config.title,竖排大标题 config.pages.name)、每个群在页面上显示的名字(config.groups[].label——init_project 用文件名代替的要改)。
- 11. 可选:页面字体(config.fonts,见 assets/fonts/README.md)、人物志评语框的称呼(config.author_title,缺省“史官”)。不配也能出页面。
- 然后把其余答复补进 `chronicle.config.json`(见 CONTRACT.md)。
- ## 通用工作方式
- - **用 pipeline 驱动**:`pipeline.py status` 看进度和下一步,`pipeline.py next --limit <并发>` 领下一批任务(给出 prompt、填说明的完整命令、模型建议、产出路径)。进度在 `work/state.json`,跨会话可续;产出写好、机检通过就自动标 done。增量更新(incremental.py)登记的任务也在里面。
- pipeline 管的是 ①②④⑤⑥ 这条主线(导入 → 统一阅读 → 大事记 → 统计与基线 → 小传 → 人物模型与验证 → 终审 → 人物志页面);小剧场(③)、数据页(⑮)、本人确认(⑨)、分享卡片与年度报告(⑪)、站点打包(⑦)、增量与月报(⑫)、群聊戏(⑭)按各自文档手动跑。
- - **读原文一律用统一阅读**(prompts/00):一个分段读一遍,同时产出事件和人物证据(每条带消息 id),`collect_evidence.py` 汇总成每人的 evidence.md。lite 档只做大事记时用 01。
- - **并行子任务**:读原文、日常标注、盲测这类“量大、可分块”的活交给并行子任务(pipeline 标 cheap:便宜快速的模型,如 Claude Sonnet / Haiku);写作、建模、审稿、终审用强模型(标 strong:最强的模型,如 Claude Opus)。一次并发有上限时,排队补发。
- - **给子任务的说明**一律用 prompts/ 下的模板填空,不要临场口述——临场口述最容易漏掉禁区和格式。pipeline next 会给出命令,手动填也可以:
- ```
- python3 <skill>/scripts/fill_prompt.py --project <dir> --prompt 00 --files 2020-05_p1.txt --out work/prompts/00-a.md
- python3 <skill>/scripts/fill_prompt.py --project <dir> --prompt 08 --person 张三 --out work/prompts/08-张三.md
- ```
- config 类占位自动生成;任务参数用 `--person / --files / --months / --story-id / --story-brief / --round`,其他占位用 `--set a=1 b=2`(一次写多个;写两次 `--set` 后一个会覆盖前一个)。模板编号不唯一时写更长的前缀(`--prompt 17-monthly`、`--prompt 17b`)。有没填的占位会报错并提示该补哪个参数。
- - **所有引语带出处标注**:小传、人物模型里每句引语后紧跟 `<!--k:稳定键-->`(写法见 08-pipeline.md 第 2 节),交稿后跑 `verify_citations.py --strict` 清零;报告 `work/review/<人>-citations.md` 就是终审用的引语出处表。
- - **子任务的回报要能核对是否读完**:卡片里 `read_to < lines` 会被 pipeline 判为没读完;`next` 给出的命令带 `--from-line`,只补派剩余行,产出写 `<分段>-b.json`,不覆盖原卡片。
- - **隐私闸门**:构建公开页面的脚本会自动过闸门,默认只提醒、开 `privacy.strict` 才拦(references/09-privacy.md 第二节);把提醒转述给用户,改不改、发不发由他决定。子任务交回的稿子可以先 `privacy_gate.py --scan <文件>` 再合入;月报年报发群前可以跑 `privacy_gate.py --target digest`;用户删掉一句话时,可以 `privacy_gate.py --add-blocked "那句话"`,防止下游再加回来。
- - **每一步可审计**:事件带原文消息 ID;修改走修订清单(scripts/apply_fixes.py,old 必须唯一命中);模型和小传带修订记录。
- - **独立复核**:写的人不审自己。终审交给没参与写作的子任务,并给它“已知需重点查”的清单。
- - **对用户汇报**:每批子任务回来,用一两句话说清进展和发现的问题;需要用户拍板的事集中列出,并附上你的建议。
- ## 推荐顺序(= pipeline 的阶段顺序)
- 1. init_project → roster build → 用户圈定核心人物 → roster apply(让用户看一眼每群条数、时间范围、人名归一是否正确);estimate → 定档位。
- 2. ingest 之后随时可以出数据页(⑮,零 LLM 成本,适合先给群友一个“看得见的东西”)。
- split → read(统一阅读)→ collect → merge → check → freeze → chronicle:大事记最快出成果,也最能让用户校正人物关系和性别——让用户看人物列表,问“有没有认错的人”。
- 3. person-stats → baseline(**先日常,后写作与建模**)→ portraits(④);小剧场(③)可并行。
- 4. deep 档:personas(⑤)→ review / blind → revise(⑥)→ factfix 回修 ④ → overview。
- 5. editor 总编终审 → build 人物志页面。
- 6. 分享与发布:
- - 可选:想让被写的人先看看时,`build_review_pages.py` 生成每人的确认页 → 一对一私发 → `collect_reviews.py` 回收,按意见修订(09-privacy.md 第四节);构建和打包不依赖它,回收过的只打一行汇总提醒;
- - 构建输出里的隐私警告给用户过目;
- - 再按用户要的形态出:登录版站点(⑦)、分享卡片 / 年度报告(⑪)。部署是对外发布,先征得用户同意。
- 7. 之后群还在聊:按 ⑫ 做增量更新和月报年报。
- ## 收尾
- - 把项目要点(文件位置、部署方式、用户确认过的事实、待办)告诉用户,并建议保存到他的长期笔记。
- - 提醒用户:人物模型是基于聊天记录的推断,和真人的差异需要本人对照(模型里有“对照清单”);不要把人物模型发到群里。
- - 本人确认页含人物模型内容,适合一对一私发,别发群、别放进站点。
- - 本地单文件默认不加密,发给谁由用户自己决定。只有放到免费静态托管(无服务器、做不了登录)时,才用 build_locked.py 给公开链接加访问口令:**口令另走渠道**,别和链接发在同一处;弱口令能被离线猜出来(11-share-hosting.md)。
README.md · README · 114 lines
- # chatbook · 群聊年鉴
- 一个 skill(标准 SKILL.md 格式,放进支持 skill 的 AI 编程工具即可使用):把一个老朋友群多年的聊天记录,做成群友会认真看的东西——
- - **大事记**:按月的事件编年史,带原文引用、搜索、年度十大、群友榜;单文件网页或登录版网站。
- - **小剧场**:以群友为原型、用化名写的多体裁同人短篇(武侠、宫廷、推理、科幻、童话……)。
- - **人物志**:逐行读完全部聊天记录后写成的非虚构人物小传(太史公式“以事见人”,每句话可追溯原文)。
- - **人物模型**:可推演的人物性格模型(日常基线、发言类型分布、声音模型、关系网、情境推演),附独立审稿与盲测验证——用来和本人对照,或作为后续创作的人物设定。
- - **数据页**:只数不读的统计看板——话痨/打卡/斗图/夜猫子榜、星期×小时热力图、复读、口头禅与词云、@/接话/引用矩阵、小团体关系图、每人数据卡(零 LLM 成本)。
- - **分享**:每人一张竖版卡片、年度报告翻页(放到免费静态托管时可加访问口令);月报/年报;按人物模型写群聊片段并和真实片段盲测。
- - **流程**:统一阅读(一遍读完,事件与人物证据带消息 id)、pipeline 进度编排(跨会话可续)、lite/standard/deep 三档与成本估算、增量更新、两人私聊/大群适配;英文群为实验性支持(只承诺事件抽取、统计、数据页;建议 lite 档,standard/deep 需人工把关)。
- - **隐私**:构建时的隐私扫描(已删除素材、敏感词、个人信息、具体金额与住址、人物模型隔离;默认只提醒、开 `privacy.strict` 才拦,见 references/09-privacy.md)、可选的一对一本人确认页。skill 只负责生成,是否发布、发给谁由创作者决定。
- 流程来自一个真实项目(9 位核心群友、8 年、约 25 万条消息),踩过的坑都写在 `references/lessons.md`。
- > 成品截图:暂未附。想先看样子,把 `assets/samples/` 复制到一个空目录,跑 `ingest.py --project <那个目录>` 和 `build_stats.py --project <那个目录>`,打开里面的 `out/stats.html`。
- ## English
- An agent skill (standard SKILL.md format) that turns years of group-chat exports (QQ, Telegram, ChatLab, a generic JSON array, CSV, or hand-copied text) into a "yearbook" for the people in the chat: a month-by-month event timeline website, non-fiction profiles where every quote is traceable to a message, optional fan fiction and personality models, and a zero-LLM-cost stats dashboard. It ships with a privacy scan that lists likely leaks at build time (warn-only by default, with an optional strict mode that blocks the build) and optional per-person review pages; whether and where to publish is up to the creator. Prompts and docs are written in Chinese; English chats are supported experimentally (event extraction, stats and the dashboard); use the lite tier for them, since the unified reader (00) used by standard/deep has no English version and those tiers need manual review. Triggers: "group chat yearbook", "turn our chat export into a website", "chat history timeline".
- ## 安装
- 需要 Python 3.9 或更新。
- ```bash
- git clone https://github.com/snowsui/chatbook.git # 放进你所用 AI 工具的 skills 目录
- pip install fonttools brotli # 可选:字体子集嵌入
- pip install cryptography # 可选:给免费静态托管的公开链接加访问口令(build_locked.py)
- pip install playwright && python3 -m playwright install chromium # 可选:分享卡片 PNG
- pip install jieba # 可选:数据页中文词云分词(没装时退化成 2–4 字 n-gram,词云里会有半截词)
- # 可选:登录版网站需要 Node.js 与 Cloudflare 账号(npx wrangler)
- ```
- 字体不随仓库分发:页面用的三种字体各自是 SIL Open Font License(OFL)开源字体,下载地址和配置见 `assets/fonts/README.md`。不配置也能用,会退回系统字体。
- ## 用法
- 在你的 AI 工具里说,例如:
- > 我有几个群的聊天导出(~/exports/ 里,有 json 也有 txt),想做一个群大事记网站,再给几个老朋友写人物小传。
- > 把我和室友群这四年的聊天记录做成一个年鉴,先看看要花多少钱。
- > 这是我们宿舍群的 QQ 导出,帮我出一个数据页,看看谁是话痨、谁是夜猫子。
- AI 会先导入(自动识别格式和编码、把同一个群的几次导出合并)、列出跨群合并好的人物编号表让你一句话圈定核心人物,再给你看三档的成本估算,和你确认:要做哪些模块、**性别与关系**、额外禁区与敏感词、要不要打开隐私拦截、哪些群的原文可以公开、网站叫什么,然后写 `chronicle.config.json` 开工。
- ### 支持的输入
- 本 skill 只负责“拿到导出文件之后”的部分,不负责获取聊天记录;请使用平台官方导出功能,或自行选择工具导出为支持的格式,并确保只处理自己有权处理的记录。支持的格式(通用 JSON 数组、ChatLab、Telegram、QQ 消息管理器、txt、csv)、各平台怎么导出、手动整理的 txt 会丢什么,见 `references/00-export-guide.md`。
- 一次可以给多个文件或一个文件夹:几个群、同一个群的多次导出(时间重叠会去重)、混合格式都行,`init_project.py` 一次读入;读不了的文件不影响其他文件,最后会列出办法。
- ## 要花多少
- 数据页零 LLM 成本;其余按读的字数、要写的人数和档位估。下表是 `scripts/estimate.py` 的估算(子任务 cheap 按 Claude Sonnet、strong 按 Claude Opus 的 API 单价,用别家模型按各自单价,按缓存价算,±50%,仅供参考,价格以官方当前价格为准;用订阅额度跑的不按这个算):
- | 规模 | lite(只做大事记) | standard(+ 人物志) | deep(+ 人物模型与验证) |
- |---|---|---|---|
- | 两人私聊 1 年,约 2 万条 | 约 1200 万 token,$5–16(¥40–110) | 约 2400 万,$9–28(¥70–200) | 约 6600 万,$23–68(¥160–490) |
- | 小群 3 年,约 5 万条,写 5 人 | 约 2600 万,$12–35(¥80–250) | 约 5500 万,$21–64(¥150–460) | 约 1.6 亿,$53–158(¥380–1100) |
- | 大群 8 年,约 25 万条,写 9 人 | 约 2.4 亿,$84–253(¥610–1800) | 约 3.2 亿,$108–323(¥780–2300) | 约 5.4 亿,$169–507(¥1200–3700) |
- 绝大部分 token 是缓存读。导入后跑 `estimate.py --project <dir> --all-tiers` 可以按你的实际数据估一遍(还没选核心人物时写作部分不计,会提示)。
- **最短上手路径**(先花最少的钱看到东西,再决定要不要往下做):
- 1. 导入:`python3 scripts/init_project.py --project <项目目录> <导出文件或目录>`
- 2. 数据页(零 LLM 成本):`python3 scripts/build_stats.py --project <项目目录>` → `out/stats.html`
- 3. lite 档大事记:config 里写 `"tier": "lite"`,让 AI 按 pipeline 跑 → `out/chronicle.html`
- 4. 看过再决定要不要 standard(人物志)/ deep(人物模型)。
- ## 目录
- ```
- SKILL.md 主流程与模块选择
- CONTRACT.md 数据格式、目录、配置约定
- references/ 00–15 各模块方法文档 + lessons.md(踩坑总结)
- 00 导出指南 01 导入 02 大事记 03 小剧场 04 人物志 05 人物模型 06 验证 07 发布
- 08 核心流水线 09 隐私闸门与本人确认(可选) 10 评测 11 分享形态与托管 12 规模/增量/月报年报 13 英文(实验性)
- 14 群聊戏与盲测 15 数据页
- prompts/ 子任务说明模板 00–19(并行子任务用);prompts/en/ 英文版(部分模板没有英文版,见 13)
- scripts/ 导入、统一阅读汇总、pipeline 编排、成本估算、事件机检、冻结、修订、统计、引语核对、隐私闸门、
- 本人确认、页面构建(大事记/小剧场/人物志/数据页/卡片/年度报告/口令页)、站点打包、增量更新、群聊戏抽样(统一 --project <dir>)
- assets/ 页面模板、站点(Cloudflare Worker)模板、输入样例
- evals/ 评测:带标准答案的合成语料 + 自动评分(references/10-evaluation.md)
- ```
- ## 隐私与分寸
- 这套东西写的是真人,读者也是真人和他们的家属。skill 内置了分层禁区(公开页面 vs 本地私用的人物模型)、引语出处标注与机检、独立终审;构建时会列出疑似隐私问题供你过目,默认只提醒、开 `privacy.strict` 才拦(references/09-privacy.md 第二节),是否发布由你决定。另有可选的一对一本人确认页,想让被写的人先看看时用。开工前建议先问清性别、关系和不能写的事。
- 闸门只认逐字或近似命中(已删除素材、敏感词、真名、个人信息、金额住址这类能用规则认出的东西);换了说法的机器认不出,要靠人看。
- ## 自测
- ```bash
- bash scripts/test_ingest.sh # 6 种输入格式、txt 补充形态、非 UTF-8、config 校验、init_project 容错与跨格式合并、各数据脚本冒烟
- bash scripts/test_roster.sh # 多份记录 → 人物名单:格式嗅探、重叠导出去重、跨群同账号合并、改名建议、apply 幂等、编号写法、core 联动
- bash scripts/test_pipeline.sh # 统一阅读、补读剩余行、引语标注、pipeline、成本估算
- bash scripts/test_privacy.sh # 隐私闸门(默认警告 / 严格模式拦)、标记已看过、金额住址、月报、本人确认(可选)与汇总提醒
- bash scripts/test_scene.sh # 群聊戏节拍表与盲测打包
- bash scripts/test_stats.sh # 数据页:统计口径、敏感词零命中、无时刻群、口头禅口径、英文、网站打包(有 playwright 时加浏览器检查)
- bash scripts/test_share.sh <项目目录> [年份] # 卡片、年度报告、口令页(需已做完大事记和 person_stats 的项目)
- bash scripts/test_incremental.sh <项目目录> # 增量更新、月报年报、核心人物(需已有 work/stable/、第一个群是 txt 的项目;init_project 建的即可)
- bash scripts/test_incremental_groups.sh # 多群增量:基线按群记、各群同步进度不同、中途新接入一个群、旧版基线换算
- ```
- 前六个自带数据、在临时目录里跑;后两个需要一个真实跑过的项目做源(只读,不改它)。
- ## 许可
- MIT,见 `LICENSE`。字体不在仓库里,各自遵循 OFL。
scripts/privacy_gate.py · Bundled script · 599 lines
- """隐私闸门:公开页面(大事记 / 小剧场 / 人物志 / 数据页 / 登录版网站)构建时的隐私扫描。
- build_chronicle / build_stories / build_portraits / build_stats / package_site 等会自动调用;默认只提醒不拦:
- 命中项全部作为警告打印(位置、上下文、id),照常写 work/privacy/last_scan.json,构建继续——是否发布由创作者决定。
- 想让闸门拦住构建时开严格模式:config 写 "privacy": {"strict": true}(所有构建脚本生效),或单独运行时加 --strict。
- 严格模式下「重点」类命中(下面标 ★ 的规则)会中止构建。也可以单独运行:
- python3 scripts/privacy_gate.py --project <dir> # 扫所有公开页面的输入(存在的才扫)
- python3 scripts/privacy_gate.py --project <dir> --target portraits # 只扫一类:chronicle / stories / portraits / stats / digest
- python3 scripts/privacy_gate.py --project <dir> --scan a.md b.json # 扫任意文件(所有规则都按公开页面口径)
- python3 scripts/privacy_gate.py --project <dir> --strict # 严格模式:有重点命中就以退出码 1 结束
- python3 scripts/privacy_gate.py --project <dir> --allow 3f9a01c2bd --reason "误报" # 标记已看过,之后不再列出
- python3 scripts/privacy_gate.py --project <dir> --add-blocked "用户删掉的那句话" # 追加已删除素材清单
- python3 scripts/privacy_gate.py --project <dir> --list # 看规则来源与忽略记录
- 规则(详见 references/09-privacy.md):
- - ★ blocked:已删除素材清单 = config.blocked_snippets + work/privacy/blocked.txt(一行一条,# 开头是注释)。
- 去掉空白与标点后做子串匹配;≥8 字的片段还做近似匹配(片段的二字组有 ≥70% 落在同一句里)。
- - ★ sensitive:config.sensitive_words(本群敏感词)。
- - ★ pii:手机号、身份证号、银行卡号(Luhn 校验)、邮箱、微信号/QQ 号、「密码是…」。
- - realname:config.real_names(列表,或 {显示名: 真名/[真名…]});出现在小剧场里算 ★,其他页面是普通警告。
- - ★ persona:公开页面的输入里引用 out/personas/ 下的文件,或出现人物模型的章节标题(大五人格、对照清单…)。
- - ★ money / address:大事记(stable/ 事件、top10 理由)、人物志、月报年报(out/digest/*.md)里带数字的金额
- (28k、3万、500元、¥200;中文数字的“补助八百”“预算十几万”“借了三千”要求前后有钱相关的词)和门牌住址(3号楼、2单元、501室、某某路12号),config.public_detail 为 standard(缺省)时;
- public_detail=full 时降为下面的普通警告。小剧场是虚构,不查这两条。
- - builtin:内置分层词表(健康/外貌体重/孕育/感情婚恋/家庭矛盾/金额/住址/证件账号/工作单位职级/醉酒),宽松匹配,普通警告。
- 闸门只认逐字或近似命中:换了说法的(“那件事”“你懂的”、打比方)机器认不出,要靠人看。
- 看过、确认无碍的命中可以 --allow 掉(记在 work/privacy/allowlist.json),之后不再列出,严格模式下也不再拦。
- """
- import datetime
- import hashlib
- import json
- import re
- import shlex
- import sys
- import unicodedata
- from pathlib import Path
- sys.path.insert(0, str(Path(__file__).resolve().parent))
- # 去掉这些字符再匹配(宽松匹配:中间夹了空格、Markdown 记号、标点也算命中)
- SKIP = set(' \t\r\n*_~`#>|"\'“”‘’「」『』《》〈〉()()[]【】,,.。!!??;;::、…—-–·/\\')
- # 工作变故(内置词表的「工作单位职级」与 build_stats 的展示敏感词共用)
- WORK_CHANGE = r'裁员|被裁|被优化|辞职|裸辞|辞退|离职|跳槽|失业|待业|开除|降薪|降职|升职|绩效|赔偿|面试|offer|考公|考编|申论|行测|上岸'
- # 内置分层词表(正则,作用在去掉空白标点后的文本上)。命中 = 警告。
- BUILTIN = {
- '健康': r'住院|出院|手术|开刀|确诊|癌|肿瘤|化疗|抑郁|焦虑症|精神科|心理医生|吃药|病房|急诊|体检报告|复查|医院',
- '外貌体重': r'体重|减肥|长胖|胖了|发福|\d+斤|秃|发际线|颜值|整容',
- '孕育': r'怀孕|怀上|怀了|备孕|孕[期检]|产检|预产期|流产|坐月子|生娃|二胎|不孕|试管|接班人|下一代|添丁|有喜',
- '感情婚恋': r'离婚|分手|出轨|前任|前男友|前女友|相亲|单身|脱单|暧昧|表白|暗恋|追她|追他|约会|cp|嗑|官宣|小三',
- '家庭矛盾': r'吵架|冷战|婆婆|丈母娘|婆媳|闹掰|翻脸',
- '金额': r'\d+(?:\.\d+)?(?:万|千|w|k)(?:块|元)?|\d+(?:块|元|rmb)|¥\d|¥\d|工资|年薪|月薪|存款|房贷|车贷|借钱|欠钱|彩礼|首付',
- '住址': r'小区|\d+号楼|\d+栋|\d+单元|门牌|\d+室|路\d+号|住在',
- '证件账号': r'身份证|银行卡|卡号|账号|密码|手机号|电话号|车牌',
- '工作单位职级': r'公司|集团|单位|职级|总监|处长|科长|p\d|t\d|' + WORK_CHANGE,
- '醉酒': r'喝醉|喝多了|断片|吐了|宿醉',
- }
- # 带数字的金额、门牌住址(作用在去掉空白标点、小写后的文本上):public_detail=standard 时公开的非虚构页面里算重点
- MONEY = r'\d+(?:\.\d+)?(?:万|千|w|k)(?:块|元)?|\d+(?:块|元|rmb)|¥\d|¥\d'
- # 中文数字金额(补助八百、预算十几万、月薪两万五、借了三千块):数字里要有 百/千/万 或后面跟 块/元/k,
- # 后面不能是量词(一万个不愿意、三千米),前 8 字、后 6 字内还要有钱相关的词(“块钱”“元”本身就算;单个“块”不算,
- # “吃了三块”多半是块数)——“三分手感”“一万个不愿意”这类不报
- MONEY_CN_NOT = r'[多来]?(?:个|次|人|天|斤|公里|里|米|字|条|遍|分|岁|年|页|张|首|集|步|层|楼|号|名|位|件|本|章|句|小时|钟|秒|周|月|度|克|倍|场|口|台|部)'
- MONEY_CN = (r'(?:[一二两三四五六七八九十几][零一二两三四五六七八九十百千万几]*(?:多|来)?(?:块钱|块|元|k|w)'
- r'|[一二两三四五六七八九十几][零一二两三四五六七八九十几]*[百千万][零一二两三四五六七八九十百千万几]*(?:多|来)?(?:块钱|块|元|k|w)?)'
- rf'(?!{MONEY_CN_NOT})')
- MONEY_CTX = re.compile(r'钱|元|工资|薪|预算|补助|补贴|借|还[钱款了给他你我她]|价|花|offer|租|奖金|红包|转账|收入|存款|首付|贷|赚|挣|卖|买|费|报销|欠|贵|便宜|rmb')
- ADDRESS = r'\d+号楼|\d+栋|\d+单元|\d+室|\d+弄|\d+号院|路\d+号|街\d+号|门牌号?\d+'
- # 人物模型的章节标题 / 专有字样(出现在公开页面输入里 = 重点)
- PERSONA_MARKS = r'out/personas|personas/|人物模型|大五人格|misbelief|发言类型分布|日常基线|私人频道|情境推演|盲区与偏差|对照清单|声音模型|价值排序|核心恐惧|表层与真性格|压力下显出'
- PII = [ # (规则名, 正则, 作用在哪种文本上, 额外校验)
- ('手机号', r'(?<!\d)1[3-9]\d(?:[ -]?\d){8}(?!\d)', 'nfkc', None),
- ('身份证号', r'(?<![0-9A-Za-z])\d{6}(?:19|20)\d{2}(?:0[1-9]|1[0-2])(?:0[1-9]|[12]\d|3[01])\d{3}[0-9Xx](?![0-9A-Za-z])', 'nfkc', None),
- ('银行卡号', r'(?<!\d)\d(?:[ -]?\d){15,18}(?!\d)', 'nfkc', 'luhn'),
- ('邮箱', r'[A-Za-z0-9._%+-]+@[A-Za-z0-9-]+(?:\.[A-Za-z0-9-]+)*\.[A-Za-z]{2,}', 'nfkc', None),
- ('微信号/QQ号', r'(?i)(?:微信号?|vx|wx|qq号?)\s*(?:号)?\s*(?:是|为|[::])\s*[A-Za-z0-9_-]{5,20}|(?:微信号|qq号)\s*[A-Za-z0-9_-]{5,20}', 'nfkc', None),
- ('密码', r'密码\s*(?:是|为|[::])\s*\S{3,}', 'nfkc', None),
- ]
- def luhn(digits):
- s, alt = 0, False
- for ch in reversed(digits):
- d = int(ch)
- if alt:
- d = d * 2 - 9 if d > 4 else d * 2
- s += d
- alt = not alt
- return s % 10 == 0
- def norm(text, strip=True):
- """逐字 NFKC + 小写;strip=True 时再去掉空白和标点。返回 (新文本, 每个新字符对应的原下标)。"""
- out, pos = [], []
- for i, ch in enumerate(text):
- for c in unicodedata.normalize('NFKC', ch).lower():
- if strip and (c in SKIP or c.isspace()):
- continue
- out.append(c)
- pos.append(i)
- return ''.join(out), pos
- def bigrams(s):
- return {s[i:i + 2] for i in range(len(s) - 1)}
- # ---------------- 规则 ----------------
- def _read_lines(path):
- if not path.exists():
- return []
- return [x.strip() for x in path.read_text(encoding='utf-8').split('\n') if x.strip() and not x.strip().startswith('#')]
- def blocked_list(proj, cfg):
- items = list(cfg.get('blocked_snippets') or []) + _read_lines(proj / 'work/privacy/blocked.txt')
- seen, out = set(), []
- for s in items:
- n = norm(s)[0]
- if n and n not in seen:
- seen.add(n)
- out.append(s)
- return out
- def real_names(cfg):
- rn = cfg.get('real_names') or []
- if isinstance(rn, dict):
- vals = []
- for v in rn.values():
- vals += v if isinstance(v, list) else [v]
- rn = vals
- return [x for x in rn if x and len(x) >= 2]
- class Rules:
- def __init__(self, proj, cfg):
- self.blocked = [(s, norm(s)[0]) for s in blocked_list(proj, cfg)]
- self.sensitive = [(w, norm(w)[0]) for w in cfg.get('sensitive_words') or [] if norm(w)[0]]
- self.real = [(w, norm(w)[0]) for w in real_names(cfg)]
- self.builtin = {k: re.compile(v) for k, v in BUILTIN.items()}
- self.money = re.compile(MONEY)
- self.money_cn = re.compile(MONEY_CN)
- self.address = re.compile(ADDRESS)
- self.persona = re.compile(PERSONA_MARKS)
- self.pii = [(n, re.compile(p), t, chk) for n, p, t, chk in PII]
- def cn_money(rules, n):
- """去掉空白标点后的文本里,中文数字写的金额 → [(起, 止)]。要求前 8 字、后 6 字内有钱相关的词,后面不是量词。"""
- out = []
- for m in rules.money_cn.finditer(n):
- if m.group().endswith(('钱', '元')) or MONEY_CTX.search(n[max(0, m.start() - 8):m.start()] + '|' + n[m.end():m.end() + 6]):
- out.append((m.start(), m.end()))
- return out
- def _ctx(text, a, b, width=14):
- left = text[max(0, a - width):a].replace('\n', ' ')
- right = text[b:b + width].replace('\n', ' ')
- return f'{"…" if a > width else ""}{left}【{text[a:b]}】{right}{"…" if b + width < len(text) else ""}'
- def scan_text(rules, where, text, realname_block=False, builtin=True, excerpt=False, money_block=False):
- """扫一段文本(通常一行)。返回命中列表;severity = block(重点,严格模式下会拦)/ warn(普通警告)。
- excerpt=True:原文片段,只跑重点类规则。money_block=True:带数字的金额、门牌算重点(大事记、public_detail=standard)。"""
- hits = []
- n, pos = norm(text)
- k, kpos = norm(text, strip=False)
- def add(rule, sev, a, b, mapping, label=''):
- a0, b0 = mapping[a], mapping[b - 1] + 1
- match = text[a0:b0]
- win = norm(text[max(0, a0 - 15):b0 + 15])[0]
- hid = hashlib.sha1(f'{rule}|{norm(match)[0]}|{win}'.encode()).hexdigest()[:10]
- hits.append({'id': hid, 'rule': rule, 'severity': sev, 'label': label, 'match': match,
- 'where': where, 'col': a0 + 1, 'context': _ctx(text, a0, b0)})
- def find_all(needle, hay):
- i = hay.find(needle)
- while i >= 0:
- yield i, i + len(needle)
- i = hay.find(needle, i + 1)
- covered = set()
- for raw, s in rules.blocked:
- for a, b in find_all(s, n):
- add('blocked', 'block', a, b, pos, '已删除素材:' + raw[:30])
- covered.add(raw)
- if rules.blocked and len(n) >= 8: # 近似:改了几个字又加回来的
- for sent in re.finditer(r'[^。!?!?;;\n]+', text):
- sn, sp = norm(sent.group())
- if len(sn) < 6:
- continue
- sg = bigrams(sn)
- for raw, s in rules.blocked:
- if raw in covered or len(s) < 8:
- continue
- g = bigrams(s)
- if len(g & sg) / len(g) >= 0.7:
- add('blocked~', 'block', 0, len(sn), [sent.start() + p for p in sp],
- f'疑似改写后的已删除素材:{raw[:30]}')
- covered.add(raw)
- break
- for raw, s in rules.sensitive:
- for a, b in find_all(s, n):
- add('sensitive', 'block', a, b, pos, '本群敏感词:' + raw)
- for raw, s in rules.real:
- for a, b in find_all(s, n):
- add('realname', 'block' if realname_block else 'warn', a, b, pos, '真名:' + raw)
- for name, rx, _, chk in rules.pii:
- for m in rx.finditer(k):
- if chk == 'luhn':
- digits = re.sub(r'\D', '', m.group())
- if not 16 <= len(digits) <= 19 or not luhn(digits):
- continue
- add('pii', 'block', m.start(), m.end(), kpos, name)
- if not excerpt:
- for m in rules.persona.finditer(k):
- add('persona', 'block', m.start(), m.end(), kpos, '人物模型内容(只能本地私用)')
- if money_block and not excerpt:
- for m in rules.money.finditer(n):
- add('money', 'block', m.start(), m.end(), pos, '具体金额(public_detail=standard,公开页面只写概括)')
- for a, b in cn_money(rules, n):
- add('money', 'block', a, b, pos, '具体金额(public_detail=standard,公开页面只写概括)')
- for m in rules.address.finditer(n):
- add('address', 'block', m.start(), m.end(), pos, '具体住址(public_detail=standard,公开页面不写门牌)')
- if builtin and not excerpt:
- for tier, rx in rules.builtin.items():
- for m in rx.finditer(n):
- if money_block and ((tier == '金额' and rules.money.fullmatch(m.group()))
- or (tier == '住址' and rules.address.fullmatch(m.group()))):
- continue
- add('builtin', 'warn', m.start(), m.end(), pos, '内置词表·' + tier)
- if not money_block:
- for a, b in cn_money(rules, n):
- add('builtin', 'warn', a, b, pos, '内置词表·金额')
- return hits
- # ---------------- 公开页面的输入 ----------------
- def _md_units(path, rel):
- """按行;去掉引语出处标注 <!--k:…-->(不上页面,里面的长数字消息键会误判成卡号)。"""
- lines = path.read_text(encoding='utf-8').split('\n')
- return [(f'{rel}:{i}', t) for i, line in enumerate(lines, 1) if (t := re.sub(r'<!--k:[^>]*?-->', '', line)).strip()]
- def _strings(obj, prefix=''):
- if isinstance(obj, str):
- yield prefix, obj
- elif isinstance(obj, dict):
- for k, v in obj.items():
- yield from _strings(v, f'{prefix}.{k}' if prefix else str(k))
- elif isinstance(obj, list):
- for i, v in enumerate(obj):
- yield from _strings(v, f'{prefix}[{i}]')
- def units_for(proj, cfg, target):
- """返回 [(位置, 文本, 选项)];选项 = {'realname_block':…, 'excerpt':…}。"""
- out, W, O = [], proj / 'work', proj / 'out'
- rel = lambda p: p.relative_to(proj).as_posix()
- pages_cfg = (cfg.get('pages') or {})
- if target == 'chronicle':
- mb = {'money_block': cfg.get('public_detail') != 'full'}
- stable = sorted((W / 'stable').glob('*.json'))
- refs = []
- for f in stable:
- mo = json.loads(f.read_text(encoding='utf-8'))
- if mo.get('month_summary'):
- out.append((f'{rel(f)} M:{mo.get("month")}.month_summary', mo['month_summary'], mb))
- for i, e in enumerate(mo.get('events', [])):
- for fld in ('title', 'summary', 'category'):
- if e.get(fld):
- out.append((f'{rel(f)} E:{mo.get("month")}-{i}.{fld}', e[fld], mb))
- refs += e.get('refs', [])
- top = W / 'top10.json'
- if top.exists():
- for y, rows in json.loads(top.read_text(encoding='utf-8')).items():
- for r in rows:
- if r.get('reason'):
- out.append((f'{rel(top)} {y} {r.get("id")}.reason', r['reason'], mb))
- for path, s in _strings({k: v for k, v in pages_cfg.items() if k in ('name', 'chronicle', 'tabs')}):
- out.append((f'config.pages.{path}', s, {}))
- out += _excerpt_units(proj, cfg, refs)
- elif target == 'stories':
- src = O / 'stories'
- for f in sorted(src.glob('*.md')):
- if f.name.startswith('_'):
- continue
- cast = f.name == 'CAST.md' # 真名列不上页面,CAST 里不查真名
- out += [(w, t, {'realname_block': not cast, 'realname_skip': cast}) for w, t in _md_units(f, rel(f))]
- for path, s in _strings(pages_cfg.get('stories') or {}):
- out.append((f'config.pages.stories.{path}', s, {'realname_block': True}))
- elif target == 'portraits':
- mb = {'money_block': cfg.get('public_detail') != 'full'}
- for f in sorted((O / 'portraits').glob('*.md')):
- if not f.name.startswith('_'):
- out += [(w, t, mb) for w, t in _md_units(f, rel(f))]
- for path, s in _strings(pages_cfg.get('portraits') or {}):
- out.append((f'config.pages.portraits.{path}', s, {}))
- elif target == 'stats': # 数据页:只有这些字会上页面(其余是数字)
- f = W / 'stats.json'
- if f.exists():
- d = json.loads(f.read_text(encoding='utf-8'))
- where = rel(f)
- out += [(f'{where} people[{i}]', p['n'], {}) for i, p in enumerate(d.get('people', []))]
- out += [(f'{where} repeat.phrases[{i}]', t, {}) for i, t in enumerate(d.get('repeat', {}).get('phrases', []))]
- for key in ('catch', 'laugh'):
- out += [(f'{where} {key}[{i}]', t, {}) for i, rows in (d.get(key) or {}).items() for t, _ in rows]
- out += [(f'{where} cloud', w, {}) for w, _ in d.get('cloud', [])]
- for path, s in _strings(pages_cfg.get('stats') or {}):
- out.append((f'config.pages.stats.{path}', s, {}))
- elif target == 'digest': # 月报 / 年报正文:发群前扫
- mb = {'money_block': cfg.get('public_detail') != 'full'}
- for f in sorted((O / 'digest').glob('*.md')):
- out += [(w, t, mb) for w, t in _md_units(f, rel(f))]
- return out
- def _excerpt_units(proj, cfg, refs):
- """大事记里会展示的聊天原文(config.pages.show_chat_groups 里的群,被引用消息前后各 3 条)。只跑重点类规则。"""
- show_cfg = (cfg.get('pages') or {}).get('show_chat_groups') or []
- allf = proj / 'work/all.json'
- if not show_cfg or not refs or not allf.exists():
- return []
- label_of = {g.get('key'): g.get('label') for g in cfg.get('groups', [])}
- show = {label_of.get(x, x) for x in show_cfg}
- allm = json.loads(allf.read_text(encoding='utf-8'))
- idx = {m['k']: i for i, m in enumerate(allm)}
- keep = set()
- for r in refs:
- p = idx.get(r)
- if p is None or allm[p]['g'] not in show:
- continue
- keep.add(p)
- for step in (-1, 1):
- n, i = 0, p
- while 0 <= i + step < len(allm) and n < 3:
- i += step
- if allm[i]['g'] == allm[p]['g']:
- keep.add(i); n += 1
- return [(f'work/all.json {allm[i]["k"]}(大事记原文片段)', allm[i]['c'], {'excerpt': True}) for i in sorted(keep)]
- def file_units(path):
- """--scan 的任意文件:json 取所有字符串;html 去掉 data: URI 与标签;其他按行。"""
- text = path.read_text(encoding='utf-8', errors='replace')
- if path.suffix == '.json':
- try:
- return [(f'{path}{(" " + p) if p else ""}', s) for p, s in _strings(json.loads(text))
- if not re.fullmatch(r'[A-Za-z]{1,3}:[\w.-]+', s)] # 跳过消息稳定键(refs 等),免得长数字误判卡号
- except json.JSONDecodeError:
- pass
- if path.suffix in ('.html', '.htm'):
- text = re.sub(r'data:[^\'")\s]+', '', text)
- text = re.sub(r'<style[^>]*>.*?</style>', '', text, flags=re.S)
- text = re.sub(r'<[^>]+>', '\n', text)
- return [(f'{path}:{i}', line) for i, line in enumerate(text.split('\n'), 1) if line.strip()]
- # ---------------- 忽略记录 ----------------
- def _priv(proj):
- d = proj / 'work/privacy'
- d.mkdir(parents=True, exist_ok=True)
- return d
- def load_allow(proj):
- f = proj / 'work/privacy/allowlist.json'
- return json.loads(f.read_text(encoding='utf-8')) if f.exists() else []
- # 这几类命中的原文本身就是具体内容(某句已删素材、某个敏感词/真名/号码),标记看过后按「规则 + 原文」认,
- # 同一处原文出现在别的页面或别的输入里也不再列出;金额、住址、内置词表这类泛词仍按 id(含前后文)逐处认。
- BY_MATCH = ('blocked', 'blocked~', 'sensitive', 'pii', 'realname', 'persona')
- def is_allowed(h, allow_rows):
- ids = {a['id'] for a in allow_rows}
- pairs = {(a.get('rule'), norm(a.get('match') or '')[0]) for a in allow_rows if a.get('rule') in BY_MATCH and a.get('match')}
- return h['id'] in ids or (h['rule'] in BY_MATCH and (h['rule'], norm(h['match'])[0]) in pairs)
- def run_scan(proj, cfg, units):
- """→ (未忽略的命中, 已忽略条数, 全部命中)。写 last_scan.json 由调用方(save_scan)做。"""
- rules = Rules(proj, cfg)
- allow_rows = load_allow(proj)
- hits = []
- for where, text, opt in units:
- hs = scan_text(rules, where, text, realname_block=opt.get('realname_block', False), excerpt=opt.get('excerpt', False),
- money_block=opt.get('money_block', False))
- if opt.get('realname_skip'):
- hs = [h for h in hs if h['rule'] != 'realname']
- hits += hs
- live = [h for h in hits if not is_allowed(h, allow_rows)]
- return live, len(hits) - len(live), hits
- def save_scan(proj, key, hits):
- """last_scan.json:顶层 at/target/hits 是本次结果;targets 按「脚本:口径」分开保存每类最近一次的命中,
- 别的构建跑过也不会覆盖——--allow 在这里面找 id。"""
- f = _priv(proj) / 'last_scan.json'
- try:
- old = json.loads(f.read_text(encoding='utf-8')).get('targets') or {}
- except (OSError, ValueError, AttributeError):
- old = {}
- at = datetime.datetime.now().isoformat(timespec='seconds')
- old[key] = {'at': at, 'hits': hits}
- f.write_text(json.dumps({'at': at, 'target': key, 'hits': hits, 'targets': old}, ensure_ascii=False, indent=1), encoding='utf-8')
- def scanned_hits(proj):
- """last_scan.json 里各口径保存过的全部命中 → {id: 命中}。"""
- f = proj / 'work/privacy/last_scan.json'
- try:
- d = json.loads(f.read_text(encoding='utf-8'))
- except (OSError, ValueError):
- return {}
- rows = list(d.get('hits') or []) + [h for t in (d.get('targets') or {}).values() for h in t.get('hits') or []]
- return {h['id']: h for h in rows}
- def is_strict(cfg):
- """严格模式:config.privacy.strict = true 时,重点命中会中止构建。缺省只提醒。"""
- return bool((cfg.get('privacy') or {}).get('strict'))
- def report(live, skipped, label, max_warn=None, strict=False):
- blocks = [h for h in live if h['severity'] == 'block']
- warns = [h for h in live if h['severity'] == 'warn']
- for title, rows in (('阻断' if strict else '警告·重点', blocks), ('警告', warns)):
- if not rows:
- continue
- print(f'\n[隐私闸门·{title}] {len(rows)} 处', file=sys.stderr)
- cap = max_warn if title == '警告' and max_warn is not None else len(rows)
- if len(rows) > cap:
- print(f' (只列前 {cap} 处;全部见 work/privacy/last_scan.json,或单独运行 privacy_gate.py --project <dir>)', file=sys.stderr)
- for h in rows[:cap]:
- print(f' {h["id"]} {h["where"]}(第 {h["col"]} 字) {h["label"] or h["rule"]}\n {h["context"]}', file=sys.stderr)
- if strict:
- print(f'[隐私闸门·严格模式] {label}:阻断 {len(blocks)},警告 {len(warns)},已忽略 {skipped}', file=sys.stderr)
- if blocks:
- print(' 处理办法:改掉原文后重跑;确属可以公开的,标记已看过:\n'
- f' python3 {shlex.quote(str(Path(__file__).resolve()))} --project <dir> --allow <id> [<id>…] --reason "为什么可以";'
- '或关掉严格模式(config.privacy.strict)', file=sys.stderr)
- elif live:
- print(f'[隐私闸门] {label}:疑似隐私问题 {len(live)} 处(重点 {len(blocks)}),已忽略 {skipped}。'
- '只提醒、构建照常继续,是否发布由你决定', file=sys.stderr)
- else:
- print(f'[隐私闸门] {label}:没有发现疑似隐私问题(已忽略 {skipped})', file=sys.stderr)
- return blocks
- def _html_hits(proj, cfg, paths):
- """已生成的页面再查一遍重点类(已删除素材、敏感词、引用 personas/)——手改过 html 也能发现。"""
- rules = Rules(proj, cfg)
- allow_rows = load_allow(proj)
- live = []
- for p in paths:
- for where, text in file_units(p):
- where = where.replace(str(proj) + '/', '')
- hs = [h for h in scan_text(rules, where, text, builtin=False, excerpt=True) if h['rule'] in ('blocked', 'blocked~', 'sensitive')]
- if 'personas/' in text:
- i = text.find('personas/')
- snip = text[max(0, i - 15):i + 40] # 命中原文取引用处前后一段,--allow 时按它认
- hs.append({'id': hashlib.sha1(f'persona|{norm(snip)[0]}'.encode()).hexdigest()[:10], 'rule': 'persona',
- 'severity': 'block', 'label': '页面里引用了 personas/', 'match': snip, 'where': where,
- 'col': i + 1, 'context': text[:60]})
- live += [h for h in hs if not is_allowed(h, allow_rows)]
- return live
- def review_note(proj):
- """回收过本人确认结果(collect_reviews.py)时,打一行汇总提醒;只提醒,不影响构建。"""
- d = proj / 'work/review/replies'
- parts = []
- for f in sorted(d.glob('*.json')) if d.exists() else []:
- try:
- r = json.loads(f.read_text(encoding='utf-8'))
- if not isinstance(r, dict):
- raise ValueError('不是 JSON 对象')
- except (OSError, ValueError) as e:
- print(f'[本人确认·提醒] 跳过读不了的回收文件 {f.relative_to(proj)}({e}),重跑 collect_reviews.py 可重新生成', file=sys.stderr)
- continue
- its = [x for x in r.get('items') or [] if x.get('kind') in ('portrait', 'event')]
- bits = [f'{n} 条标了{lab}' for v, lab in (('hide', '别公开'), ('wrong', '要改'))
- if (n := sum(x.get('v') == v for x in its))]
- if bits:
- parts.append(f'{r.get("person") or f.stem} 有 ' + '、'.join(bits))
- if parts:
- print('[本人确认·提醒] ' + ';'.join(parts) + '(详见 work/review/replies.md)', file=sys.stderr)
- def enforce(proj, cfg, target, max_warn=15, texts=None, pages=None, strict=None):
- """build_* 脚本调用:target = chronicle / stories / portraits / stats / all(几类输入都扫)/ 列表(几类一起扫)/
- site(package_site 用:out/ 里已生成的页面对应的输入都扫,再把生成好的 html 查一遍重点类)。
- texts=[(位置, 文本)]:脚本自己拼出来的文案(口头禅、原话、卡片文字…),按公开页面口径一起扫。
- pages=[html 路径]:任意已生成的页面(build_locked 加密前),和 site 一样查重点类。
- 缺省只打印警告、返回命中列表;strict(缺省取 config.privacy.strict)为真且有重点命中时中止。"""
- strict = is_strict(cfg) if strict is None else strict
- targets = ['chronicle', 'stories', 'portraits', 'stats', 'digest'] if target == 'all' else list(target) if isinstance(target, (list, tuple)) else [target]
- html = list(pages or [])
- if target == 'site':
- O = proj / 'out'
- targets = [t for t, f in (('chronicle', 'chronicle.html'), ('stories', 'stories.html'), ('portraits', 'people.html'),
- ('stats', 'stats.html')) if (O / f).exists()]
- html += [O / f for f in ('chronicle.html', 'stories.html', 'people.html', 'stats.html') if (O / f).exists()]
- label = target if isinstance(target, str) else '+'.join(target)
- units = [u for t in targets for u in units_for(proj, cfg, t)] + [(w, t, {}) for w, t in texts or [] if t]
- live, skipped, hits = run_scan(proj, cfg, units)
- html_live = _html_hits(proj, cfg, html)
- save_scan(proj, f'{Path(sys.argv[0]).stem}:{label}', hits + html_live)
- live += html_live
- if report(live, skipped, label, max_warn, strict) and strict:
- sys.exit(f'隐私闸门(严格模式)拦下了构建({label})。详情见上;命中清单在 {proj / "work/privacy/last_scan.json"}')
- return live
- def allow(proj, ids, reason):
- hits = scanned_hits(proj)
- cur = load_allow(proj)
- have = {a['id'] for a in cur}
- now = datetime.datetime.now().isoformat(timespec='seconds')
- for i in ids:
- if i in have:
- print('已在忽略清单:', i); continue
- h = hits.get(i)
- if not h:
- print(f'提示:{i} 不在 last_scan.json 保存的扫描结果里,仍按 id 记录(确认 id 没抄错)')
- h = {}
- cur.append({'id': i, 'rule': h.get('rule', ''), 'label': h.get('label', ''), 'match': h.get('match', ''),
- 'where': h.get('where', ''), 'context': h.get('context', ''), 'reason': reason or '', 'at': now})
- print('已标记看过:', i, h.get('context', ''))
- (_priv(proj) / 'allowlist.json').write_text(json.dumps(cur, ensure_ascii=False, indent=1), encoding='utf-8')
- def add_blocked(proj, snippets, note=''):
- """追加到 work/privacy/blocked.txt(已有的跳过)。返回实际新增的条数。"""
- f = _priv(proj) / 'blocked.txt'
- have = {norm(s)[0] for s in _read_lines(f)}
- new = [s.replace('\n', ' ').strip() for s in snippets if s.strip() and norm(s)[0] not in have]
- if new:
- head = '' if f.exists() else '# 已删除素材清单(追加式,一行一条;# 开头为注释)。公开页面里再出现这些内容,隐私闸门会提醒(严格模式下会拦)。\n'
- stamp = f'# {datetime.date.today()} {note}'.rstrip() + '\n'
- with f.open('a', encoding='utf-8') as fh:
- fh.write(head + stamp + ''.join(s + '\n' for s in new))
- return len(new)
- def main():
- import common
- a = common.args(__doc__, lambda p: (
- p.add_argument('--target', choices=['chronicle', 'stories', 'portraits', 'stats', 'digest', 'all'], default='all'),
- p.add_argument('--scan', nargs='+', metavar='文件', help='扫描任意文件'),
- p.add_argument('--allow', nargs='+', metavar='id', help='标记已看过,之后不再列出(id 见扫描输出)'),
- p.add_argument('--reason', default='', help='理由(记录进 allowlist.json)'),
- p.add_argument('--strict', action='store_true', help='严格模式:有重点命中时退出码为 1'),
- p.add_argument('--add-blocked', nargs='+', metavar='片段', help='追加到已删除素材清单'),
- p.add_argument('--list', action='store_true', help='列出规则来源与忽略记录')))
- proj, cfg = a.project, a.cfg
- if a.add_blocked:
- print(f'已追加 {add_blocked(proj, a.add_blocked, "手动 --add-blocked")} 条 → {proj / "work/privacy/blocked.txt"}')
- return
- if a.allow:
- allow(proj, a.allow, a.reason)
- return
- if a.list:
- print('已删除素材清单:', *[f' - {s}' for s in blocked_list(proj, cfg)] or [' (无)'], sep='\n')
- print('本群敏感词:', '、'.join(cfg.get('sensitive_words') or []) or '(无)')
- print('真名:', '、'.join(real_names(cfg)) or '(无)')
- print('忽略记录:', *[f' {x["id"]} {x["label"]} {x["context"]} 理由:{x["reason"]}' for x in load_allow(proj)] or [' (无)'], sep='\n')
- return
- if a.scan:
- units = []
- for s in a.scan:
- p = Path(s).expanduser()
- if not p.is_absolute() and not p.exists():
- p = proj / s
- if not p.is_file():
- sys.exit(f'--scan:找不到文件 {s}')
- units += [(w, t, {'realname_block': True}) for w, t in file_units(p)]
- strict = a.strict or is_strict(cfg)
- live, skipped, hits = run_scan(proj, cfg, units)
- save_scan(proj, 'scan', hits)
- sys.exit(1 if report(live, skipped, '--scan', strict=strict) and strict else 0)
- enforce(proj, cfg, a.target, max_warn=None, strict=a.strict or is_strict(cfg))
- if __name__ == '__main__':
- main()
Ratings and comments
Sign in to rate this skill.
Sign inFree to use. If it’s helped, pass it on.