Skip to content
Back to search

llm-output-simplifier

LLM output simplifier as an MCP tool. Experiment finding: the impossible triangle of speed vs retention vs zero-errors.

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/relethe--llm-output-simplifier/badge.svg)](/listings/relethe--llm-output-simplifier)

HTML

<a href="/listings/relethe--llm-output-simplifier"><img src="/api/listings/relethe--llm-output-simplifier/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

Install instructions from the README

As written by the repo's author. findsafeskills has not verified these steps.

cd llm-output-simplifier
uv venv --python 3.12 .venv
uv pip install --python .venv\Scripts\python.exe -r requirements.txt
Copy-Item .env.example .env   # 填入 DASHSCOPE_API_KEY(百炼,简化器用 DeepSeek)

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

README.md · README · 163 lines
  1. # LLM 输出精简工具(LLM Output Simplifier)
  2. 把啰嗦的 LLM 输出/文本精简成更短的版本:切分单元 → LLM 生成编辑操作(删/压/前移)→ 确定性重组。
  3. 以 **MCP 工具**形式提供,Claude / DSH / 任何 MCP 兼容 Agent 都能直接调用。
  4. > ⚠️ **重要限制(实验实测)**:精简会丢信息、可能引入错误。详见下方「实验结论」。
  5. > **精简重要内容(医疗/法律/代码/关键数据)后务必人工核对。** 它最适合删明确的套话,不适合精简信息密集内容。
  6. ---
  7. ## 快速开始(MCP,推荐)
  8. ### 1. 安装
  9. ```powershell
  10. cd llm-output-simplifier
  11. uv venv --python 3.12 .venv
  12. uv pip install --python .venv\Scripts\python.exe -r requirements.txt
  13. Copy-Item .env.example .env # 填入 DASHSCOPE_API_KEY(百炼,简化器用 DeepSeek)
  14. ```
  15. ### 2. 接入你的 Agent
  16. 把下面加到 Agent 的 MCP 配置(如 Claude Desktop 的 `claude_desktop_config.json`,或 DSH 的 MCP 设置)。
  17. 把路径换成你的实际项目路径:
  18. ```json
  19. {
  20. "mcpServers": {
  21. "llm-simplifier": {
  22. "command": "C:\\path\\to\\llm-output-simplifier\\.venv\\Scripts\\python.exe",
  23. "args": ["C:\\path\\to\\llm-output-simplifier\\scripts\\mcp_server.py"]
  24. }
  25. }
  26. }
  27. ```
  28. 重启 Agent,即可调用两个工具:
  29. - **`simplify(text)`** → 返回精简后的文本
  30. - **`simplify_with_stats(text)`** → 返回精简文本 + 降幅/操作统计
  31. ### 3. 示例
  32. 以下取自 200 条真实 LLM 回答实验(提问来自 LMSYS 真实用户对话,回答由 GLM/Qwen 生成)。
  33. **例 1 · 事实问答(Qwen,降 81%)**
  34. 提问:鲁迅和周树人是什么关系?
  35. 原文(326 字,含本名/笔名由来/家人/网络段子等大量展开):
  36. > **他们是同一个人**——鲁迅是笔名,周树人是本名。
  37. > - **本名**:周树人,字豫才,1881 年生于浙江绍兴,1936 年病逝于上海。
  38. > - **笔名由来**:1918 年在《新青年》发表《狂人日记》时首次署名"鲁迅"……他一生用过一百多个笔名。
  39. > - **家人**:二弟周作人、三弟周建人……
  40. > 所以问"鲁迅和周树人什么关系",就像问"马克·吐温和塞缪尔·克莱门斯什么关系"……
  41. 精简(61 字):
  42. > **他们是同一个人**——鲁迅是笔名,周树人是本名。1918 年,他在《新青年》发表《狂人日记》时,首次署名"鲁迅"。
  43. ⚠️ 注意:此例删掉了生卒年、家人、笔名典故等**实质细节**——核心答案保住了,但展开信息丢了。这正是「会丢信息」的实例,重要内容需人工核对。
  44. **例 2 · 代码(GLM,降 57%,代码块逐字节保留)**
  45. 提问:给 students/departments 表,写 SQL 查计算机系学生。
  46. 精简后(两个 SQL 代码块原样保留,只压缩了文字解释):
  47. > ```sql
  48. > SELECT s.id, s.sn
  49. > FROM students s
  50. > JOIN departments d ON s.did = d.id
  51. > WHERE d.dn = 'Computer Science';
  52. > ```
  53. > Joins on department id and filters by department name.
  54. > 规律:**套话多的回答降幅大,信息密集的回答降幅小**;代码块始终整块保留。真实优质回答本就干净,可精简空间有限(详见实验结论)。
  55. ---
  56. ## 命令行用法(给有 shell 权限的 Agent / 手动)
  57. ```powershell
  58. .\.venv\Scripts\python.exe -m scripts.simplify_text --text "要精简的文本"
  59. .\.venv\Scripts\python.exe -m scripts.simplify_text --input 输入.txt --out 精简.txt
  60. ```
  61. ---
  62. ## 工作原理(方案 B)
  63. 1. **切分**(`scripts/segment.py`):把文本切成单元(句/列表项/表格行/整块代码)。代码块逐字节保留。
  64. 2. **编辑操作**(`schemes/scheme_b_rewrite.py`):LLM(百炼 DeepSeek)对每个单元输出 `delete / keep / compress / move_first`,只输出操作、不自由重写。`compress` 经裁判做「信息子集」校验,失败回退 keep。
  65. 3. **确定性重组**(`schemes/scheme_b.py`):按操作重组,代码块只整块 keep/delete,`move_first` 最多一次,空结果回退原文。
  66. 当前为**保守口径**:默认保留,仅纯套话(复述开场/AI 免责/路标句/空洞收尾/说教/结尾复述)且无实质信息才删。
  67. ---
  68. ## 实验结论(为什么有上面的限制)
  69. 在 200 条真实 LLM 回答上做了预登记实验(AI 代理评测,未经人工校准),发现**「不可能三角」**:
  70. | | 省时≥15% | 保留率≥95% | 新增错误=0 |
  71. |---|---|---|---|
  72. | 激进简化 | ✅ 21% | ❌ 89% | ❌ 23 |
  73. | 保守简化 | ❌ 7% | ✅ 95.7% | ❌ 14 |
  74. **省时与保信息此消彼长,「零错误」极严——编辑操作式简化无法同时满足三者。** 这是方法本身的局限,不是调参能解决的。
  75. 完整报告见 [`reports/final_report.md`](reports/final_report.md),方法规格见 [`SPEC.md`](SPEC.md),实验日志见 [`logs/experiment_log.md`](logs/experiment_log.md)。
  76. ---
  77. ## 配置说明
  78. - 简化器模型在 `config.yaml` 的 `models.simplifier_external`(当前:百炼 `deepseek-v4.1-flash-1017`,`reasoning.effort=low`)。
  79. - 密钥只放 `.env`(已被 `.gitignore` 排除),`config.yaml` 只引用环境变量名。
  80. - 预算熔断:`config.yaml` `budget.cap_cny`(默认 ¥100)。
  81. ## 如何更换 API / 模型(换服务商必看)
  82. 简化器走 **OpenAI 兼容接口**,所以任何提供 OpenAI 兼容端点的服务商都能接。改 `config.yaml` 里 `models.simplifier_external` 的 4 个字段即可:
  83. ```yaml
  84. simplifier_external:
  85. model: deepseek-chat # ① 模型 ID(DeepSeek 官方)
  86. base_url: https://api.deepseek.com/v1 # ② API 端点
  87. api_key_env: DEEPSEEK_API_KEY # ③ 密钥对应的环境变量名
  88. api_protocol: chat # ④ 协议:responses 或 chat
  89. ```
  90. **步骤:**
  91. 1. 改上面 4 个字段为你的服务商值。
  92. 2. 在 `.env` 里加上 ③ 指定的环境变量和密钥,例如 `OPENAI_API_KEY=sk-...`。
  93. 3. 跑冒烟测试验证:`.venv\Scripts\python.exe -m scripts.smoke_test`。
  94. **常见服务商示例:**
  95. | 服务商 | base_url | api_protocol | 备注 |
  96. |---|---|---|---|
  97. | DeepSeek 官方(推荐)| `https://api.deepseek.com/v1` | `chat` | 用 `DEEPSEEK_API_KEY`,模型如 `deepseek-chat` |
  98. | OpenAI 官方 | `https://api.openai.com/v1` | `responses` | 用 `OPENAI_API_KEY` |
  99. | Moonshot Kimi | `https://api.moonshot.cn/v1` | `chat` | 用 `MOONSHOT_API_KEY`,部分模型仅允许 `temperature=1` |
  100. | 阿里云百炼 | `https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1` | `responses` | 用 `DASHSCOPE_API_KEY`(仓库当前默认配置)|
  101. | 其他兼容端点 | 服务商提供的 `/v1` 地址 | 视支持情况 | 先确认支持 responses 还是 chat |
  102. **两个常见坑:**
  103. - **协议不匹配**:不是所有端点都支持 Responses API。若报接口错误,把 `api_protocol` 改成 `chat` 再试。
  104. - **参数限制**:有的模型限制 `temperature` / `reasoning` 参数(如 kimi-k3.1-pro 只允许 `temperature=1`)。换模型后务必先跑 `smoke_test` 验证。
  105. > 备用简化器 `models.simplifier_fallback` 同理可改;主简化器超时/异常时会自动切到它。
  106. ## 项目结构
  107. ```
  108. scripts/ MCP 服务、CLI、抽样/生成/标注/评测/报告等管线脚本
  109. schemes/ 方案 A/B/C/F 实现
  110. eval/ 阅读时间指标、裁判、统计、聚合
  111. tests/ 单元测试(160 项)
  112. reports/ 最终报告
  113. SPEC.md 实验规格(预登记)
  114. RUNNING.md 完整实验管线运行说明
  115. ```
  116. ## 复现实验
  117. 完整管线(抽样→生成→标注→评测→报告)见 [`RUNNING.md`](RUNNING.md)。注:实验数据文件(responses/annotations 等)未纳入本仓库,需按 RUNNING.md 重新生成。
  118. ## 许可
  119. 本项目为实验性工具,使用请自行评估风险,精简结果务必人工核对。

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.