Skip to content
Back to search

reference-relevant

SkillWorks with Claude CodeGitHub

评估学术论文中已有引用是否与正文的引用需求匹配,发现无关/错配引用并检索更合适的替换文献。执行前先做文献来源正确性检查,发现疑似编造或元数据错误时先修正。当用户要求检查引用相关性、排查无关引用、判断文献是否支撑正文论断、为论断寻找或替换参考文献、审计引文归因、核验参考文献真实性时使用。适用学科为经管实证与建模论文,支持 Word .docx / PDF / LaTeX,中文 GB/T 7714 与 APA 作者—年份制。本 skill 不以格式规范检查为主,也不做全面漏引检测。

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Checked today
Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/pykkkkk--reference-relevance/badge.svg)](/listings/pykkkkk--reference-relevance)

HTML

<a href="/listings/pykkkkk--reference-relevance"><img src="/api/listings/pykkkkk--reference-relevance/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

Install instructions from the README

As written by the repo's author. findsafeskills has not verified these steps.

WorkBuddy skill

Copy-Item -Recurse -Force .\reference-relevance "$env:USERPROFILE\.workbuddy\skills\reference-relevant"

其他 agent

本项目按 `SKILL.md` 组织,可被支持 skill / agentskills 约定或能读取 Markdown 指令的 agent 使用。常见安装位置如下;具体路径以所用 agent 的文档为准。

| Agent | 常见安装方式 | |---|---| | Claude Code | 复制到 `~/.claude/skills/reference-relevant/` | | Codex CLI | 复制到 `~/.codex/skills/reference-relevant/` | | Gemini CLI | 复制到 `~/.gemini/skills/reference-relevant/` | | Cursor | 复制 `SKILL.md` 内容到 `.cursor/rules/reference-relevant.mdc` | | GitHub Copilot / 其他基于 `AGENTS.md` 的 agent | 将 `SKILL.md` 内容加入 `AGENTS.md` |

PowerShell 示例(先 `cd` 到本项目根目录):

# Claude Code
Copy-Item -Recurse -Force . "$env:USERPROFILE\.claude\skills\reference-relevant"

# Codex CLI
Copy-Item -Recurse -Force . "$env:USERPROFILE\.codex\skills\reference-relevant"

# Gemini CLI
Copy-Item -Recurse -Force . "$env:USERPROFILE\.gemini\skills\reference-relevant"

若 agent 需要显式触发,使用类似「用 reference-relevant 评估这段引用是否相关」的指令即可。

可选依赖

NLI 判定与语义召回需要额外依赖:

pip install transformers torch sentence-transformers

未安装时,评分器与校准器仍可运行;NLI 输出 UNKNOWN,语义召回回退 BM25 并显式标注。

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

SKILL.md · Manifest · 182 lines
  1. ---
  2. name: reference-relevant
  3. version: 0.2.0
  4. agent_created: true
  5. description: 评估学术论文中已有引用是否与正文的引用需求匹配,发现无关/错配引用并检索更合适的替换文献。执行前先做文献来源正确性检查,发现疑似编造或元数据错误时先修正。当用户要求检查引用相关性、排查无关引用、判断文献是否支撑正文论断、为论断寻找或替换参考文献、审计引文归因、核验参考文献真实性时使用。适用学科为经管实证与建模论文,支持 Word .docx / PDF / LaTeX,中文 GB/T 7714 与 APA 作者—年份制。本 skill 不以格式规范检查为主,也不做全面漏引检测。
  6. ---
  7. # Reference Relevant — 引用相关性决策助手
  8. ## Overview
  9. 按「需求先行、供给匹配」评估现有引用:先确保引用条目本身真实且著录正确,再读懂引用处正文想表达什么,推导该处的引用需求;然后判断已引文献是否满足该需求。只有判定不满足时,才用同一把尺子检索并排序替换候选。
  10. **前置闸门**:文献来源正确性检查不通过时,先修正条目,不做相关性评估。这是为了防止在错误文献对象上计算「匹配度」。
  11. 本 skill 输出**证据与建议**,不代替作者做最终决定;替换默认只生成 diff,须显式确认才写回。
  12. ## 适用边界(先读)
  13. - **主攻**:已有引用。无引用区域默认跳过;仅对重要概念、核心论断做「建议补引」提醒,不做全面漏引检查。
  14. - **适用学科**:经管实证与建模论文。保留 `discipline` 参数,取值 `econ-empirical` / `econ-modeling`;两者使用不同需求模板。
  15. - **前置**:每条引用都必须先通过来源正确性检查;存在性或作者 / 题名 / 期刊 / 年份 / 页码等字段有误时,先修正。详见 `references/source-verification.md`。
  16. - **不做**:全面格式规范检查;绕过验证码或反爬获取中文文献。
  17. - **中文能力边界**:CNKI 无公开 API;CNKI AI LINK 未覆盖经管;OpenAlex / Crossref 对中文经管核心期刊覆盖极差。查不到时输出「无法核验」,**不得**输出「文献不存在」。详见 `references/cn-sources.md`。
  18. - **v0.1.0 限制**:语义召回、NLI 支撑性判定、置信度校准均由 agent 按量规推理完成,尚未接入专用模型;分数为决策辅助,不作绝对结论。
  19. ## Workflow
  20. 所有中间产物写入运行目录 `./.reference-relevant/`,不污染原稿目录。
  21. ### Step 0 — 解析文档
  22. **引用标记的识别与功能分类由大模型(agent)直接完成**,不依赖正则规则;脚本只负责把文档转成带位置的文本块和参考文献条目。
  23. ```bash
  24. python scripts/parse_document.py <input> -o .reference-relevant/raw.json [--discipline econ-empirical|econ-modeling]
  25. ```
  26. `raw.json` 只提供 `references`、`blocks`、`parse_warnings` 等原始材料。随后 agent 阅读 `raw.json` 中的正文,按 `references/llm-parsing.md` 的规则直接写出 `.reference-relevant/parsed.json`:
  27. - 识别每一处引用标记:作者—年份制(含 `et al.`、`&`、`and`、`e.g.`、`a la`、多次出现的同一文献)与编号制 `[1,2]`;
  28. - 同一括号内多篇引用逐条拆分,每一条生成独立 `claim`,`ref_indices` 只填对应的那一篇;
  29. - 同一定文献在全文出现多次时,按出现位置分别生成 `claim`,各自绑定所在句子;
  30. - 在 `claim` 中直接写入 `function`(引用功能)与 `strength`(直接证据 / 间接背景),即 Step 1 的需求画像与解析合并完成;
  31. - 输出字段必须包含 `claim_id`、`block_index`、`marker`、`author_hint`、`year_hint`、`text`、`context_before`、`context_after`、`ref_indices`、`function`、`strength`、`necessity`、`confidence`、`needs_review`。
  32. **规则脚本的角色**:无大模型可用时,`parse_document.py` 可加 `--rule-claims` 直接产出 `parsed.json` 作为兜底;该路径受正则覆盖限制,报告中必须标注 `parsing_method: rule_based`,提示可能漏掉复杂引用格式。默认使用大模型解析路径,标 `parsing_method: llm`。
  33. 检查材料中的 `parse_warnings`:出现「参考文献切分失败」时先人工核对原稿,不继续评分。
  34. ### Step 0A — 来源正确性前置检查(硬性闸门)
  35. ```bash
  36. python scripts/verify_sources.py .reference-relevant/parsed.json -o .reference-relevant/source_check.json
  37. ```
  38. 检查文献是否存在,以及作者、题名、期刊/来源、年份、DOI、卷期页码是否与可信库记录一致。输出 `source_check.json`,其中 `blocking=true` 表示存在必须先处理的问题。
  39. 处理规则:
  40. - `needs_fix`:来源存在但字段有误或缺失。执行:
  41. ```bash
  42. python scripts/apply_source_fixes.py .reference-relevant/source_check.json --input <input> -o .reference-relevant/source_fixes.diff
  43. ```
  44. 检查 diff,用户确认后才加 `--apply` 写回;重新解析并重新核验。
  45. - `fabricated_suspected`:多源无命中,疑似编造。**不得自动改写**,须人工确认来源或删除该条引用。
  46. - `unverifiable_zh` / `unverifiable_degraded`:无法核验,不等于不存在;向用户说明限制并取得确认后才能继续。
  47. - 只要仍有 `blocking=true`,不得进入 Step 1 及后续评分。
  48. ### Step 1 — 需求画像(已并入 Step 0)
  49. 大模型解析时已在每个 `claim` 中写入 `function` / `strength` / `necessity`,无需重复判断。若使用规则兜底路径,则读取 `.reference-relevant/parsed.json`,对每个含引用的论断单元按 `references/citation_functions.md` 补齐这些字段,写入 `.reference-relevant/needs.json`。
  50. 要求:
  51. - 以**可独立验证的论断**为单位,不以整句为单位;一句含多个论断时拆开。
  52. - 记录章节、引用标记位置、相邻句等结构特征。
  53. - 实证模板关注「理论/假说依据」「数据/测量来源」「计量识别策略」;建模模板关注「模型假设/定理来源」「求解方法」。
  54. - 每位引用单独分配需求;`[1,2,3]` 不得共用一个判断。
  55. - 低置信度需求标记 `needs_review: true`,不要强行归类。
  56. ### Step 2 — 供给画像(脚本取数)
  57. ```bash
  58. python scripts/fetch_metadata.py .reference-relevant/parsed.json -o .reference-relevant/supply.json [--offline] [--abstract-only]
  59. ```
  60. 按 DOI/ID 优先、多源交叉校验获取真实摘要与元数据;中文来源单独路由。输出每篇文献的供给画像、`verification` 与 `evidence_level` 状态。
  61. 不得把 BibTeX 原始条目当作摘要使用。**API 返回 429 / 预算耗尽时脚本自动进入降级模式**:仅用题目 + 可得摘要,标 `evidence_level: abstract_only`(无摘要则 `title_only`)、`degraded: true`。也可显式加 `--abstract-only` 强制降级。
  62. ### Step 3 — 对齐评估(agent 推理)
  63. 读取 `.reference-relevant/needs.json` 与 `.reference-relevant/supply.json`。**先让脚本把 rubric 确定性部分算完**,再由 agent 补充语义判断:
  64. ```bash
  65. python scripts/score_relevance.py .reference-relevant/assessment.json -o .reference-relevant/scored.json
  66. ```
  67. `score_relevance.py` 负责加权、REFUTE 一票否决、证据等级封顶、降级不得判 D、`title_only` 强制弃权。详见 `references/algorithms.md`。
  68. 硬性规则:
  69. - 三组维度:需求对齐 / 支撑性 / 供给质量。
  70. - NLI 三态判定:REFUTE(反驳)**一票否决**,不得作为支持性供给;中性提不得当作直接证据。
  71. - 论断必须原子化后逐条核验,每条附证据句(正文论断 + 文献原文/摘要片段)。
  72. - 建模模板**跳过 NLI 支撑性判定**,改判「模型/假设/方法来源是否匹配」并转人工确认。
  73. - 四级判定:A 直接支持 / B 背景可用 / C 弱相关需人工 / D 错配。
  74. - 低置信度一律标记 `abstain: true`,转人工,不自动判为错配。
  75. - **证据等级决定结论上限**:`abstract_only` 置信度 ≤ 0.6、不得判 D;`title_only` 置信度 ≤ 0.45、强制弃权。D 级必须来自全文证据句或作者人工确认。降级模式下疑似错配输出 C + `suspected_mismatch: true`,并建议人工读全文。
  76. ### Step 4 — 候选检索与重排(仅 C/D 级触发)
  77. ```bash
  78. python scripts/search_candidates.py --assessment .reference-relevant/assessment.json -o .reference-relevant/candidates.json --top-k 5
  79. ```
  80. 脚本先做 BM25 词法召回;语义召回为可选算法层,默认关闭。候选必须来自可信学术库并逐条验真。**降级模式下候选只能按题目+摘要初排,禁止据此自动写回。**
  81. 如需语义重排:`python scripts/semantic_recall.py .reference-relevant/candidates.json -o .reference-relevant/candidates_semantic.json`;依赖缺失时自动回退 BM25 并标 `lexical_fallback`。
  82. NLI 判定:`python scripts/nli_verify.py --needs .reference-relevant/needs.json --supply .reference-relevant/supply.json -o .reference-relevant/nli.json`;模型不可用时输出 UNKNOWN,由 agent 按量规推理。
  83. 校准:有人工标注后运行 `python scripts/calibrate.py labels.json -o .reference-relevant/calibration.json`。
  84. agent 读取候选,按 `references/rubric.md` 的**同一套标准**重排,写入 `.reference-relevant/actions.json`。每个动作取值:`keep` / `rewrite_text` / `add_citation` / `remove_citation` / `replace_citation`,并附理由与证据。优先建议 `rewrite_text`:问题常在正文表述而非文献。
  85. ### Step 5 — 生成替换 diff(默认不写回)
  86. ```bash
  87. python scripts/apply_replacement.py --actions .reference-relevant/actions.json --input <input> -o .reference-relevant/replacement.diff
  88. ```
  89. 仅生成 diff 与备份路径。**不得**加 `--apply`,除非用户明确确认;确认后脚本先备份原文件再写回,并保留审计记录。
  90. ### Step 6 — 输出报告
  91. 按 `assets/report-template.md` 生成 Markdown 报告:摘要统计、高置信问题清单、逐条明细(需求 / 现有供给 / 评分 / 证据 / 建议动作)、候选替换 diff、待用户确认事项。语气统一为「建议」,不输出「必须」。
  92. ## 降级模式(API 额度不足时的默认行为)
  93. - 触发:Crossref / S2 / OpenAlex 返回 429、预算耗尽、网络不可用,或显式 `--abstract-only`。
  94. - 手段:只用**题目 + 可得摘要**做主题/功能/对象匹配的初判,不声称全文级证据。
  95. - 护栏:置信度上限 0.6;不判 D,只判 C + `suspected_mismatch: true`;不自动写回;报告中必须显示 `evidence_level` 与 `degraded` 状态。
  96. - 恢复:配置机构 API key 后重跑 `fetch_metadata.py`,拿到摘要/全文再升级为正式判定。
  97. ## 脚本 / agent 边界
  98. 职责写死,避免流程歧义:
  99. | 负责方 | 任务 |
  100. |---|---|
  101. | 脚本 | 解析文档、取元数据、验真、检索召回、生成 diff、备份与写回 |
  102. | agent | 需求识别、供给评估、对齐打分、候选重排、置信度与理由 |
  103. agent 不重复执行脚本可完成的取数工作;脚本不做语义判断。无需外部 LLM API key。
  104. ## Resources
  105. ### references/
  106. - `rubric.md` — 相关性评分量规 v0.2(三组维度、四级判定、一票否决、证据句、置信度)
  107. - `source-verification.md` — 来源正确性前置检查的字段、状态与处理顺序
  108. - `algorithms.md` — 四个算法脚本(评分、NLI、语义召回、校准)的接口、依赖与降级状态
  109. - `citation_functions.md` — 经管引用功能轴;实证与建模两个需求模板
  110. - `llm-parsing.md` — 大模型引用解析的输入、输出字段与必须遵守的拆分规则
  111. - `api-notes.md` — 英文数据源、限额、缓存、验真策略
  112. - `cn-sources.md` — 中文来源能力边界与降级话术
  113. ### assets/
  114. - `report-template.md` — 报告输出模板
  115. ### scripts/
  116. - `parse_document.py` — 文档解析与论断单元抽取
  117. - `verify_sources.py` — 来源正确性与著录字段前置检查
  118. - `apply_source_fixes.py` — 按核验结果生成字段修正 diff,确认后写回
  119. - `fetch_metadata.py` — 元数据获取、验真、缓存
  120. - `search_candidates.py` — 检索与初排
  121. - `apply_replacement.py` — diff 生成、备份、确认后写回
  122. - `rr_common.py` — 共享工具(规范化、缓存、HTTP、BM25 辅助)
  123. ## 版本记录
  124. - v0.2.0:新增来源正确性前置检查与字段修正闭环;核验不通过时不得进入相关性评估。
  125. - v0.1.1:题目+摘要降级模式;`title_only` 强制弃权,降级不得判 D。
  126. - v0.1.0:解析、取数、检索、diff 脚本链与可选算法层。
README.md · README · 169 lines
  1. # reference-relevance
  2. ![reference-relevance — 引用相关性决策助手](assets/banner.png)
  3. 面向学术论文的引用相关性决策助手。先理解引用处的正文需求,再判断已引文献是否匹配;对低相关引用给出证据、建议动作与替换候选,默认只生成 diff,须人工确认后才写回原稿。
  4. 当前适用学科为经管实证与建模论文,支持 Word `.docx`、PDF、LaTeX,以及中文 GB/T 7714 与 APA 作者—年份制。
  5. [English README](README_EN.md) · [参考文献与方法来源](REFERENCES.md)
  6. ## 功能
  7. - 前置检查文献来源正确性:核验文献是否存在,以及作者、题名、期刊、年份、DOI、卷期页码是否与可信库一致;发现错误先修正,再进入相关性评估。
  8. - 引用标记与功能分类由大模型直接完成:脚本只提取正文块与题录,大模型识别每处引用、逐条拆分多篇引用、判断引用功能;规则解析仅作兜底。
  9. - 解析文档,抽取论断单元、引用位置、引用上下文与文献条目。
  10. - 按「需求—供给」框架识别引用功能,逐条评估每位引用,不把同一括号内多篇文献共用一个判断。
  11. - 多源获取真实摘要并交叉验真;中文来源单独路由,查不到时输出「无法核验」,不判定为文献不存在。
  12. - 确定性评分、证据等级封顶、低置信度弃权;降级模式下不得直接判 D。
  13. - 对低相关引用检索替换候选,生成 diff、备份与审计记录。
  14. ## 核心算法:如何判断引用是否相关
  15. 一句话概括:**先看正文需要什么,再看文献能提供什么,最后看两者是否对得上**。标题或摘要相似度只是其中一个线索,不是最终结论。
  16. 整个流程分成六个阶段。每个阶段都解决一个具体问题,也都有对应的脚本或模型在背后执行:
  17. | 阶段 | 用户看到的结果 | 背后如何做 |
  18. |---|---|---|
  19. | 0. 来源正确性 | 文献是否存在、著录信息是否需要修正 | `verify_sources.py` 用 DOI / 题名向 Crossref、OpenAlex 查询,比对作者、题名、来源、年份、DOI、卷期页码;不一致时 `apply_source_fixes.py` 生成修正 diff |
  20. | 1. 需求画像 | 每处引用要承担什么角色 | 按经管实证 / 建模两套功能模板分类,记录「理论依据 / 方法来源 / 数据测量 / 结果对比」等功能与「直接证据 / 间接背景」强度;一个括号内多篇引用逐条拆分 |
  21. | 2. 供给画像 | 文献实际提供了什么 | `fetch_metadata.py` 取真实摘要并多源验真;NLI 模型判断文献结论对论断是支持、反驳还是中性提及;反驳方向不能作为支持性证据 |
  22. | 3. 对齐评分 | A / B / C / D 四级判定 | `score_relevance.py` 对三组维度加权计算;原子化论断逐条核验;每级判定都附正文证据句和文献证据句 |
  23. | 4. 替换候选 | 更合适的替代文献及理由 | `search_candidates.py` 先做 BM25 词法召回,`semantic_recall.py` 用 SPECTER 语义重排;候选按**与现有引用相同的评分标准**重排 |
  24. | 5. 决策与写回 | diff、备份和人工确认闸门 | `apply_replacement.py` 默认只生成 diff;只有用户明确确认后才备份并写回;`calibrate.py` 可在有人工标注后校准置信度 |
  25. ### 用户需要知道的四个设计选择
  26. 1. **需求先于文献。** 先读懂正文想表达什么,再问文献是否供给得上。这样可以区分「合理的背景引用」和「主题相关但支撑不了论断的引用」。
  27. 2. **同一把尺子。** 评估现有引用和筛选替换候选使用同一套评分标准,避免「判它不合格,换上来的也不合格」。
  28. 3. **证据不够就不下结论。** 摘要级证据只能给出有限置信度;题名级证据强制转人工;中文来源查不到时输出「无法核验」而不是「文献不存在」。
  29. 4. **默认不代你改稿。** 所有替换都以 diff 呈现,写回需要显式确认,学术责任始终在作者。
  30. ### 实现参数(便于复核与调整)
  31. | 模块 | 关键设置 |
  32. |---|---|
  33. | 来源核验 | 题名相似度阈值 0.6;来源相似度阈值 0.35;年份差超过 2 年判为字段错误;查不到只标 `fabricated_suspected` 或 `unverifiable_*`,不自动判编造 |
  34. | 评分权重 | 需求对齐 0.40(功能 0.25 + 对象 0.15);支撑性 0.40(命题支持 0.30 + 方向 0.10);供给质量 0.20(证据强度 0.10 + 时效 0.05 + 一手性与可核验性 0.05) |
  35. | 分级 | A ≥ 0.85;B 0.65–0.85;C 0.40–0.65;D < 0.40;方向为 REFUTE 时一票否决 |
  36. | 证据上限 | `full_text` 1.0;`abstract_only` 0.6;`title_only` 0.45;`unverifiable` 0.3。低置信度一律弃权转人工 |
  37. | NLI 判定 | `MoritzLaurer/DeBERTa-v3-base-mnli-fever-anli`,输出 SUPPORT / REFUTE / NEUTRAL 三态及概率;依赖缺失时输出 UNKNOWN 并由 agent 按量规推理 |
  38. | 语义召回 | `sentence-transformers/allenai-specter`(SPECTER)双塔余弦重排;依赖缺失回退 BM25(k1=1.5, b=0.75)并标 `lexical_fallback` |
  39. | 置信度校准 | numpy 实现 ECE、Brier Score、Platt Scaling、Isotonic Regression;不依赖 sklearn |
  40. | 模型调用 | NLI 与语义召回为可选层;国内环境可设 `HF_ENDPOINT=https://hf-mirror.com`,依赖缺失时全程显式标注降级,不伪装成模型判定 |
  41. 更细的字段规范见 `references/rubric.md`,来源检查规则见 `references/source-verification.md`,脚本接口与降级行为见 `references/algorithms.md`,参考文献与方法来源见 [REFERENCES.md](REFERENCES.md)。
  42. ## 安装
  43. ### WorkBuddy skill
  44. ```powershell
  45. Copy-Item -Recurse -Force .\reference-relevance "$env:USERPROFILE\.workbuddy\skills\reference-relevant"
  46. ```
  47. ### 其他 agent
  48. 本项目按 `SKILL.md` 组织,可被支持 skill / agentskills 约定或能读取 Markdown 指令的 agent 使用。常见安装位置如下;具体路径以所用 agent 的文档为准。
  49. | Agent | 常见安装方式 |
  50. |---|---|
  51. | Claude Code | 复制到 `~/.claude/skills/reference-relevant/` |
  52. | Codex CLI | 复制到 `~/.codex/skills/reference-relevant/` |
  53. | Gemini CLI | 复制到 `~/.gemini/skills/reference-relevant/` |
  54. | Cursor | 复制 `SKILL.md` 内容到 `.cursor/rules/reference-relevant.mdc` |
  55. | GitHub Copilot / 其他基于 `AGENTS.md` 的 agent | 将 `SKILL.md` 内容加入 `AGENTS.md` |
  56. PowerShell 示例(先 `cd` 到本项目根目录):
  57. ```powershell
  58. # Claude Code
  59. Copy-Item -Recurse -Force . "$env:USERPROFILE\.claude\skills\reference-relevant"
  60. # Codex CLI
  61. Copy-Item -Recurse -Force . "$env:USERPROFILE\.codex\skills\reference-relevant"
  62. # Gemini CLI
  63. Copy-Item -Recurse -Force . "$env:USERPROFILE\.gemini\skills\reference-relevant"
  64. ```
  65. 若 agent 需要显式触发,使用类似「用 reference-relevant 评估这段引用是否相关」的指令即可。
  66. ### 可选依赖
  67. NLI 判定与语义召回需要额外依赖:
  68. ```bash
  69. pip install transformers torch sentence-transformers
  70. ```
  71. 未安装时,评分器与校准器仍可运行;NLI 输出 UNKNOWN,语义召回回退 BM25 并显式标注。
  72. ## 使用
  73. 所有中间产物写入运行目录下的 `.reference-relevant/`,不污染原稿目录。
  74. ```bash
  75. python scripts/parse_document.py <input> -o .reference-relevant/parsed.json --discipline econ-empirical
  76. python scripts/verify_sources.py .reference-relevant/parsed.json -o .reference-relevant/source_check.json
  77. python scripts/apply_source_fixes.py .reference-relevant/source_check.json --input <input> -o .reference-relevant/source_fixes.diff
  78. python scripts/fetch_metadata.py .reference-relevant/parsed.json -o .reference-relevant/supply.json
  79. python scripts/score_relevance.py .reference-relevant/assessment.json -o .reference-relevant/scored.json
  80. python scripts/search_candidates.py --assessment .reference-relevant/assessment.json -o .reference-relevant/candidates.json --top-k 5
  81. python scripts/apply_replacement.py --actions .reference-relevant/actions.json --input <input> -o .reference-relevant/replacement.diff
  82. ```
  83. 详细工作流与字段规范见 `SKILL.md`;算法脚本的接口与降级行为见 `references/algorithms.md`;评分量规见 `references/rubric.md`。
  84. ## 数据源
  85. 英文来源:Crossref、Semantic Scholar、OpenAlex。经管场景不纳入 arXiv、dblp、PubMed。
  86. 中文来源:CNKI 无公开 API;不绕过验证码或反爬。可通过题录导出或可用连接器获取,按「作者 + 题名 + 年份 + 刊名」四字段比对。详见 `references/cn-sources.md`。
  87. ## 边界与限制
  88. - 主攻已有引用;进入相关性评估前先做来源正确性检查;无引用区域默认不检查,仅对重要概念与核心论断做「建议补引」提醒。
  89. - 来源检查不是全面格式规范审计,也不替代作者确认;无法核验时只输出限制说明,不判定文献不存在。
  90. - 不以文献验真或格式规范检查为主,也不替代作者做最终决定。
  91. - 替换默认只生成 diff,须显式确认并先备份原文件。
  92. - 证据等级为 `abstract_only` 时置信度上限 0.6,不得直接判 D;`title_only` 时上限 0.45 并强制弃权。
  93. - 不在未告知用户的情况下向第三方服务上传稿件内容。
  94. ## 结构
  95. ```text
  96. reference-relevance/
  97. ├── README.md # 中文主说明(本文件)
  98. ├── README_EN.md # 英文说明
  99. ├── REFERENCES.md # 方法依据与参考文献列表
  100. ├── SKILL.md # agent 工作流、脚本/agent 边界、人工确认闸门
  101. ├── LICENSE # MIT 许可
  102. ├── .gitignore # 忽略缓存、运行产物与本地配置
  103. ├── assets/
  104. │ └── report-template.md # Markdown 报告输出模板
  105. ├── references/
  106. │ ├── algorithms.md # 评分、NLI、语义召回、校准四个算法层脚本的接口与降级行为
  107. │ ├── api-notes.md # 英文数据源、限额、缓存、验真策略与字段说明
  108. │ ├── citation_functions.md # 经管实证/建模的引用功能分类体系与需求字段
  109. │ ├── cn-sources.md # 中文来源能力边界、题录比对方式与降级话术
  110. │ ├── rubric.md # 相关性评分量规:三组维度、四级判定、证据等级与置信度
  111. │ └── source-verification.md # 来源正确性检查的字段、状态与处理顺序
  112. └── scripts/
  113. ├── parse_document.py # 解析 docx/pdf/LaTeX,抽取论断单元、引用位置与上下文
  114. ├── verify_sources.py # 前置核验:存在性、作者/题名/期刊/年份/DOI/卷期页码
  115. ├── apply_source_fixes.py # 按核验结果生成字段修正 diff,确认后写回
  116. ├── fetch_metadata.py # 多源取摘要、验真、缓存,并生成供给画像基础字段
  117. ├── search_candidates.py # BM25 词法召回替换候选
  118. ├── semantic_recall.py # SPECTER2 语义重排;依赖缺失时回退 BM25
  119. ├── score_relevance.py # 按 rubric 做确定性评分、否决、证据封顶与弃权
  120. ├── nli_verify.py # 主张—证据三态判定,含原子 claim 拆分
  121. ├── calibrate.py # ECE/Brier 与 Platt/Isotonic 置信度校准
  122. ├── apply_replacement.py # 生成 diff、备份,并在显式确认后写回
  123. └── rr_common.py # 规范化、缓存、HTTP 请求与 BM25 辅助函数
  124. ```
  125. ## 许可
  126. MIT License,见仓库根目录 `LICENSE`。

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.