reference-relevant
评估学术论文中已有引用是否与正文的引用需求匹配,发现无关/错配引用并检索更合适的替换文献。执行前先做文献来源正确性检查,发现疑似编造或元数据错误时先修正。当用户要求检查引用相关性、排查无关引用、判断文献是否支撑正文论断、为论断寻找或替换参考文献、审计引文归因、核验参考文献真实性时使用。适用学科为经管实证与建模论文,支持 Word .docx / PDF / LaTeX,中文 GB/T 7714 与 APA 作者—年份制。本 skill 不以格式规范检查为主,也不做全面漏引检测。
Safety scan
A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.
Badge for your README
Markdown
[](/listings/pykkkkk--reference-relevance)HTML
<a href="/listings/pykkkkk--reference-relevance"><img src="/api/listings/pykkkkk--reference-relevance/badge.svg" alt="findsafeskills safety rating" /></a>Install
Install instructions from the README
As written by the repo's author. findsafeskills has not verified these steps.
WorkBuddy skill
Copy-Item -Recurse -Force .\reference-relevance "$env:USERPROFILE\.workbuddy\skills\reference-relevant"
其他 agent
本项目按 `SKILL.md` 组织,可被支持 skill / agentskills 约定或能读取 Markdown 指令的 agent 使用。常见安装位置如下;具体路径以所用 agent 的文档为准。
| Agent | 常见安装方式 | |---|---| | Claude Code | 复制到 `~/.claude/skills/reference-relevant/` | | Codex CLI | 复制到 `~/.codex/skills/reference-relevant/` | | Gemini CLI | 复制到 `~/.gemini/skills/reference-relevant/` | | Cursor | 复制 `SKILL.md` 内容到 `.cursor/rules/reference-relevant.mdc` | | GitHub Copilot / 其他基于 `AGENTS.md` 的 agent | 将 `SKILL.md` 内容加入 `AGENTS.md` |
PowerShell 示例(先 `cd` 到本项目根目录):
# Claude Code Copy-Item -Recurse -Force . "$env:USERPROFILE\.claude\skills\reference-relevant" # Codex CLI Copy-Item -Recurse -Force . "$env:USERPROFILE\.codex\skills\reference-relevant" # Gemini CLI Copy-Item -Recurse -Force . "$env:USERPROFILE\.gemini\skills\reference-relevant"
若 agent 需要显式触发,使用类似「用 reference-relevant 评估这段引用是否相关」的指令即可。
可选依赖
NLI 判定与语义召回需要额外依赖:
pip install transformers torch sentence-transformers
未安装时,评分器与校准器仍可运行;NLI 输出 UNKNOWN,语义召回回退 BM25 并显式标注。
What was scanned
The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.
SKILL.md · Manifest · 182 lines
- ---
- name: reference-relevant
- version: 0.2.0
- agent_created: true
- description: 评估学术论文中已有引用是否与正文的引用需求匹配,发现无关/错配引用并检索更合适的替换文献。执行前先做文献来源正确性检查,发现疑似编造或元数据错误时先修正。当用户要求检查引用相关性、排查无关引用、判断文献是否支撑正文论断、为论断寻找或替换参考文献、审计引文归因、核验参考文献真实性时使用。适用学科为经管实证与建模论文,支持 Word .docx / PDF / LaTeX,中文 GB/T 7714 与 APA 作者—年份制。本 skill 不以格式规范检查为主,也不做全面漏引检测。
- ---
- # Reference Relevant — 引用相关性决策助手
- ## Overview
- 按「需求先行、供给匹配」评估现有引用:先确保引用条目本身真实且著录正确,再读懂引用处正文想表达什么,推导该处的引用需求;然后判断已引文献是否满足该需求。只有判定不满足时,才用同一把尺子检索并排序替换候选。
- **前置闸门**:文献来源正确性检查不通过时,先修正条目,不做相关性评估。这是为了防止在错误文献对象上计算「匹配度」。
- 本 skill 输出**证据与建议**,不代替作者做最终决定;替换默认只生成 diff,须显式确认才写回。
- ## 适用边界(先读)
- - **主攻**:已有引用。无引用区域默认跳过;仅对重要概念、核心论断做「建议补引」提醒,不做全面漏引检查。
- - **适用学科**:经管实证与建模论文。保留 `discipline` 参数,取值 `econ-empirical` / `econ-modeling`;两者使用不同需求模板。
- - **前置**:每条引用都必须先通过来源正确性检查;存在性或作者 / 题名 / 期刊 / 年份 / 页码等字段有误时,先修正。详见 `references/source-verification.md`。
- - **不做**:全面格式规范检查;绕过验证码或反爬获取中文文献。
- - **中文能力边界**:CNKI 无公开 API;CNKI AI LINK 未覆盖经管;OpenAlex / Crossref 对中文经管核心期刊覆盖极差。查不到时输出「无法核验」,**不得**输出「文献不存在」。详见 `references/cn-sources.md`。
- - **v0.1.0 限制**:语义召回、NLI 支撑性判定、置信度校准均由 agent 按量规推理完成,尚未接入专用模型;分数为决策辅助,不作绝对结论。
- ## Workflow
- 所有中间产物写入运行目录 `./.reference-relevant/`,不污染原稿目录。
- ### Step 0 — 解析文档
- **引用标记的识别与功能分类由大模型(agent)直接完成**,不依赖正则规则;脚本只负责把文档转成带位置的文本块和参考文献条目。
- ```bash
- python scripts/parse_document.py <input> -o .reference-relevant/raw.json [--discipline econ-empirical|econ-modeling]
- ```
- `raw.json` 只提供 `references`、`blocks`、`parse_warnings` 等原始材料。随后 agent 阅读 `raw.json` 中的正文,按 `references/llm-parsing.md` 的规则直接写出 `.reference-relevant/parsed.json`:
- - 识别每一处引用标记:作者—年份制(含 `et al.`、`&`、`and`、`e.g.`、`a la`、多次出现的同一文献)与编号制 `[1,2]`;
- - 同一括号内多篇引用逐条拆分,每一条生成独立 `claim`,`ref_indices` 只填对应的那一篇;
- - 同一定文献在全文出现多次时,按出现位置分别生成 `claim`,各自绑定所在句子;
- - 在 `claim` 中直接写入 `function`(引用功能)与 `strength`(直接证据 / 间接背景),即 Step 1 的需求画像与解析合并完成;
- - 输出字段必须包含 `claim_id`、`block_index`、`marker`、`author_hint`、`year_hint`、`text`、`context_before`、`context_after`、`ref_indices`、`function`、`strength`、`necessity`、`confidence`、`needs_review`。
- **规则脚本的角色**:无大模型可用时,`parse_document.py` 可加 `--rule-claims` 直接产出 `parsed.json` 作为兜底;该路径受正则覆盖限制,报告中必须标注 `parsing_method: rule_based`,提示可能漏掉复杂引用格式。默认使用大模型解析路径,标 `parsing_method: llm`。
- 检查材料中的 `parse_warnings`:出现「参考文献切分失败」时先人工核对原稿,不继续评分。
- ### Step 0A — 来源正确性前置检查(硬性闸门)
- ```bash
- python scripts/verify_sources.py .reference-relevant/parsed.json -o .reference-relevant/source_check.json
- ```
- 检查文献是否存在,以及作者、题名、期刊/来源、年份、DOI、卷期页码是否与可信库记录一致。输出 `source_check.json`,其中 `blocking=true` 表示存在必须先处理的问题。
- 处理规则:
- - `needs_fix`:来源存在但字段有误或缺失。执行:
- ```bash
- python scripts/apply_source_fixes.py .reference-relevant/source_check.json --input <input> -o .reference-relevant/source_fixes.diff
- ```
- 检查 diff,用户确认后才加 `--apply` 写回;重新解析并重新核验。
- - `fabricated_suspected`:多源无命中,疑似编造。**不得自动改写**,须人工确认来源或删除该条引用。
- - `unverifiable_zh` / `unverifiable_degraded`:无法核验,不等于不存在;向用户说明限制并取得确认后才能继续。
- - 只要仍有 `blocking=true`,不得进入 Step 1 及后续评分。
- ### Step 1 — 需求画像(已并入 Step 0)
- 大模型解析时已在每个 `claim` 中写入 `function` / `strength` / `necessity`,无需重复判断。若使用规则兜底路径,则读取 `.reference-relevant/parsed.json`,对每个含引用的论断单元按 `references/citation_functions.md` 补齐这些字段,写入 `.reference-relevant/needs.json`。
- 要求:
- - 以**可独立验证的论断**为单位,不以整句为单位;一句含多个论断时拆开。
- - 记录章节、引用标记位置、相邻句等结构特征。
- - 实证模板关注「理论/假说依据」「数据/测量来源」「计量识别策略」;建模模板关注「模型假设/定理来源」「求解方法」。
- - 每位引用单独分配需求;`[1,2,3]` 不得共用一个判断。
- - 低置信度需求标记 `needs_review: true`,不要强行归类。
- ### Step 2 — 供给画像(脚本取数)
- ```bash
- python scripts/fetch_metadata.py .reference-relevant/parsed.json -o .reference-relevant/supply.json [--offline] [--abstract-only]
- ```
- 按 DOI/ID 优先、多源交叉校验获取真实摘要与元数据;中文来源单独路由。输出每篇文献的供给画像、`verification` 与 `evidence_level` 状态。
- 不得把 BibTeX 原始条目当作摘要使用。**API 返回 429 / 预算耗尽时脚本自动进入降级模式**:仅用题目 + 可得摘要,标 `evidence_level: abstract_only`(无摘要则 `title_only`)、`degraded: true`。也可显式加 `--abstract-only` 强制降级。
- ### Step 3 — 对齐评估(agent 推理)
- 读取 `.reference-relevant/needs.json` 与 `.reference-relevant/supply.json`。**先让脚本把 rubric 确定性部分算完**,再由 agent 补充语义判断:
- ```bash
- python scripts/score_relevance.py .reference-relevant/assessment.json -o .reference-relevant/scored.json
- ```
- `score_relevance.py` 负责加权、REFUTE 一票否决、证据等级封顶、降级不得判 D、`title_only` 强制弃权。详见 `references/algorithms.md`。
- 硬性规则:
- - 三组维度:需求对齐 / 支撑性 / 供给质量。
- - NLI 三态判定:REFUTE(反驳)**一票否决**,不得作为支持性供给;中性提不得当作直接证据。
- - 论断必须原子化后逐条核验,每条附证据句(正文论断 + 文献原文/摘要片段)。
- - 建模模板**跳过 NLI 支撑性判定**,改判「模型/假设/方法来源是否匹配」并转人工确认。
- - 四级判定:A 直接支持 / B 背景可用 / C 弱相关需人工 / D 错配。
- - 低置信度一律标记 `abstain: true`,转人工,不自动判为错配。
- - **证据等级决定结论上限**:`abstract_only` 置信度 ≤ 0.6、不得判 D;`title_only` 置信度 ≤ 0.45、强制弃权。D 级必须来自全文证据句或作者人工确认。降级模式下疑似错配输出 C + `suspected_mismatch: true`,并建议人工读全文。
- ### Step 4 — 候选检索与重排(仅 C/D 级触发)
- ```bash
- python scripts/search_candidates.py --assessment .reference-relevant/assessment.json -o .reference-relevant/candidates.json --top-k 5
- ```
- 脚本先做 BM25 词法召回;语义召回为可选算法层,默认关闭。候选必须来自可信学术库并逐条验真。**降级模式下候选只能按题目+摘要初排,禁止据此自动写回。**
- 如需语义重排:`python scripts/semantic_recall.py .reference-relevant/candidates.json -o .reference-relevant/candidates_semantic.json`;依赖缺失时自动回退 BM25 并标 `lexical_fallback`。
- NLI 判定:`python scripts/nli_verify.py --needs .reference-relevant/needs.json --supply .reference-relevant/supply.json -o .reference-relevant/nli.json`;模型不可用时输出 UNKNOWN,由 agent 按量规推理。
- 校准:有人工标注后运行 `python scripts/calibrate.py labels.json -o .reference-relevant/calibration.json`。
- agent 读取候选,按 `references/rubric.md` 的**同一套标准**重排,写入 `.reference-relevant/actions.json`。每个动作取值:`keep` / `rewrite_text` / `add_citation` / `remove_citation` / `replace_citation`,并附理由与证据。优先建议 `rewrite_text`:问题常在正文表述而非文献。
- ### Step 5 — 生成替换 diff(默认不写回)
- ```bash
- python scripts/apply_replacement.py --actions .reference-relevant/actions.json --input <input> -o .reference-relevant/replacement.diff
- ```
- 仅生成 diff 与备份路径。**不得**加 `--apply`,除非用户明确确认;确认后脚本先备份原文件再写回,并保留审计记录。
- ### Step 6 — 输出报告
- 按 `assets/report-template.md` 生成 Markdown 报告:摘要统计、高置信问题清单、逐条明细(需求 / 现有供给 / 评分 / 证据 / 建议动作)、候选替换 diff、待用户确认事项。语气统一为「建议」,不输出「必须」。
- ## 降级模式(API 额度不足时的默认行为)
- - 触发:Crossref / S2 / OpenAlex 返回 429、预算耗尽、网络不可用,或显式 `--abstract-only`。
- - 手段:只用**题目 + 可得摘要**做主题/功能/对象匹配的初判,不声称全文级证据。
- - 护栏:置信度上限 0.6;不判 D,只判 C + `suspected_mismatch: true`;不自动写回;报告中必须显示 `evidence_level` 与 `degraded` 状态。
- - 恢复:配置机构 API key 后重跑 `fetch_metadata.py`,拿到摘要/全文再升级为正式判定。
- ## 脚本 / agent 边界
- 职责写死,避免流程歧义:
- | 负责方 | 任务 |
- |---|---|
- | 脚本 | 解析文档、取元数据、验真、检索召回、生成 diff、备份与写回 |
- | agent | 需求识别、供给评估、对齐打分、候选重排、置信度与理由 |
- agent 不重复执行脚本可完成的取数工作;脚本不做语义判断。无需外部 LLM API key。
- ## Resources
- ### references/
- - `rubric.md` — 相关性评分量规 v0.2(三组维度、四级判定、一票否决、证据句、置信度)
- - `source-verification.md` — 来源正确性前置检查的字段、状态与处理顺序
- - `algorithms.md` — 四个算法脚本(评分、NLI、语义召回、校准)的接口、依赖与降级状态
- - `citation_functions.md` — 经管引用功能轴;实证与建模两个需求模板
- - `llm-parsing.md` — 大模型引用解析的输入、输出字段与必须遵守的拆分规则
- - `api-notes.md` — 英文数据源、限额、缓存、验真策略
- - `cn-sources.md` — 中文来源能力边界与降级话术
- ### assets/
- - `report-template.md` — 报告输出模板
- ### scripts/
- - `parse_document.py` — 文档解析与论断单元抽取
- - `verify_sources.py` — 来源正确性与著录字段前置检查
- - `apply_source_fixes.py` — 按核验结果生成字段修正 diff,确认后写回
- - `fetch_metadata.py` — 元数据获取、验真、缓存
- - `search_candidates.py` — 检索与初排
- - `apply_replacement.py` — diff 生成、备份、确认后写回
- - `rr_common.py` — 共享工具(规范化、缓存、HTTP、BM25 辅助)
- ## 版本记录
- - v0.2.0:新增来源正确性前置检查与字段修正闭环;核验不通过时不得进入相关性评估。
- - v0.1.1:题目+摘要降级模式;`title_only` 强制弃权,降级不得判 D。
- - v0.1.0:解析、取数、检索、diff 脚本链与可选算法层。
README.md · README · 169 lines
- # reference-relevance
- 
- 面向学术论文的引用相关性决策助手。先理解引用处的正文需求,再判断已引文献是否匹配;对低相关引用给出证据、建议动作与替换候选,默认只生成 diff,须人工确认后才写回原稿。
- 当前适用学科为经管实证与建模论文,支持 Word `.docx`、PDF、LaTeX,以及中文 GB/T 7714 与 APA 作者—年份制。
- [English README](README_EN.md) · [参考文献与方法来源](REFERENCES.md)
- ## 功能
- - 前置检查文献来源正确性:核验文献是否存在,以及作者、题名、期刊、年份、DOI、卷期页码是否与可信库一致;发现错误先修正,再进入相关性评估。
- - 引用标记与功能分类由大模型直接完成:脚本只提取正文块与题录,大模型识别每处引用、逐条拆分多篇引用、判断引用功能;规则解析仅作兜底。
- - 解析文档,抽取论断单元、引用位置、引用上下文与文献条目。
- - 按「需求—供给」框架识别引用功能,逐条评估每位引用,不把同一括号内多篇文献共用一个判断。
- - 多源获取真实摘要并交叉验真;中文来源单独路由,查不到时输出「无法核验」,不判定为文献不存在。
- - 确定性评分、证据等级封顶、低置信度弃权;降级模式下不得直接判 D。
- - 对低相关引用检索替换候选,生成 diff、备份与审计记录。
- ## 核心算法:如何判断引用是否相关
- 一句话概括:**先看正文需要什么,再看文献能提供什么,最后看两者是否对得上**。标题或摘要相似度只是其中一个线索,不是最终结论。
- 整个流程分成六个阶段。每个阶段都解决一个具体问题,也都有对应的脚本或模型在背后执行:
- | 阶段 | 用户看到的结果 | 背后如何做 |
- |---|---|---|
- | 0. 来源正确性 | 文献是否存在、著录信息是否需要修正 | `verify_sources.py` 用 DOI / 题名向 Crossref、OpenAlex 查询,比对作者、题名、来源、年份、DOI、卷期页码;不一致时 `apply_source_fixes.py` 生成修正 diff |
- | 1. 需求画像 | 每处引用要承担什么角色 | 按经管实证 / 建模两套功能模板分类,记录「理论依据 / 方法来源 / 数据测量 / 结果对比」等功能与「直接证据 / 间接背景」强度;一个括号内多篇引用逐条拆分 |
- | 2. 供给画像 | 文献实际提供了什么 | `fetch_metadata.py` 取真实摘要并多源验真;NLI 模型判断文献结论对论断是支持、反驳还是中性提及;反驳方向不能作为支持性证据 |
- | 3. 对齐评分 | A / B / C / D 四级判定 | `score_relevance.py` 对三组维度加权计算;原子化论断逐条核验;每级判定都附正文证据句和文献证据句 |
- | 4. 替换候选 | 更合适的替代文献及理由 | `search_candidates.py` 先做 BM25 词法召回,`semantic_recall.py` 用 SPECTER 语义重排;候选按**与现有引用相同的评分标准**重排 |
- | 5. 决策与写回 | diff、备份和人工确认闸门 | `apply_replacement.py` 默认只生成 diff;只有用户明确确认后才备份并写回;`calibrate.py` 可在有人工标注后校准置信度 |
- ### 用户需要知道的四个设计选择
- 1. **需求先于文献。** 先读懂正文想表达什么,再问文献是否供给得上。这样可以区分「合理的背景引用」和「主题相关但支撑不了论断的引用」。
- 2. **同一把尺子。** 评估现有引用和筛选替换候选使用同一套评分标准,避免「判它不合格,换上来的也不合格」。
- 3. **证据不够就不下结论。** 摘要级证据只能给出有限置信度;题名级证据强制转人工;中文来源查不到时输出「无法核验」而不是「文献不存在」。
- 4. **默认不代你改稿。** 所有替换都以 diff 呈现,写回需要显式确认,学术责任始终在作者。
- ### 实现参数(便于复核与调整)
- | 模块 | 关键设置 |
- |---|---|
- | 来源核验 | 题名相似度阈值 0.6;来源相似度阈值 0.35;年份差超过 2 年判为字段错误;查不到只标 `fabricated_suspected` 或 `unverifiable_*`,不自动判编造 |
- | 评分权重 | 需求对齐 0.40(功能 0.25 + 对象 0.15);支撑性 0.40(命题支持 0.30 + 方向 0.10);供给质量 0.20(证据强度 0.10 + 时效 0.05 + 一手性与可核验性 0.05) |
- | 分级 | A ≥ 0.85;B 0.65–0.85;C 0.40–0.65;D < 0.40;方向为 REFUTE 时一票否决 |
- | 证据上限 | `full_text` 1.0;`abstract_only` 0.6;`title_only` 0.45;`unverifiable` 0.3。低置信度一律弃权转人工 |
- | NLI 判定 | `MoritzLaurer/DeBERTa-v3-base-mnli-fever-anli`,输出 SUPPORT / REFUTE / NEUTRAL 三态及概率;依赖缺失时输出 UNKNOWN 并由 agent 按量规推理 |
- | 语义召回 | `sentence-transformers/allenai-specter`(SPECTER)双塔余弦重排;依赖缺失回退 BM25(k1=1.5, b=0.75)并标 `lexical_fallback` |
- | 置信度校准 | numpy 实现 ECE、Brier Score、Platt Scaling、Isotonic Regression;不依赖 sklearn |
- | 模型调用 | NLI 与语义召回为可选层;国内环境可设 `HF_ENDPOINT=https://hf-mirror.com`,依赖缺失时全程显式标注降级,不伪装成模型判定 |
- 更细的字段规范见 `references/rubric.md`,来源检查规则见 `references/source-verification.md`,脚本接口与降级行为见 `references/algorithms.md`,参考文献与方法来源见 [REFERENCES.md](REFERENCES.md)。
- ## 安装
- ### WorkBuddy skill
- ```powershell
- Copy-Item -Recurse -Force .\reference-relevance "$env:USERPROFILE\.workbuddy\skills\reference-relevant"
- ```
- ### 其他 agent
- 本项目按 `SKILL.md` 组织,可被支持 skill / agentskills 约定或能读取 Markdown 指令的 agent 使用。常见安装位置如下;具体路径以所用 agent 的文档为准。
- | Agent | 常见安装方式 |
- |---|---|
- | Claude Code | 复制到 `~/.claude/skills/reference-relevant/` |
- | Codex CLI | 复制到 `~/.codex/skills/reference-relevant/` |
- | Gemini CLI | 复制到 `~/.gemini/skills/reference-relevant/` |
- | Cursor | 复制 `SKILL.md` 内容到 `.cursor/rules/reference-relevant.mdc` |
- | GitHub Copilot / 其他基于 `AGENTS.md` 的 agent | 将 `SKILL.md` 内容加入 `AGENTS.md` |
- PowerShell 示例(先 `cd` 到本项目根目录):
- ```powershell
- # Claude Code
- Copy-Item -Recurse -Force . "$env:USERPROFILE\.claude\skills\reference-relevant"
- # Codex CLI
- Copy-Item -Recurse -Force . "$env:USERPROFILE\.codex\skills\reference-relevant"
- # Gemini CLI
- Copy-Item -Recurse -Force . "$env:USERPROFILE\.gemini\skills\reference-relevant"
- ```
- 若 agent 需要显式触发,使用类似「用 reference-relevant 评估这段引用是否相关」的指令即可。
- ### 可选依赖
- NLI 判定与语义召回需要额外依赖:
- ```bash
- pip install transformers torch sentence-transformers
- ```
- 未安装时,评分器与校准器仍可运行;NLI 输出 UNKNOWN,语义召回回退 BM25 并显式标注。
- ## 使用
- 所有中间产物写入运行目录下的 `.reference-relevant/`,不污染原稿目录。
- ```bash
- python scripts/parse_document.py <input> -o .reference-relevant/parsed.json --discipline econ-empirical
- python scripts/verify_sources.py .reference-relevant/parsed.json -o .reference-relevant/source_check.json
- python scripts/apply_source_fixes.py .reference-relevant/source_check.json --input <input> -o .reference-relevant/source_fixes.diff
- python scripts/fetch_metadata.py .reference-relevant/parsed.json -o .reference-relevant/supply.json
- python scripts/score_relevance.py .reference-relevant/assessment.json -o .reference-relevant/scored.json
- python scripts/search_candidates.py --assessment .reference-relevant/assessment.json -o .reference-relevant/candidates.json --top-k 5
- python scripts/apply_replacement.py --actions .reference-relevant/actions.json --input <input> -o .reference-relevant/replacement.diff
- ```
- 详细工作流与字段规范见 `SKILL.md`;算法脚本的接口与降级行为见 `references/algorithms.md`;评分量规见 `references/rubric.md`。
- ## 数据源
- 英文来源:Crossref、Semantic Scholar、OpenAlex。经管场景不纳入 arXiv、dblp、PubMed。
- 中文来源:CNKI 无公开 API;不绕过验证码或反爬。可通过题录导出或可用连接器获取,按「作者 + 题名 + 年份 + 刊名」四字段比对。详见 `references/cn-sources.md`。
- ## 边界与限制
- - 主攻已有引用;进入相关性评估前先做来源正确性检查;无引用区域默认不检查,仅对重要概念与核心论断做「建议补引」提醒。
- - 来源检查不是全面格式规范审计,也不替代作者确认;无法核验时只输出限制说明,不判定文献不存在。
- - 不以文献验真或格式规范检查为主,也不替代作者做最终决定。
- - 替换默认只生成 diff,须显式确认并先备份原文件。
- - 证据等级为 `abstract_only` 时置信度上限 0.6,不得直接判 D;`title_only` 时上限 0.45 并强制弃权。
- - 不在未告知用户的情况下向第三方服务上传稿件内容。
- ## 结构
- ```text
- reference-relevance/
- ├── README.md # 中文主说明(本文件)
- ├── README_EN.md # 英文说明
- ├── REFERENCES.md # 方法依据与参考文献列表
- ├── SKILL.md # agent 工作流、脚本/agent 边界、人工确认闸门
- ├── LICENSE # MIT 许可
- ├── .gitignore # 忽略缓存、运行产物与本地配置
- ├── assets/
- │ └── report-template.md # Markdown 报告输出模板
- ├── references/
- │ ├── algorithms.md # 评分、NLI、语义召回、校准四个算法层脚本的接口与降级行为
- │ ├── api-notes.md # 英文数据源、限额、缓存、验真策略与字段说明
- │ ├── citation_functions.md # 经管实证/建模的引用功能分类体系与需求字段
- │ ├── cn-sources.md # 中文来源能力边界、题录比对方式与降级话术
- │ ├── rubric.md # 相关性评分量规:三组维度、四级判定、证据等级与置信度
- │ └── source-verification.md # 来源正确性检查的字段、状态与处理顺序
- └── scripts/
- ├── parse_document.py # 解析 docx/pdf/LaTeX,抽取论断单元、引用位置与上下文
- ├── verify_sources.py # 前置核验:存在性、作者/题名/期刊/年份/DOI/卷期页码
- ├── apply_source_fixes.py # 按核验结果生成字段修正 diff,确认后写回
- ├── fetch_metadata.py # 多源取摘要、验真、缓存,并生成供给画像基础字段
- ├── search_candidates.py # BM25 词法召回替换候选
- ├── semantic_recall.py # SPECTER2 语义重排;依赖缺失时回退 BM25
- ├── score_relevance.py # 按 rubric 做确定性评分、否决、证据封顶与弃权
- ├── nli_verify.py # 主张—证据三态判定,含原子 claim 拆分
- ├── calibrate.py # ECE/Brier 与 Platt/Isotonic 置信度校准
- ├── apply_replacement.py # 生成 diff、备份,并在显式确认后写回
- └── rr_common.py # 规范化、缓存、HTTP 请求与 BM25 辅助函数
- ```
- ## 许可
- MIT License,见仓库根目录 `LICENSE`。
Ratings and comments
Sign in to rate this skill.
Sign inFree to use. If it’s helped, pass it on.