Skip to content
Back to search

bilibili-rag

B站收藏夹RAG知识库:收藏不吃灰,B 站收藏夹 → 语音转写 → 向量检索 → 对话问答

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Checked yesterday
Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/via007--bilibili-rag/badge.svg)](/listings/via007--bilibili-rag)

HTML

<a href="/listings/via007--bilibili-rag"><img src="/api/listings/via007--bilibili-rag/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

README.md · README · 290 lines
  1. # 🚀 Bilibili RAG:把收藏夹变成可对话的知识库
  2. [English](README_EN.md) | 中文
  3. 把你在 B 站收藏的访谈/演讲/课程,变成可检索、可追溯来源的**个人知识库**。
  4. 适合:访谈/演讲/课程、技术视频与学习视频整理、公开课复盘、知识总结、会议/分享回顾、播客内容归档等。
  5. > 亮点:自动拉取内容 → 语音转写 → 向量检索 → 对话问答
  6. ---
  7. ## ✨ 功能一览
  8. - ✅ B 站扫码登录,读取收藏夹
  9. - ✅ 音频转文字(ASR),自动兜底处理
  10. - ✅ 支持 B 站多 P 视频逐 P 转写入库
  11. - ✅ 语义检索(向量检索)
  12. - ✅ 基于 RAG 的对话问答
  13. - ✅ 导出视频原始内容或 AI 整理笔记为 Markdown
  14. - ✅ 本地 SQLite + ChromaDB 存储
  15. ---
  16. ## 🖼️ 演示与截图
  17. ![首页截图](assets/screenshots/home.png)
  18. ![对话界面截图](assets/screenshots/chat.png)
  19. ## B站演示视频:
  20. [演示视频](https://b23.tv/bGXyhjU)
  21. ## 🌐 在线体验
  22. > **[立即体验 BiliMind →](https://www.bilimind.xyz/)** · 首次扫码登录赠送 100 积分
  23. 建议先选一个**只含 1–3 个短视频的收藏夹**(也可以新建测试收藏夹),体验视频处理、检索和问答后再逐步增加。按在线版当前费率,10 分钟视频若需语音转写,仅转写约消耗 **6 积分**,内容处理和问答另计。**100 积分粗略可体验约 5 个这样的短视频和数次问答**;实际消耗取决于视频时长、分 P、是否需要转写和问答长度,以站内积分记录为准。
  24. 本地部署使用你自己的模型 API Key,不消耗在线版积分。
  25. ## ⭐ Star History
  26. [![Star History Chart](https://api.star-history.com/svg?repos=via007/bilibili-rag&type=Date)](https://star-history.com/#via007/bilibili-rag&Date)
  27. ---
  28. ## ⚡ 快速开始(3 步)
  29. 0) 安装 ffmpeg(并确保在 PATH 中)
  30. - macOS: `brew install ffmpeg`
  31. - Windows: 下载安装包后将 `bin` 目录加入 PATH
  32. - Linux: `apt/yum/pacman` 安装 `ffmpeg`
  33. 1) 安装依赖
  34. ```bash
  35. conda activate bilibili-rag
  36. pip install -r requirements.txt
  37. ```
  38. 2) 配置环境变量
  39. ```bash
  40. cp .env.example .env
  41. # 编辑 .env,填写 DashScope API Key 等配置
  42. ```
  43. 推荐的百炼 / DashScope OpenAI 兼容配置:
  44. ```env
  45. DASHSCOPE_API_KEY=你的百炼 API Key
  46. OPENAI_API_KEY=
  47. OPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
  48. LLM_MODEL=qwen3-plus
  49. EMBEDDING_MODEL=text-embedding-v4
  50. CHAT_USE_LLM_ROUTER=false
  51. ```
  52. 可选的召回参数:
  53. ```env
  54. RETRIEVAL_CANDIDATE_K=24
  55. RETRIEVAL_TOP_K=8
  56. RETRIEVAL_MMR_FETCH_K=32
  57. RETRIEVAL_MMR_LAMBDA=0.55
  58. ```
  59. 注意:
  60. - `.env` 必须放在项目根目录,不是 `frontend/` 目录
  61. - `OPENAI_BASE_URL` 用于 LLM 对话,推荐使用 `https://dashscope.aliyuncs.com/compatible-mode/v1`
  62. - `DASHSCOPE_API_KEY` 用于 DashScope ASR 和 Embedding;Embedding 通过 DashScope SDK 调用,不使用 `OPENAI_BASE_URL`
  63. - `DASHSCOPE_BASE_URL` 只用于 ASR,不要和 `OPENAI_BASE_URL` 混用
  64. - `CHAT_USE_LLM_ROUTER=false` 会跳过每次回答前的额外路由模型调用,首字更快;如需更智能的自动路由可改为 `true`
  65. - 召回参数通常保持默认即可;如果库很大且想要更高召回,可适当增大 `RETRIEVAL_CANDIDATE_K`
  66. - 修改 `.env` 后需要重启后端服务
  67. - 不要把真实 API Key 提交到 GitHub
  68. 3) 启动服务
  69. ```bash
  70. python -m uvicorn app.main:app --reload
  71. ```
  72. 后端文档:`http://localhost:8000/docs`
  73. 前端:
  74. ```bash
  75. cd frontend
  76. npm install
  77. npm run dev
  78. ```
  79. 前端页面:`http://localhost:3000`
  80. ### Docker 本地一键部署
  81. 适合只想快速跑起来的本地环境。Docker 会同时启动后端和前端,数据会持久化到本地 `data/`,日志会写到 `logs/`。
  82. ```bash
  83. cp .env.example .env
  84. # 编辑 .env,至少填写 DASHSCOPE_API_KEY 或 OPENAI_API_KEY
  85. docker compose up --build
  86. ```
  87. 启动后访问:
  88. - 前端页面:`http://localhost:3000`
  89. - 后端文档:`http://localhost:8000/docs`
  90. 停止服务:
  91. ```bash
  92. docker compose down
  93. ```
  94. 如果修改了 `.env` 中的模型或 API Key,重新启动容器:
  95. ```bash
  96. docker compose up --build
  97. ```
  98. ---
  99. ## 🧠 工作流程
  100. 1. 选择收藏夹
  101. 2. 拉取视频 → 音频转写(ASR)
  102. 3. 生成向量 → 构建知识库
  103. 4. 对话/检索问答
  104. ---
  105. ## 🤖 OpenClaw Skill(本地接入)
  106. 本仓库已提供一个可直接使用的 Skill:`skills/bilibili-rag-local/SKILL.md`。
  107. 作用:把本地运行的 `bilibili-rag` 服务接入 OpenClaw,让 OpenClaw 直接调用你的收藏夹知识库进行检索和问答。
  108. ### 前置条件
  109. 1. 先按上面的步骤完成本项目本地部署。
  110. 2. 确认后端接口可访问:`http://127.0.0.1:8000/docs`。
  111. 3. 确认 OpenClaw 已安装并可加载本地 Skills。
  112. ### 接入方式
  113. 1. 将本仓库中的 `skills/bilibili-rag-local` 放到 OpenClaw 的 Skills 目录(例如 `~/.openclaw/skills/`)。
  114. 2. 重启或刷新 OpenClaw Skills。
  115. 3. 在 OpenClaw 中调用该 Skill,让它通过本地 API 执行:
  116. - `POST /chat/ask`(问答)
  117. - `POST /chat/search`(检索片段)
  118. - `GET /knowledge/folders/status`(入库状态)
  119. ### 使用建议
  120. 1. 先同步/入库收藏夹,再进行问答。
  121. 2. 问题越具体,召回效果越好。
  122. 3. 若出现“无命中”,优先检查是否完成入库或是否选错收藏夹。
  123. ---
  124. ## 🧩 基于 Skill 的扩展示例
  125. 你可以在 `skills/` 目录继续开发更多 Skill,把收藏夹真正变成可持续运营的知识系统。
  126. 例如结合 OpenClaw 的定时能力(Cron)做自动化:
  127. 1. 每日/每周统计收藏夹入库状态(新增、未入库、失败项)。
  128. 2. 定时生成“新增收藏学习摘要”(按主题聚合要点)。
  129. 3. 定时输出“待补全内容清单”(ASR 失败、内容过短、召回弱视频)。
  130. 4. 将统计结果自动推送到你常用的消息渠道,形成固定复盘节奏。
  131. ---
  132. ## 🧪 测试与诊断脚本
  133. > 注意:`test/` 目录下的脚本需要 **移动到项目根目录** 再运行(依赖相对路径与配置)。
  134. - `debug_asr_single.py`:测试单个视频是否能正确获取音频
  135. - `diagnose_rag.py`:测试向量检索召回是否准确
  136. - `sync_cache_vectors.py`:同步数据库缓存数据到向量库
  137. ---
  138. ## 🎧 ASR 说明(音频不可达兜底)
  139. 部分 B 站音频 URL 可能返回 403(直链不可拉取),系统会自动执行兜底流程:
  140. 1. 本地下载音频(带 Cookie)
  141. 2. ffmpeg 转码为 16k 单声道
  142. 3. 上传到 DashScope 后再识别
  143. 多 P 视频会按分 P 逐段转写并合并入库,耗时和 ASR 费用会按实际分 P 总时长增加。
  144. > 请确保本机已安装 `ffmpeg` 并加入 PATH。
  145. ---
  146. ## 💰 费用说明(DashScope)
  147. 模型相关费用包括:
  148. - LLM 对话(按 Token)
  149. - Embedding(按 Token)
  150. - ASR 音频转写(按时长)
  151. 建议:
  152. - 部署/测试阶段先用 **短视频(约 10 分钟)**验证流程与费用
  153. - 正式使用按需启用,注意费用;大多数模型有免费额度,通常足够日常使用
  154. ### 模型配置常见错误
  155. **Q:报错 `The api_key client option must be set` 是什么原因?**
  156. A:后端没有读到有效 API Key。请检查 `.env` 是否在项目根目录,并确认至少配置了 `DASHSCOPE_API_KEY` 或 `OPENAI_API_KEY`。
  157. **Q:百炼 / DashScope 的 `OPENAI_BASE_URL` 应该填什么?**
  158. A:推荐填 `https://dashscope.aliyuncs.com/compatible-mode/v1`。不要填 `https://coding.dashscope.aliyuncs.com/v1`,也不要把 ASR 的 `DASHSCOPE_BASE_URL` 填到这里。
  159. **Q:报错 `DashScope Embedding 初始化失败` 是什么原因?**
  160. A:后端缺少 Embedding 所需依赖。请运行 `pip install -r requirements.txt` 后重启后端。Embedding 使用 DashScope SDK,不会自动切换到 `OPENAI_BASE_URL`。
  161. **Q:报错 `AllocationQuota.FreeTierOnly` 是什么原因?**
  162. A:这是上游模型服务返回的配额错误,通常表示免费额度已耗尽,或控制台开启了“仅使用免费额度”。这不是本项目代码错误,需要在模型服务控制台调整额度/付费设置,或切换可用模型。
  163. **Q:改了 `.env` 但模型没有变化?**
  164. A:配置在后端启动时读取。修改 `.env` 后请重启 `uvicorn` 后端服务。
  165. ---
  166. ## 🧩 技术栈
  167. - 后端:FastAPI
  168. - LLM:LangChain + DashScope
  169. - 向量库:ChromaDB
  170. - 前端:Next.js + Tailwind
  171. - 数据库:SQLite
  172. ---
  173. ## 📂 目录结构(简版)
  174. ```
  175. bilibili-rag/
  176. ├── app/ # 后端逻辑
  177. ├── frontend/ # 前端界面
  178. ├── data/ # 数据库与向量库
  179. ├── skills/ # OpenClaw Skills(含 bilibili-rag-local)
  180. ├── test/ # 测试脚本(需移动到根目录再运行)
  181. └── README.md
  182. ```
  183. ---
  184. ## ✅ 常见问题
  185. **Q:为什么有些音频 URL 可达、有些不可达?**
  186. A:B 站音频直链存在鉴权/过期/区域限制,只有公网可直接拉取的 URL 才可达。
  187. ---
  188. > 免责声明:本项目采用 Apache-2.0 许可证。使用者仍需自行遵守相关平台协议与法律法规;本软件不授予 B 站视频、音频、字幕或其他第三方内容的任何权利。
  189. ---
  190. ## 📜 License
  191. [Apache-2.0](LICENSE)
  192. ---
  193. ## 🧩 TodoList
  194. - 对话存储、会话管理、检索历史对话记录
  195. - 适配更多 LLM 与向量模型
  196. ---
  197. ## 支持项目
  198. 如果这个项目对你有帮助,欢迎自愿支持后续维护:
  199. <img src="docs/alipay-support.jpg" alt="支付宝支持项目" width="280">
  200. 支持完全自愿,不影响项目免费使用。

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.