Skip to content
Back to search

paint-mv-skills

Agent skills that turn a song and its lyrics into a hand-painted watercolour music video (p5.brush + headless Chrome + ffmpeg), following PDoomVideo's pipeline

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Checked yesterday
Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/lintsinghua--paint-mv-skills/badge.svg)](/listings/lintsinghua--paint-mv-skills)

HTML

<a href="/listings/lintsinghua--paint-mv-skills"><img src="/api/listings/lintsinghua--paint-mv-skills/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

Install instructions from the README

As written by the repo's author. findsafeskills has not verified these steps.

需要 Node.js ≥ 18、ffmpeg、Google Chrome、git、patch;纯文本歌词自动对齐还需要 [uv](https://docs.astral.sh/uv/)。

git clone https://github.com/lintsinghua/paint-mv-skills.git
cd paint-mv-skills
node skills/paint-mv/scripts/fetch_upstream.mjs   # 拉取原作源码(见下文「关于原作源码」)

把 `skills/` 下的四个目录放到你的 Agent 读取 skill 的位置,例如:

- Cursor:项目里的 `.cursor/skills/`(本仓库已经用符号链接指向 `skills/`,直接在本仓库里打开就能用) - Claude Code:`.claude/skills/` 或 `~/.claude/skills/`(本仓库同样有符号链接)

然后对 Agent 说:"用这首歌和歌词做一支 MV:`song.mp3`、`lyrics.lrc`"。

想先试试又没有合适的歌,可以像演示那样自己做一首:我是在 [YuE2](https://noiz.ai/lp/yue2) 上贴歌词生成的。

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

README.md · README · 126 lines

View this file on GitHub (read at the repository's current version: the scan did not record which commit it read)

  1. # paint-mv-skills
  2. [![《凌晨录音室》Midnight Studio:用本 skills 从零生成的 MV](demo/cover.jpg)](demo/midnight-studio.mp4)
  3. 给 AI Agent 用的 MV 制作 skills:输入**一首歌的音频和歌词**,输出**一支手绘水彩风格的动画 MV(MP4)**。
  4. 流程完全照 [PDoomVideo](https://github.com/JohnHeibel/PDoomVideo)(Claude 为《I'm Upping My P(doom)》画的 MV)的源码来做:
  5. 每一帧都是歌曲时间的纯函数,由 p5.js + [p5.brush](https://github.com/acamposuribe/p5.brush) 在 headless Chrome 里画成水彩与墨线,
  6. 导演写分镜、并行子代理一章一章作画、联系表检查,最后用 ffmpeg 和歌曲合成。
  7. **画风固定,内容跟着歌词走**:水彩加墨线的绘本观感、纸纹、"沸腾"的线条、卡拉 OK 字幕、笔刷转场都沿用原作;
  8. 构思、角色、场景和道具每首歌都从歌词重新设计。
  9. ## 演示:《凌晨录音室》
  10. 用一首 86 秒的中文说唱从零跑完全流程的结果,没有人工修改画面。歌词是新写的,歌用 [YuE2](https://noiz.ai/lp/yue2) 生成。
  11. ![《凌晨录音室》MV 截图](demo/stills.jpg)
  12. https://github.com/user-attachments/assets/8e291eb1-0761-4abd-b2c0-7ef165dc343a
  13. 凌晨两点,全城都睡了,只有路口的红绿灯和一个戴大耳机的说唱少年还醒着。他在小录音室里把"没被听见的字"
  14. 录成一束光,每段副歌光都更大,最后冲出窗户唱进城市的耳朵里;清晨升起的太阳,就是他录了一夜的那束光。
  15. 角色全部来自歌词:唱歌的"我"小夜、"街上只剩红绿灯"的灯灯、"每个没被听见的字都还有体温"的字灵、
  16. "耳机里的鼓点"鼓点仔、"白天的嘈杂"嘈杂怪。
  17. ![角色模型表](demo/cast.jpg)
  18. 分镜和全部源码在 [`demo/project/`](demo/project/):[`STORYBOARD.md`](demo/project/STORYBOARD.md)、
  19. 角色 [`characters.js`](demo/project/src/characters.js)、共享场景 [`sets.js`](demo/project/src/sets.js)、五个章节 [`src/ch/`](demo/project/src/ch/);
  20. 封面由 [`poster.js`](demo/project/src/poster.js) 用同一套引擎画出(`node render.mjs --loop=poster --stills=0.4`)。
  21. ## 四个 skill
  22. | skill | 作用 |
  23. |---|---|
  24. | [`paint-mv`](skills/paint-mv/SKILL.md) | 总控:建项目、测节拍和对歌词时间、落地角色、给每章派子代理、统稿、出片 |
  25. | [`paint-mv-storyboard`](skills/paint-mv-storyboard/SKILL.md) | 从歌词写分镜:构思与反转、角色表、每章场景、每句歌词一个镜头、有动机的转场 |
  26. | [`paint-mv-animate`](skills/paint-mv-animate/SKILL.md) | 画师规范:引擎 API、按原作风格设计角色、技法目录、原作九章示例 |
  27. | [`paint-mv-render`](skills/paint-mv-render/SKILL.md) | 联系表检查、短片、全片并行可续渲、局部重渲、编码与验收、排错 |
  28. 流程(`paint-mv` 驱动):
  29. 1. `new_project.mjs` 建项目:引擎模板、分析节拍(BPM、首拍)、歌词转成时间轴;纯文本歌词先用 faster-whisper 自动对齐。
  30. 2. 出对拍短片确认时间。
  31. 3. 按 `paint-mv-storyboard` 从歌词写 `STORYBOARD.md`。
  32. 4. 写本片角色 `characters.js` 和共享场景 `sets.js`,出模型表。
  33. 5. 每章一个子代理并行作画,各自用联系表检查。
  34. 6. 统稿:章节交界、转场、性能。
  35. 7. 全片逐帧渲染,编码成 MP4。
  36. ## 安装
  37. 需要 Node.js ≥ 18、ffmpeg、Google Chrome、git、patch;纯文本歌词自动对齐还需要 [uv](https://docs.astral.sh/uv/)。
  38. ```bash
  39. git clone https://github.com/lintsinghua/paint-mv-skills.git
  40. cd paint-mv-skills
  41. node skills/paint-mv/scripts/fetch_upstream.mjs # 拉取原作源码(见下文「关于原作源码」)
  42. ```
  43. 把 `skills/` 下的四个目录放到你的 Agent 读取 skill 的位置,例如:
  44. - Cursor:项目里的 `.cursor/skills/`(本仓库已经用符号链接指向 `skills/`,直接在本仓库里打开就能用)
  45. - Claude Code:`.claude/skills/` 或 `~/.claude/skills/`(本仓库同样有符号链接)
  46. 然后对 Agent 说:"用这首歌和歌词做一支 MV:`song.mp3`、`lyrics.lrc`"。
  47. 想先试试又没有合适的歌,可以像演示那样自己做一首:我是在 [YuE2](https://noiz.ai/lp/yue2) 上贴歌词生成的。
  48. ## 手动使用
  49. ```bash
  50. # 纯文本歌词先对齐(每行一句)
  51. uv run --python 3.12 --with faster-whisper --with zhconv python skills/paint-mv/scripts/align_lyrics.py \
  52. song.mp3 lyrics.txt --out lyrics.srt --lang zh
  53. node skills/paint-mv/scripts/new_project.mjs my-mv --audio=song.mp3 --lyrics=lyrics.srt --title="歌名"
  54. cd my-mv
  55. # ……按 skills 写分镜、角色、章节……
  56. node render.mjs --frames=0:<时长> --workers=4 # 逐帧渲染,可续渲
  57. node render.mjs --encode --out=out/mv.mp4
  58. ```
  59. 复现演示:
  60. ```bash
  61. node skills/paint-mv/scripts/new_project.mjs demo-mv --audio=demo/project/assets/song.mp3 --title="凌晨录音室"
  62. cp -R demo/project/* demo-mv/
  63. # 在 demo-mv/studio.html 末尾的章节注释处加上五行:
  64. # <script src="src/ch/c01_street.js"></script> … <script src="src/ch/c05_dawn.js"></script>
  65. cd demo-mv && node render.mjs --frames=0:86.63 --workers=4 && node render.mjs --encode --out=out/mv.mp4
  66. ```
  67. ## 关于原作源码
  68. PDoomVideo 仓库没有声明开源许可证,所以本仓库**不包含**它的任何文件。
  69. `skills/paint-mv/scripts/fetch_upstream.mjs` 会从 GitHub 按固定提交拉取:
  70. - 引擎:`core.js`、`timeline.js`、`props.js`、`clawd.js`、`cast.js`、`render.mjs`、`studio.html`;
  71. - 原作九章:放进 `paint-mv-animate/examples/`;
  72. - 原作分镜:放进 `paint-mv-storyboard/pdoom-storyboard.md`。
  73. 然后对引擎打上 [`template.patch`](skills/paint-mv/template.patch):歌曲参数移到 `song.js`、支持 macOS 的 WebGL 后端、
  74. 中日韩字体和卡拉 OK 扫字速度。`new_project.mjs` 第一次运行时会自动调用它。改动细节见
  75. [`paint-mv/SKILL.md`](skills/paint-mv/SKILL.md) 的「引擎与原作源码的差异」。
  76. ## English
  77. Agent skills that turn a song (audio + lyrics) into a hand-painted watercolour music video, following the pipeline of
  78. [PDoomVideo](https://github.com/JohnHeibel/PDoomVideo): a director skill that scaffolds the project, times the beat and
  79. lyrics and briefs parallel chapter subagents; a storyboard skill that designs the concept, cast and sets from the
  80. lyrics; an animation skill with the p5.brush engine API and the original chapters as examples; and a render skill for
  81. headless-Chrome frame rendering and ffmpeg encoding. The style is fixed; the story and characters come from each song.
  82. PDoomVideo's own code is not included: `fetch_upstream.mjs` downloads it at a pinned commit and applies
  83. `template.patch`. See [`demo/`](demo/) for a full example.
  84. ## 致谢
  85. - [YuE2](https://noiz.ai/lp/yue2)
  86. - [PDoomVideo](https://github.com/JohnHeibel/PDoomVideo):John Heibel,流程、引擎和画风的来源
  87. - [p5.js](https://p5js.org/)、[p5.brush](https://github.com/acamposuribe/p5.brush)
  88. - [LINUX DO](https://linux.do) 社区的佬友们
  89. ## 许可
  90. 本仓库的文件以 [MIT](LICENSE) 许可发布;`fetch_upstream.mjs` 下载的 PDoomVideo 源码不在此许可范围内。

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.