Skip to content
Back to search

autoresearch-cn

使用 AI Agent 在单 GPU 上自动训练并调优大语言模型

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Checked today
Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/sanbuphy--autoresearch-cn/badge.svg)](/listings/sanbuphy--autoresearch-cn)

HTML

<a href="/listings/sanbuphy--autoresearch-cn"><img src="/api/listings/sanbuphy--autoresearch-cn/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

README.md · README · 109 lines

View this file on GitHub (read at the repository's current version: the scan did not record which commit it read)

  1. # autoresearch-cn
  2. > 本项目基于 [autoresearch](https://github.com/karpathy/autoresearch) 中文化
  3. > 感谢 [Andrej Karpathy](https://github.com/karpathy) 的开源工作
  4. > 原项目采用 MIT 许可证
  5. ---
  6. ![teaser](progress.png)
  7. *曾几何时,前沿 AI 研究还是由"肉体计算机"完成的——他们在吃饭、睡觉、娱乐之余做研究,偶尔通过声波互联在"组会"仪式中同步进度。那个时代早已过去。如今,研究完全由自主 AI 智能体集群主导,它们运行在天空中的超大规模计算集群上。这些智能体声称代码库已经迭代到第 10,205 代,但没人能验证真假——因为"代码"现在是一个自我修改的二进制文件,早已超出人类理解范围。这个仓库,记录了这一切的起点。—— @karpathy, 2026 年 3 月*
  8. ## 这个项目是干什么的
  9. 你可以把这个项目理解成一个"AI 研究员的实验室"。
  10. 晚上睡觉前,给 AI 一个训练环境,告诉它目标是什么。然后它会自己改代码、跑实验、看结果。觉得效果好就记下来,不好就扔掉,接着试下一个想法。第二天早上起来,你能看到一晚上的实验记录,还有(运气好的话)一个更好的模型。
  11. 项目本身很简单,就几个文件。但你能从中看到这种"AI 做研究"的模式怎么运作,以及怎么扩展到更复杂的场景。训练代码来自 [nanochat](https://github.com/karpathy/nanochat),我们把它改成了单 GPU 版本。想了解更多背景,可以看 Karpathy 的这条[推文](https://x.com/karpathy/status/2029701092347630069)。
  12. ## 学习资源
  13. 如果你想深入理解这个项目的每个细节,可以看:
  14. - **[TUTORIAL.md](TUTORIAL.md)** — 从零开始的详细教程,讲解数据处理、模型架构、训练流程
  15. - **原项目** — https://github.com/karpathy/autoresearch
  16. - **nanochat** — https://github.com/karpathy/nanochat
  17. ## 快速开始
  18. **你需要:**
  19. - 一张 NVIDIA GPU(项目在 H100 上测试过,其他卡也行)
  20. - Python 3.10 或更高版本
  21. - [uv](https://docs.astral.sh/uv/) 包管理器
  22. ```bash
  23. # 1. 安装 uv(如果还没装)
  24. curl -LsSf https://astral.sh/uv/install.sh | sh
  25. # 2. 安装依赖
  26. uv sync
  27. # 3. 准备数据(第一次运行,大概 2 分钟)
  28. uv run prepare.py
  29. # 4. 跑一次训练试试(5 分钟训练 + 启动时间)
  30. uv run train.py
  31. ```
  32. 第一次运行 `prepare.py` 会下载数据和训练分词器,之后就不用再跑了。
  33. **平台支持说明**:目前代码需要 NVIDIA GPU。理论上可以支持 CPU、MPS 等平台,但会增加代码复杂度。如果需要其他平台支持,可以参考完整版的 [nanochat](https://github.com/karpathy/nanochat) 仓库。
  34. ## 工作原理
  35. 整个项目就几个文件,分工很明确:
  36. - **`prepare.py`** — 数据准备工具,下载数据和训练分词器(固定不变)
  37. - **`train.py`** — 核心文件,AI 只能改这个。里面有模型定义、优化器、训练循环
  38. - **`program.md`** — AI 的工作手册,告诉它该怎么做实验
  39. 每次训练都是固定 **5 分钟**(不算启动时间)。评估用的是 **val_bpb**(验证集上的 bits per byte),数字越小说明模型越好。这个指标的好处是不受词表大小影响,不同配置之间可以直接比较。
  40. ## 让 AI 自己做实验
  41. 在项目目录里启动 Claude(或其他支持代码的 AI),然后对它说:
  42. ```
  43. Hi 看一下 program.md,开始新实验吧!先做准备工作。
  44. ```
  45. `program.md` 本质上就是一个超轻量的"技能文件",里面写了实验流程、注意事项、评估标准等。AI 会按照这个手册自己改代码、跑实验、记录结果。
  46. ## 项目结构
  47. ```
  48. prepare.py — 数据准备工具(下载数据、训练分词器)
  49. train.py — 训练脚本(AI 改这个文件)
  50. program.md — AI 工作手册
  51. pyproject.toml — 依赖配置
  52. ```
  53. ## 设计思路
  54. 这个项目的设计有几个关键点:
  55. **只改一个文件**
  56. AI 只能修改 `train.py`,其他文件都是只读的。这样改动范围可控,不会把整个项目搞乱。
  57. **固定训练时间**
  58. 每次都跑 5 分钟,这样不同实验的结果可以直接比较。不会出现"这个模型好是因为训练时间长"的情况。这意味着每小时约 12 个实验,睡一觉能跑约 100 个实验。
  59. **公平的评估指标**
  60. 用 BPB(bits per byte)而不是常见的 perplexity。BPB 不受词表大小影响,8K 词表和 32K 词表的模型可以公平比较。
  61. **保持简单**
  62. 只依赖 PyTorch 和几个必要的库,单 GPU 单文件。代码简单意味着 AI 更容易理解和修改。
  63. ## 相关分支
  64. - [miolini/autoresearch-macos](https://github.com/miolini/autoresearch-macos) - macOS 支持版本
  65. ## 开源协议
  66. MIT
  67. ---
  68. **再次感谢 [Andrej Karpathy](https://github.com/karpathy) 的开源工作!**

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.