Skip to content
Back to search

ai-test-quality

SkillWorks with Claude CodeGitHub

Писать быстрые надёжные тесты по риску изменения. При ревью и переработке тестов находить пропущенные регрессии, ложные падения, дубли, лишние моки и дорогие прогоны. Применять при просьбах написать или улучшить тесты, проверить сложный сценарий, ускорить набор или убрать ИИ-слоп из тестирования.

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/glebkostousov--ai-test-quality/badge.svg)](/listings/glebkostousov--ai-test-quality)

HTML

<a href="/listings/glebkostousov--ai-test-quality"><img src="/api/listings/glebkostousov--ai-test-quality/badge.svg" alt="findsafeskills safety rating" /></a>

Install

i

Install instructions from the README

As written by the repo's author. findsafeskills has not verified these steps.

Склонируйте репозиторий в каталог навыков вашего агента. Для Codex на уровне проекта выполните из корня проекта:

git clone https://github.com/GlebKostousov/ai-test-quality.git .agents/skills/ai-test-quality

Для личной установки используйте каталог пользователя: `~/.agents/skills/ai-test-quality` для Codex или `~/.claude/skills/ai-test-quality` для Claude Code. В новом сеансе попросите агента применить `ai-test-quality`. Для обязательного применения добавьте в инструкции проекта:

> При написании, изменении, ускорении и ревью тестов применяй навык `ai-test-quality`. Учитывай тестовый стандарт проекта.

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

SKILL.md · Manifest · 54 lines
  1. ---
  2. name: ai-test-quality
  3. description: >
  4. Писать быстрые надёжные тесты по риску изменения. При ревью и переработке
  5. тестов находить пропущенные регрессии, ложные падения, дубли, лишние моки
  6. и дорогие прогоны. Применять при просьбах написать или улучшить тесты,
  7. проверить сложный сценарий, ускорить набор или убрать ИИ-слоп из тестирования.
  8. ---
  9. # Тесты без ИИ-слопа
  10. Цель — поймать существенную ошибку самой простой проверкой, которой можно доверять. Учитывай цену пропущенной ошибки, время прогона и стоимость сопровождения. Работающий существующий тест может полностью закрыть задачу.
  11. ## Защита от раздувания тестов
  12. Эти правила действуют при написании и чистке.
  13. | Решение | Правило |
  14. |---|---|
  15. | Куда положить тест | Добавляй случай в ближайший файл того же поведения и уровня. Не создавай отдельный `test_*.py` только ради одной функции, пары утверждений или очередного шага задачи. Новый файл оправдан самостоятельной группой сценариев, отдельным окружением или установленной границей модулей. При чистке объединяй файлы по смыслу, сохраняя фикстуры, маркеры и адресные запуски. |
  16. | Unit или integration | В unit-тесте можно задать простой ответ на границе репозитория и проверить решение сервиса. Если для подготовки приходится имитировать сессию, SQL-запрос, курсор и транзакцию цепочкой `AsyncMock`, перенеси сценарий в узкий интеграционный тест на тестовой БД нужного типа. Для PostgreSQL проверь реальный запрос или ограничение на минимальных данных с существующей фикстурой. Запускай этот сценарий отдельно. |
  17. | Тест или статический анализ | Синтаксис, стиль и правила импортов проверяй штатными средствами проекта. Не добавляй в pytest обход исходников через `ast.parse` ради повторения линтера. Для обязательной архитектурной границы используй одно общее правило на класс нарушений. При замене существующего стража убедись, что новая проверка входит в штатный запуск и ловит конкретное нарушение. Тест AST у парсера уместен, когда разбор кода сам является поведением продукта. |
  18. | Что проверять у миграций | Базовая проверка разворачивает поддерживаемую цепочку миграций на чистой тестовой БД до актуальной версии и проверяет нужные свойства схемы, например уникальность ключа. Отдельный файл или тест на каждую историческую ревизию не нужен. Если миграция преобразует существующие данные, отдельно проверь переход с поддерживаемой старой версии на заполненной БД и итоговые значения. Откат проверяй там, где он входит в контракт. |
  19. ## Написать
  20. 1. **Назови риск.** Что меняет пользователь или система, что должно получиться и какая правдоподобная ошибка пройдёт сейчас? Возьми ожидаемый результат из требования, договора, разобранного примера или независимого свойства. Для сложной задачи уточни исходное состояние и что контракт оставляет свободным. Если порядок записей свободный, проверь состав с учётом повторов.
  21. 2. **Найди ближайший тест.** Прочитай его данные, подмены и ожидания. Если он уже ловит эту ошибку через нужную границу, запусти его. Если не хватает одного граничного случая, добавь его туда. Отдельный сценарий нужен для собственного поведения, эффекта или способа отказа.
  22. 3. **Выбери уровень, на котором виден риск.** Расчёт проверь вызовом функции, уникальность и откат — на тестовой БД с нужной семантикой, совместимость двух частей — через их реальное соединение. Браузер нужен, когда действие или результат зависит от браузера. Подменяй часы, сеть и внешние службы там, где они окружают проверяемый участок. Оставляй рабочим механизм, который может сломаться.
  23. 4. **Проверь значимый итог.** Имя теста описывает поведение. На его данных правильный и правдоподобно ошибочный результат должны различаться. Для записи или отправки проверь обещанное состояние или эффект. Несколько ожиданий уместны для одного обещания. Отладочный вывод помогает исследовать ошибку, а регрессионному тесту нужно условие, при нарушении которого он падает.
  24. 5. **Запусти по назначению.** Для исправления по возможности покажи падение на старой версии **в нужном месте** и успех на новой. Для рефакторинга с прежним контрактом один тест должен проходить на обеих версиях. Если старая версия недоступна или свидетельство уже получено, укажи фактическую проверку. В спорном случае достаточно одной временной поломки в изолированной копии.
  25. Если результат зависит от порядка событий, повтора, прав или сбоя, выбери короткий сценарий из [примеров сложного поведения](references/scenarios.md). Если подходящие примеры трудно перечислить, возьми проверяемое свойство и входы, на которых оно может нарушиться.
  26. **Цена обычного запуска.** Подготовь только данные, различающие правильный и ошибочный исход. Пользуйся существующими фикстурами, когда из теста понятно, откуда берутся нужная роль, запись или состояние. Вызывай платные API и модели в отдельных интеграционных проверках, когда проверяется именно их поведение. Сумму, состав выгрузки и права можно проверить локально обычным сравнением. Если такой тест стал медленным, сначала отдели стоимость подготовки от стоимости самой операции.
  27. ## Переработать
  28. При запросе ревью выдай замечания по проверенным местам. При запросе на чистку исправляй тесты в порученных границах. Начни с затронутого набора, его назначения и доступного исходного результата. Называй конкретную проблему независимо от авторства.
  29. - **Ложный успех.** Покажи неправильный результат, при котором тест останется зелёным. Проверь независимость ожидания, достижимость утверждения и не вернула ли заглушка весь готовый ответ.
  30. - **Ложное падение.** Покажи допустимое изменение, которое ломает тест. Замени зависимость от деталей реализации наблюдаемым обещанием. При ремонте снимка или ожидания сверяй каждое существенное отличие с требованиями.
  31. - **Дубль.** Установи, что оставшийся тест ловит ту же ошибку на нужном уровне и сохраняет особые входы, роли, состояния и полезную диагностику. Тогда объедини или удали лишний сценарий. При сомнении сохрани его до проверки. Совпадение строк покрытия недостаточно.
  32. - **Нестабильность или дорогой прогон.** Установи источник по упавшему запуску или замеру. Уменьши данные, замени ожидание по таймеру наблюдаемым событием, изолируй состояние между тестами. Дорогую инфраструктуру можно переиспользовать, если данные тестов остаются независимыми. Заявленное ускорение измерь на одном наборе в сопоставимых условиях. Первый сбой остаётся частью результата после повтора.
  33. Выбирай минимальную правку, сохраняющую сигнал. Сначала запусти усиленную или оставшуюся проверку, затем затронутую группу. Падение может указывать на дефект продукта. Для ослабления проверки, удаления случая, добавления skip или принятия нового эталона нужно основание в контракте. Примеры с полезными исключениями — в [разборе паттернов](references/cleanup.md).
  34. ## Когда закончить
  35. Остановись, когда затронутые обещания и существенные риски проверены, а следующий тест повторит имеющийся сигнал. Покрытие, число кейсов и процент обнаруженных мутаций помогают искать пробелы. Целевые показатели бери из требований проекта. Полный прогон перед сдачей нужен, если узкая выборка оставляет существенный пробел или проект требует полной проверки. Если CI недоступен, запусти доступные локальные проверки и назови оставшийся пробел. Для платежей, прав, изоляции данных, миграций и отката учитывай правила независимого ревью проекта.
  36. При сдаче назови пойманную ошибку или защищённое обещание, что изменилось в наборе, что реально запускалось и с каким результатом. Пропуски и непроверенные границы отмечай отдельно. Для небольшого изменения хватит одной-двух фраз.
  37. Для оценки самого навыка на исторических задачах используй [методику сравнения и источники](references/evaluation.md).
README.md · README · 36 lines
  1. # Тесты без ИИ-слопа
  2. `ai-test-quality` помогает агенту писать и разбирать тесты. Для нового теста агент называет ошибку, которую тот должен поймать, и выбирает самый дешёвый способ её увидеть. При чистке существующего набора он проверяет, какой сигнал пропадёт вместе с каждым кандидатом на удаление.
  3. Например, у выгрузки есть три условия: вернуть все записи выбранной организации, сохранить повторы и исключить чужие записи. Проверка «все строки принадлежат нашей организации» пропустит пустую выгрузку. В [учебном тесте](examples/test_export.py) сравнивается состав с учётом повторов. Порядок строк по условиям задачи свободный.
  4. ## Установка
  5. Склонируйте репозиторий в каталог навыков вашего агента. Для Codex на уровне проекта выполните из корня проекта:
  6. ```sh
  7. git clone https://github.com/GlebKostousov/ai-test-quality.git .agents/skills/ai-test-quality
  8. ```
  9. Для личной установки используйте каталог пользователя: `~/.agents/skills/ai-test-quality` для Codex или `~/.claude/skills/ai-test-quality` для Claude Code. В новом сеансе попросите агента применить `ai-test-quality`. Для обязательного применения добавьте в инструкции проекта:
  10. > При написании, изменении, ускорении и ревью тестов применяй навык `ai-test-quality`. Учитывай тестовый стандарт проекта.
  11. ## Два запроса для начала
  12. - **Написать тест.** «При повторной доставке события заказ иногда создаётся дважды. Найди ближайший тест и проверь, что после повторной доставки сохранён один заказ».
  13. - **Разобрать набор.** «Проверь тесты выгрузки. Покажи, какие ошибки они пропускают. Перед удалением дубля укажи, какой оставшийся тест поймает ту же ошибку».
  14. ## Проверить пример
  15. Из корня этого репозитория выполните:
  16. ```sh
  17. python -m unittest discover -s examples -v
  18. ```
  19. Пример использует стандартную библиотеку Python 3. Если в [функции выгрузки](examples/export_rows.py) временно вернуть пустой список, тест на смешанных данных упадёт. Изменение порядка правильных строк тест допускает.
  20. Инструкции агента находятся в [SKILL.md](SKILL.md). К ним прилагаются [сложные сценарии](references/scenarios.md), [примеры чистки](references/cleanup.md) и [методика оценки с источниками](references/evaluation.md).
  21. Лицензия — [MIT](LICENSE).

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.