Skip to content
Back to search

ilyautov-plugins

MarketplaceWorks with Claude CodeGitHub

Plugins by Ilya Utov: humanizer-ru, a Russian text quality editor | Плагины Ильи Утова: humanizer-ru, редактура русского текста

Safety scan

A static text scan, not a guarantee. Select the badge to see what was scanned and every finding.

Checked today

Check it deeper on your machine

It has changed since its scan on 11 Nov 2026.

As a Claude Code plugin, install it and then ask Claude Code:

/plugin marketplace add keithmackay/mackayi/plugin install scanskillsafety@mackayiDo a deep scan of https://github.com/ilyautov/humanizer-ru with scanskillsafety

Or from a terminal, clone it and run it:

git clone https://github.com/keithmackay/scanskillsafety-skill ~/.claude/skills/scanskillsafetynode ~/.claude/skills/scanskillsafety/cli.cjs --deep 'https://github.com/ilyautov/humanizer-ru'

It checks the exact commit: every file, its packages against OSV (api.osv.dev), how it compares with this page's scan (findsafeskills.com receives the repository's address), and, if you agree, Claude reading every file with your own Claude subscription. It never runs the code.

Badge for your README
findsafeskills safety rating

Markdown

[![findsafeskills safety rating](/api/listings/ilyautov--humanizer-ru/badge.svg)](/listings/ilyautov--humanizer-ru)

HTML

<a href="/listings/ilyautov--humanizer-ru"><img src="/api/listings/ilyautov--humanizer-ru/badge.svg" alt="findsafeskills safety rating" /></a>

Install

Install instructions from the README

As written by the repo's author. findsafeskills has not verified these steps.

Скилл разворачивается тремя путями: загрузкой в веб-интерфейс Claude.ai, централизованной раскаткой на команду или установкой в локальные агенты (Claude Code, Cowork, API).

1. Claude.ai (веб-интерфейс)

1. Скачайте готовый архив скилла: [humanizer-ru.zip](https://github.com/ilyautov/humanizer-ru/releases/latest/download/humanizer-ru.zip) 2. Откройте Claude.ai → **Settings** → **Capabilities** → **Skills**. 3. Нажмите **Upload skill** и выберите скачанный архив.

> Не берите `archive/refs/heads/main.zip`: загрузчик ожидает папку скилла в корне архива, а в архиве репозитория она лежит внутри `humanizer-ru-main/skills/humanizer-ru/`. Если нужно собрать архив самому, архивируйте именно папку скилла: > > ```bash > git clone https://github.com/ilyautov/humanizer-ru.git > cd humanizer-ru/skills > zip -r ../../humanizer-ru.zip humanizer-ru -x '*/__pycache__/*' > ```

2. Организации (Enterprise и Team)

Администраторы Claude for Work раскатывают скилл централизованно через workspace skill library, и он становится доступен всей команде без индивидуальной загрузки. Загрузите ZIP в **Admin Console → Workspace Skills → Add skill**.

3. Claude Code, Cowork и API (локальные агенты)

**Через плагин-маркетплейс** (рекомендуется):

/plugin marketplace add ilyautov/humanizer-ru
/plugin install humanizer-ru@ilyautov-plugins

После установки плагин подгружает скилл автоматически при триггерах вроде «очеловечь», «убери канцелярит», «перепиши как человек».

**Через skills.sh CLI** (универсальный путь для любого Claude-агента):

npx skills add https://github.com/ilyautov/humanizer-ru/tree/main/skills/humanizer-ru

CLI кладёт `SKILL.md` в `~/.claude/skills/humanizer-ru/` и регистрирует скилл в индексе [skills.sh](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru). Короткая форма тоже работает: `npx skills add ilyautov/humanizer-ru` находит скилл в репозитории и предлагает его к установке, а с флагом `--skill humanizer-ru` ставит без вопросов.

**Через API (`/v1/messages` и аналоги):** передайте скилл параметром `container.skills`. Детали в документации вашего клиента.

**Вручную** (если ничего из выше не подошло):

git clone --depth 1 https://github.com/ilyautov/humanizer-ru /tmp/humanizer-ru
mkdir -p ~/.claude/skills
cp -r /tmp/humanizer-ru/skills/humanizer-ru ~/.claude/skills/

Копируйте папку целиком, а не один SKILL.md: вместе со скиллом едет детерминированный сканер `scripts/scan.py` (машинная половина режима «Аудит»). Ему нужны пакеты `razdel` и `pymorphy3`. Без них скилл проводит аудит вручную и обязан сказать об этом; балла «Чистота: N/100» вы не увидите.

Как поставить зависимости. На macOS с Python из Homebrew и на Debian/Ubuntu голый `pip install` падает с `externally-managed-environment` (PEP 668), поэтому любой из трёх способов:

uvx ru-humanizer файл.txt                       # без установки, нужен uv
pipx install ru-humanizer                       # команда ru-humanizer в PATH
python3 -m venv ~/.humanizer-ru && ~/.humanizer-ru/bin/pip install razdel pymorphy3
~/.humanizer-ru/bin/python ~/.claude/skills/humanizer-ru/scripts/scan.py файл.txt

Проверка, что сканер живой: `python3 ~/.claude/skills/humanizer-ru/scripts/scan.py --help` без строки `[ошибка]`.

4. Codex CLI (OpenAI)

Codex использует тот же формат Agent Skills, отдельная версия не нужна:

git clone --depth 1 https://github.com/ilyautov/humanizer-ru
mkdir -p ~/.codex/skills
cp -r humanizer-ru/skills/humanizer-ru ~/.codex/skills/

Либо изнутри Codex через `skill-installer`: укажите путь `ilyautov/humanizer-ru/skills/humanizer-ru`. После установки перезапустите Codex; вызов: `$humanizer-ru` или автоматически по триггер-фразам («очеловечь», «убери канцелярит»). Проектная установка: та же папка в `.codex/skills/` внутри репозитория.

5. Gemini CLI и Cursor

What was scanned

The files the safety scan read, as written by the repository's author and shown as plain text. Lines with a finding are marked.

.claude-plugin/marketplace.json · Manifest · 36 lines

View this file on GitHub (read at the repository's current version: the scan did not record which commit it read)

  1. {
  2. "name": "ilyautov-plugins",
  3. "description": "Plugins by Ilya Utov: humanizer-ru, a Russian text quality editor | Плагины Ильи Утова: humanizer-ru, редактура русского текста",
  4. "owner": {
  5. "name": "Ilya Utov",
  6. "email": "ilyautov@gmail.com"
  7. },
  8. "plugins": [
  9. {
  10. "name": "humanizer-ru",
  11. "displayName": "Humanizer RU",
  12. "source": "./",
  13. "description": "Russian text quality editor: removes bureaucratese, calques and AI-style clichés without changing facts or the author's voice. 67 patterns, 21 hard bans, 3 modes (edit / audit / targeted fix), deterministic scanner with a 0-100 cleanliness score and a fact-lock. | Редактура русского текста: убирает канцелярит, кальки и нейросетевые штампы, не меняя факты и голос автора. 67 паттернов, 21 жёсткий запрет, 3 режима, сканер с баллом чистоты 0-100 и факт-замок.",
  14. "version": "3.32.0",
  15. "author": {
  16. "name": "Ilya Utov",
  17. "email": "ilyautov@gmail.com"
  18. },
  19. "homepage": "https://github.com/ilyautov/humanizer-ru",
  20. "repository": "https://github.com/ilyautov/humanizer-ru",
  21. "license": "MIT",
  22. "keywords": [
  23. "humanizer",
  24. "russian",
  25. "writing",
  26. "editing",
  27. "proofreading",
  28. "text-quality",
  29. "ai-slop",
  30. "русский",
  31. "редактура"
  32. ],
  33. "category": "writing"
  34. }
  35. ]
  36. }
README.md · README · 460 lines

View this file on GitHub (read at the repository's current version: the scan did not record which commit it read)

  1. # humanizer-ru: редактура русского текста для AI-агентов
  2. > Убирает канцелярит и шаблонные обороты из русского текста. Скилл даёт агенту процедуру локальной редактуры: найти лишнее, исправить конкретные места, сверить смысл и голос с исходником. В комплекте сканер, CLI, MCP и расширение Chrome. 67 признаков в каталоге, 21 жёсткий запрет с жанровыми исключениями.
  3. > [English version](README.en.md) · [中文](README.zh.md)
  4. [![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](LICENSE)
  5. [![Версия](https://img.shields.io/badge/версия-3.32.0-blueviolet)](https://github.com/ilyautov/humanizer-ru/blob/main/CHANGELOG.md)
  6. [![Звёзды](https://img.shields.io/github/stars/ilyautov/humanizer-ru?style=social)](https://github.com/ilyautov/humanizer-ru/stargazers)
  7. [![skills.sh](https://skills.sh/b/ilyautov/humanizer-ru)](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru)
  8. [![npm](https://img.shields.io/npm/v/humanizer-ru?label=npm%20%C2%B7%20dsh)](https://www.npmjs.com/package/humanizer-ru)
  9. [![HOL](https://img.shields.io/endpoint?url=https%3A%2F%2Fhol.org%2Fapi%2Fregistry%2Fbadges%2Fplugin%3Fslug%3Dilya-utov%252Fhumanizer-ru%26metric%3Dstatus%26style%3Dflat)](https://hol.org/registry/plugins/ilya-utov%2Fhumanizer-ru)
  10. <p align="center">
  11. <a href="https://humanizer-ru.aifrontier.tech/">
  12. <img src="assets/readme-banner.jpg" alt="humanizer-ru: меньше штампов, больше смысла. Редакторская мастерская AI Frontier" width="720">
  13. </a>
  14. </p>
  15. > **Было:** «Стоит отметить, что данный инструмент помогает редактору находить канцелярит. Результат нужно перечитать».
  16. > **Стало:** «Этот инструмент помогает редактору находить канцелярит. Результат нужно перечитать».
  17. >
  18. > Снята подводка и заменено одно слово. Новых фактов нет. [Подробнее о процедуре](skills/humanizer-ru/SKILL.md).
  19. **Проверка в браузере и редактура разделены.** Сайт подсвечивает обороты и считает балл; переписывание выполняет ваш агент со скиллом. Балл не определяет авторство и не подтверждает сохранение смысла. Факт-замок сравнивает извлечённые элементы, а связи между утверждениями требуют отдельной вычитки.
  20. 🧪 **Живое демо:** [humanizer-ru.aifrontier.tech](https://humanizer-ru.aifrontier.tech/#audit). Вставьте свой текст, получите оценку чистоты 0-100 и подсветку найденных оборотов. В браузере работают экспортированные правила сканера. Морфология не измеряется: балл может быть до 8 выше Python-версии.
  21. **Быстрый старт**, одна команда для любого агента (Claude Code, Cursor, Codex, Copilot, Cline и ещё десятки):
  22. ```
  23. npx skills add ilyautov/humanizer-ru
  24. ```
  25. CLI найдёт установленных агентов и спросит, куда ставить. В Claude Code можно и плагином, тогда обновления приходят через `/plugin`:
  26. ```
  27. /plugin marketplace add ilyautov/humanizer-ru
  28. /plugin install humanizer-ru@ilyautov-plugins
  29. ```
  30. Claude.ai, DeepSeek Harness и раскатка на команду в [разделе «Установка»](#установка).
  31. 📖 **Документация и разборы:** [humanizer-ru.aifrontier.tech](https://humanizer-ru.aifrontier.tech/): [работают ли AI-детекторы на русском](https://humanizer-ru.aifrontier.tech/ai-detektory-na-russkom.html), [каталог признаков AI-текста](https://humanizer-ru.aifrontier.tech/52-priznaka-ai-teksta.html), [антиплагиат и нейросеть](https://humanizer-ru.aifrontier.tech/antiplagiat-i-neyroset.html).
  32. 🧰 **Остальные инструменты:** MCP-серверы к кабинетам Wildberries, Ozon, Яндекс Маркета и Авито, пять серверов к hh.ru, VK, Диадоку, СБИС и Честному знаку, 34 скилла для малого бизнеса, совет мыслителей с дословной проверкой цитат. Все одним списком: [ilyautov.github.io](https://ilyautov.github.io/).
  33. ## Зачем это нужно
  34. Русский текст требует внимания к канцеляриту, формальному регистру и оговоркам. В каталоге есть русские примеры, жанровые исключения и правила сохранения смысла. Часть стилистических признаков общая с [англоязычным humanizer](https://github.com/blader/humanizer).
  35. Сканер находит воспроизводимые совпадения с правилами. Агент оценивает контекст и правит текст. Автор перечитывает результат: ни список маркеров, ни высокий балл не гарантируют удачную редактуру.
  36. ## Что внутри
  37. **67 паттернов AI-генерации в 16 категориях:**
  38. - A. Контентные: пустые открытия, размытые авторитеты, формульные выводы
  39. - B. Языковые: канцелярит, кальки, «является», нагромождение причастий
  40. - C. Стилистические: длинные тире, навязчивые списки, болд
  41. - D. Коммуникативные: артефакты чатбота, заискивание, водянистость
  42. - E. Морфологические: падежные ошибки, деепричастия не к подлежащему
  43. - F. Тональные: эмоциональная стерильность (4 подтипа), нет иронии, нет метафор
  44. - G. Структурные: разорванные абзацы, narrative drift, галлюцинации
  45. - H. Человеческие мелочи: идеальная грамотность, вылизанная типографика
  46. - I. Паттерны убеждения: негативные параллелизмы, авторитетные трюизмы
  47. - J. Информационный ритм: равномерная плотность, гладкие переходы, macro-burstiness
  48. - K. Хеджирование и специфика: модальная неопределённость, translationese, нет идиом
  49. - L. Стилистические фингерпринты 2025-2026: рваная медитативность, контр-вопросы, эмодзи-декор, псевдо-терапия, пустой образ, самомаркировка честности
  50. - M. Формулы и артефакты 2026: неодушевлённый субъект, Title Case в заголовках, обрыв на полуслове, триада-отрицание
  51. - N. Дискурсный слой: явная мораль в финале, портретный ввод героя, эмоция только через тело, бесшовная причинность, линейная хронология, нет обращения к читателю. Признаки, которые переживают стилевую правку (StoryScope, COLM 2026)
  52. **21 жёсткий запрет**: конструкции с абсолютным запретом. От «В современном мире...» и «Стоит отметить, что...» до маркетинговых клише «Раскрыть потенциал», «Комплексный подход», «Открывает новые горизонты».
  53. **Локальная редактура, не переписывание.** Скилл размечает конкретные места (цитата, что мешает читателю, действие: оставить, срезать оболочку, сказать яснее, убрать дубль), снимает жёсткие запреты и маркеры по приоритету A-D и сверяет результат с исходником по утверждениям: кто что сделал, степень уверенности, условия, числа с единицами. Живость не дописывается: эмоции, частицы, образы и факты, которых нет в исходнике, в текст не идут. Парный прогон на 195 слепых оценках (сентябрь 2026, `eval/LOCAL_EDIT_CHECK.md`) показал, что квоты на «голос» дают чужую интонацию и постановочную риторику, а у локальной правки в этом прогоне было меньше смысловых замечаний. Это малая выборка и оценка агентами, не гарантия качества на любом тексте.
  54. **Калибровка под голос автора.** Если дать образцы своего письма, скилл выписывает ритм, лексику, пунктуацию и тон и держит замены в этих рамках. Это ограничение, а не разрешение дописывать в вашей манере.
  55. **Четыре режима работы:**
  56. - Редактура (по умолчанию): диагностика сканером, разметка, правка, сверка, отчёт «было N, стало M»
  57. - Аудит: только диагностика, текст не трогает
  58. - Точечная правка: работа с одной категорией
  59. - Свой черновик (молча, без просьбы): пока скилл установлен, агент прогоняет по таблице жёстких банов то, что пишет по-русски сам, до того как вы это увидите. Чужой текст молча не правится никогда: ваше сообщение, файл, цитата и чужой код идут только через режимы выше, и правку вы видите. «Не правь» выключает режим до конца разговора
  60. **Что ловят детекторы:** секция с числами из исследований 2025-2026. DivEye: вторые производные surprisal дают 39.4% вклада в детекцию. Perplexity gap 29.5 vs 15.2 (человек vs LLM). AINL-Eval 2025: лучший результат на тесте около 86% (бенчмарк из 52 305 текстов, 12 доменов; в нашей калибровке использованы 35 158 научных аннотаций из него). Все ссылки и цифры верифицированы по первоисточникам, см. [SOURCES.md](SOURCES.md).
  61. ## Проверить текст без установки
  62. На [главной странице сайта](https://humanizer-ru.aifrontier.tech/#audit) работает тот же сканер на JavaScript: вставьте текст, получите оценку чистоты от 0 до 100, подсветку найденных оборотов и команду установки для своей среды. Считается в браузере, текст никуда не отправляется. Правила экспортируются из `markers.py` скриптом `scripts/export_web_rules.py`, а паритет с Python проверяет `scripts/test_web_parity.py` в CI.
  63. Тот же сканер есть как [расширение Chrome](https://chromewebstore.google.com/detail/iaelpnagdohdahkcahippeadohpgobad): выделили текст на любой странице, в контекстном меню «Проверить на шаблонные обороты», и попап показывает балл и подсветку. Разрешений у него два, контекстное меню и локальное хранилище, доступа к сайтам и сети нет. Папка `extension/`, сборка `scripts/build_extension.py`.
  64. ## Установка
  65. Скилл разворачивается тремя путями: загрузкой в веб-интерфейс Claude.ai, централизованной раскаткой на команду или установкой в локальные агенты (Claude Code, Cowork, API).
  66. ### 1. Claude.ai (веб-интерфейс)
  67. 1. Скачайте готовый архив скилла:
  68. [humanizer-ru.zip](https://github.com/ilyautov/humanizer-ru/releases/latest/download/humanizer-ru.zip)
  69. 2. Откройте Claude.ai → **Settings** → **Capabilities** → **Skills**.
  70. 3. Нажмите **Upload skill** и выберите скачанный архив.
  71. > Не берите `archive/refs/heads/main.zip`: загрузчик ожидает папку скилла в корне архива, а в архиве репозитория она лежит внутри `humanizer-ru-main/skills/humanizer-ru/`. Если нужно собрать архив самому, архивируйте именно папку скилла:
  72. >
  73. > ```bash
  74. > git clone https://github.com/ilyautov/humanizer-ru.git
  75. > cd humanizer-ru/skills
  76. > zip -r ../../humanizer-ru.zip humanizer-ru -x '*/__pycache__/*'
  77. > ```
  78. ### 2. Организации (Enterprise и Team)
  79. Администраторы Claude for Work раскатывают скилл централизованно через workspace skill library, и он становится доступен всей команде без индивидуальной загрузки. Загрузите ZIP в **Admin Console → Workspace Skills → Add skill**.
  80. ### 3. Claude Code, Cowork и API (локальные агенты)
  81. **Через плагин-маркетплейс** (рекомендуется):
  82. ```
  83. /plugin marketplace add ilyautov/humanizer-ru
  84. /plugin install humanizer-ru@ilyautov-plugins
  85. ```
  86. После установки плагин подгружает скилл автоматически при триггерах вроде «очеловечь», «убери канцелярит», «перепиши как человек».
  87. **Через skills.sh CLI** (универсальный путь для любого Claude-агента):
  88. ```bash
  89. npx skills add https://github.com/ilyautov/humanizer-ru/tree/main/skills/humanizer-ru
  90. ```
  91. CLI кладёт `SKILL.md` в `~/.claude/skills/humanizer-ru/` и регистрирует скилл в индексе [skills.sh](https://skills.sh/ilyautov/humanizer-ru/humanizer-ru). Короткая форма тоже работает: `npx skills add ilyautov/humanizer-ru` находит скилл в репозитории и предлагает его к установке, а с флагом `--skill humanizer-ru` ставит без вопросов.
  92. **Через API (`/v1/messages` и аналоги):** передайте скилл параметром `container.skills`. Детали в документации вашего клиента.
  93. **Вручную** (если ничего из выше не подошло):
  94. ```bash
  95. git clone --depth 1 https://github.com/ilyautov/humanizer-ru /tmp/humanizer-ru
  96. mkdir -p ~/.claude/skills
  97. cp -r /tmp/humanizer-ru/skills/humanizer-ru ~/.claude/skills/
  98. ```
  99. Копируйте папку целиком, а не один SKILL.md: вместе со скиллом едет
  100. детерминированный сканер `scripts/scan.py` (машинная половина режима «Аудит»).
  101. Ему нужны пакеты `razdel` и `pymorphy3`. Без них скилл проводит аудит вручную
  102. и обязан сказать об этом; балла «Чистота: N/100» вы не увидите.
  103. Как поставить зависимости. На macOS с Python из Homebrew и на Debian/Ubuntu
  104. голый `pip install` падает с `externally-managed-environment` (PEP 668),
  105. поэтому любой из трёх способов:
  106. ```bash
  107. uvx ru-humanizer файл.txt # без установки, нужен uv
  108. pipx install ru-humanizer # команда ru-humanizer в PATH
  109. python3 -m venv ~/.humanizer-ru && ~/.humanizer-ru/bin/pip install razdel pymorphy3
  110. ~/.humanizer-ru/bin/python ~/.claude/skills/humanizer-ru/scripts/scan.py файл.txt
  111. ```
  112. Проверка, что сканер живой: `python3 ~/.claude/skills/humanizer-ru/scripts/scan.py --help`
  113. без строки `[ошибка]`.
  114. ### 4. Codex CLI (OpenAI)
  115. Codex использует тот же формат Agent Skills, отдельная версия не нужна:
  116. ```bash
  117. git clone --depth 1 https://github.com/ilyautov/humanizer-ru
  118. mkdir -p ~/.codex/skills
  119. cp -r humanizer-ru/skills/humanizer-ru ~/.codex/skills/
  120. ```
  121. Либо изнутри Codex через `skill-installer`: укажите путь
  122. `ilyautov/humanizer-ru/skills/humanizer-ru`. После установки перезапустите Codex;
  123. вызов: `$humanizer-ru` или автоматически по триггер-фразам («очеловечь»,
  124. «убери канцелярит»). Проектная установка: та же папка в `.codex/skills/` внутри репозитория.
  125. ### 5. Gemini CLI и Cursor
  126. **Gemini CLI.** В корне репозитория лежит манифест расширения `gemini-extension.json`, а скилл в папке `skills/`, так что расширение ставится прямо из репозитория:
  127. ```bash
  128. gemini extensions install https://github.com/ilyautov/humanizer-ru
  129. ```
  130. **Cursor.** Манифест плагина описан в `.cursor-plugin/plugin.json`. Команда `npx skills add` находит установленные агенты, включая Cursor, и спрашивает, куда положить скилл:
  131. ```bash
  132. npx skills add ilyautov/humanizer-ru
  133. ```
  134. Если расширение или плагин поставить не удалось, скопируйте папку `skills/humanizer-ru` в каталог скиллов агента, как в разделе «Другие агенты».
  135. ### Проверка установочного пакета
  136. Перед релизом соберите ZIP тем же скриптом, который использует CI, затем
  137. прогоните install-smoke по готовому архиву. Проверка копирует
  138. `skills/humanizer-ru` в чистую временную папку скиллов, запускает сканер из
  139. установленной копии и проверяет, что в ZIP нет `.DS_Store`, `__pycache__` и
  140. `*.pyc`:
  141. ```bash
  142. python3 scripts/build_release_zip.py --output dist/humanizer-ru.zip .
  143. python3 scripts/install_smoke.py . --zip dist/humanizer-ru.zip
  144. ```
  145. Ожидаемый результат:
  146. ```text
  147. RESULT: PASS build-release-zip
  148. RESULT: PASS install-smoke
  149. ```
  150. ### 6. Другие агенты (общий стандарт SKILL.md)
  151. Формат Agent Skills стал кросс-платформенным, поэтому humanizer-ru работает и за пределами упакованных стеков. Официально упакованы и проверены: Claude Code, Codex CLI, Cursor, Gemini CLI, DeepSeek Harness. Остальные агенты читают тот же `SKILL.md`, отдельная версия не нужна.
  152. | Как подключается | Агенты | Что делать |
  153. |---|---|---|
  154. | Читают `SKILL.md` нативно | GitHub Copilot, Cline, Roo Code, Kilo Code, Goose, OpenCode, OpenWork, Kimi Code CLI, OpenClaw, OpenHuman, Hermes | Скопировать папку `skills/humanizer-ru` в каталог скиллов агента (например `~/.hermes/skills/`, `~/.kimi/skills/`, `.agents/skills/`) |
  155. | Конвертация инсталлером | Windsurf, Trae, Junie | Поставить через их установщик скиллов, указав репозиторий `ilyautov/humanizer-ru` |
  156. | Ручная вставка | Zed, Aider, Continue.dev | Вставить тело `SKILL.md` в файл правил или инструкций агента |
  157. Универсальный путь для нативных: положите папку скилла в каталог, который агент сканирует (обычно `<корень проекта>/.agents/skills/` или `~/.config/agents/skills/`), и перезапустите агент. Триггеры активации те же, что в Claude.
  158. > У части этих агентов (OpenClaw, Kimi, Hermes) есть публичные каналы дистрибуции скиллов (реестр ClawHub, tap-репозитории). Листинг там даёт охват без отдельного кода: формат общий.
  159. ### 7. DeepSeek Harness (dsh)
  160. DeepSeek Harness читает тот же формат Agent Skills, и скилл ставится двумя способами.
  161. Бандлом из npm, одной командой в нужный профиль (`web`, `tui` или `headless`):
  162. ```bash
  163. dsh plugin --profile web add humanizer-ru
  164. ```
  165. Тот же бандл прямо из GitHub, если нужна конкретная ветка или свежий main: `dsh plugin --profile web add github:ilyautov/humanizer-ru`.
  166. Бандл текстовый: `package.json` с полем `dsh.bundle` и `cordis.patch.yml`, который монтирует штатный провайдер `dsh-skill-filesystem` на папку `skills/` пакета. Исполняемого кода в бандле нет, сборка при установке не нужна. Проверить без запуска модели: `dsh --profile web --dump-config` покажет слой `# == humanizer-ru`. Удаление: `dsh plugin --profile web remove humanizer-ru`.
  167. Копией в пользовательский корень скиллов:
  168. ```bash
  169. cp -r humanizer-ru/skills/humanizer-ru ~/.agents/skills/
  170. ```
  171. dsh сканирует `~/.agents/skills` и `~/.dsh/skills` сам, перезапуск не нужен. Ключ `allowed-tools` из фронтматтера dsh не читает, а `references/` разрешает относительно папки скилла, так что каталог и журнал правок открываются как в Claude Code.
  172. ### 8. Сканер отдельно: pip, MCP-сервер и GitHub Action
  173. Сканер живёт и без скилла, пакетом [`ru-humanizer`](https://pypi.org/project/ru-humanizer/) на PyPI (имя `humanizer-ru` на PyPI занято). Это тот же `scan.py`, только командой:
  174. ```bash
  175. pipx install ru-humanizer # или без установки: uvx ru-humanizer статья.md
  176. ru-humanizer статья.md --genre academic
  177. ru-humanizer чистовик.md --before исходник.md
  178. ```
  179. Голый `pip install ru-humanizer` на macOS с Homebrew и на Debian/Ubuntu падает с `externally-managed-environment` (PEP 668): берите `uvx`, `pipx` или виртуальное окружение (`python3 -m venv .venv && .venv/bin/pip install ru-humanizer`).
  180. Тот же пакет поднимает MCP-сервер с двумя инструментами: `scan_text` даёт балл, штрафы, запреты и маркеры с позициями, `compare_texts` считает «было и стало» и факт-замок между исходником и правкой. Подключается к Claude Desktop, Cursor и любому клиенту MCP; в Claude Code одной командой:
  181. ```bash
  182. claude mcp add humanizer-ru -- uvx ru-humanizer mcp
  183. ```
  184. В CI сканер работает как GitHub Action: гейт на балл чистоты по Markdown и текстовым файлам, шаг падает ниже порога.
  185. ```yaml
  186. - uses: ilyautov/humanizer-ru@main
  187. with:
  188. files: "docs/**/*.md"
  189. genre: marketing
  190. min-score: 60
  191. ```
  192. Порядок разовой настройки публикации на PyPI и в реестре MCP описан в `PUBLISHING.md`.
  193. ## Использование
  194. Попросите Claude по-русски:
  195. ```
  196. Очеловечь этот текст: [вставьте текст]
  197. Перепиши, звучит как робот: [вставьте текст]
  198. ```
  199. Триггеры срабатывания: «очеловечь», «убери следы нейросети», «сделай живым», «звучит искусственно», «перепиши как человек», «убери канцелярит», «слишком формально».
  200. Режим аудита (только диагностика, без переписывания):
  201. ```
  202. Проверь этот текст на AI-маркеры: [вставьте текст]
  203. ```
  204. Точечная правка одной категории:
  205. ```
  206. Убери канцелярит из текста: [вставьте текст]
  207. ```
  208. При установке плагином в Claude Code доступны slash-команды:
  209. ```
  210. /humanize <текст или путь к файлу> # локальная редактура
  211. /audit <текст или путь к файлу> # аудит без правки (сканер + разбор)
  212. ```
  213. Сканер знает про жанр. По умолчанию он строгий, под маркетинг и блоги, а для
  214. других регистров снимает маркеры, которые там законны:
  215. ```bash
  216. python skills/humanizer-ru/scripts/scan.py статья.txt --genre academic # ещё legal, fiction, news
  217. python skills/humanizer-ru/scripts/scan.py стало.txt --before было.txt # чистота до/после + факт-замок
  218. ```
  219. Зачем это нужно, показал прогон по внешнему размеченному корпусу AINL-Eval 2025
  220. (35 158 русских научных аннотаций): в строгом режиме баны оставались в 35,9%
  221. человеческих текстов против 26,1-35,8% машинных, то есть на научном тексте
  222. каталог не различал автора вовсе. С жанровой поправкой ложные срабатывания на
  223. людях падают до 4,2%. Цифры и метод: [eval/AINL-CALIBRATION.md](eval/AINL-CALIBRATION.md).
  224. Третий корпус, [LLMTrace](https://huggingface.co/datasets/iitolstykh/LLMTrace_classification)
  225. (14 763 русских текста, 30 генераторов, впервые GigaChat и YandexGPT), подтвердил
  226. границы: на отзывах и историях длинное тире ставят 2-8% людей против 28-33%
  227. машин, а в энциклопедических статьях наоборот. Разбор:
  228. [eval/LLMTRACE-CALIBRATION.md](eval/LLMTRACE-CALIBRATION.md).
  229. ## До и после
  230. **Полное редактирование:**
  231. До:
  232. > В современном мире искусственный интеллект играет всё более важную роль в различных сферах деятельности. Стоит отметить, что данная технология является мощным инструментом для оптимизации рабочих процессов.
  233. После (факты автора):
  234. > За последний год я внедрил AI-инструменты в три проекта. Два ускорились вдвое. Третий развалился, потому что команда перестала проверять то, что выдаёт модель. AI работает, когда понимаешь его ограничения.
  235. Сработали 3 бана из 21 в двух предложениях. Типичная картина.
  236. **Режим аудита на том же тексте выдаст** (вывод `scan.py`, сокращён до главного):
  237. ```
  238. ЧИСТОТА: 48/100 [рерайт]
  239. -36 хард-баны (фразы): 3
  240. -16 маркеры: 4 (15.4/100 слов)
  241. HARD BANS:
  242. ⛔ В современном мире ×1 (стр. 1)
  243. ⛔ Стоит отметить, что ×1 (стр. 1)
  244. ⛔ Данный/Данная/Данное ×1 (стр. 1)
  245. Маркеры (быстрый сканер): 4
  246. • [Канцелярит] «оптимизаци» ×1 (стр. 1)
  247. • [Кальки] «является» ×1 (стр. 1)
  248. • [Кальки] «стоит отметить» ×1 (стр. 1)
  249. • [Вводные-открытия] «в современном мире» ×1 (стр. 1)
  250. ```
  251. Этот блок сверяется со сканером в CI (`scripts/check_examples.py`): если баны в README разойдутся с реальным выводом, сборка упадёт.
  252. ## Работают ли AI-детекторы на русском языке?
  253. Коротко: плохо, и это придётся учитывать.
  254. GPTZero, Originality.ai, ZeroGPT и другие популярные детекторы AI-текста обучены в основном на английском. На русском они ненадёжны и ошибаются в обе стороны:
  255. - **Ложные срабатывания (false positives):** текст, написанный живым человеком, регулярно помечается как «сгенерировано нейросетью». Английские пороги perplexity для русского не откалиброваны, а богатая русская морфология сама задирает «непредсказуемость».
  256. - **Пропуски (false negatives):** аккуратный AI-текст проходит как человеческий.
  257. Даже лучший специализированный русский детектор (RuRoBERTa на бенчмарке AINL-Eval 2025) даёт около 86% точности: каждый седьмой вердикт мимо. И детекторы не обобщаются между доменами: обученный на научных текстах ошибается на блогах (verified, см. [SOURCES.md](SOURCES.md)).
  258. **Что это значит для редактуры.** Цель скилла: убрать канцелярит и штампы, сохранив содержание и голос. Он не предписывает заменять предсказуемые слова или искусственно чередовать длину предложений. Качество проверяется сравнением версий и отдельной вычиткой; балл сканера служит дополнительным сигналом.
  259. Мы прогоняем детекторы прямо в eval-харнесе по контролю «заведомо человек» (дословные отрывки статей Википедии, написанные людьми задолго до ChatGPT). В последнем прогоне локальный LLM-детектор пометил как ИИ **3 из 3** человеческих текстов (false positive rate 100%), поставив им ту же вероятность «это AI», что и настоящим AI-текстам. Различающая способность близка к нулю. Методика, корпус и сырые прогоны: [eval/RESULTS.md](eval/RESULTS.md), секция «FP-аудит детекторов».
  260. ## Часто ищут
  261. **Поможет ли скилл пройти AI-детектор?** Такой гарантии нет. Детекторы и их пороги меняются, а результат отдельного исследования не доказывает результат этого скилла на вашем тексте. humanizer-ru предназначен для редактуры, а не для подтверждения авторства.
  262. **Как убрать шаблонные обороты из текста ChatGPT?** Найдите места, которые мешают читателю, выберите жанр и примените локальную правку. Каталог описывает 67 признаков; автоматический сканер покрывает измеряемую часть, остальные требуют чтения в контексте.
  263. **Как сделать текст ChatGPT человеческим на русском?** Три шага: снять 21 жёсткий запрет и маркеры по приоритету, срезать оболочку вокруг утверждений вместо переписывания, сверить результат с исходником по фактам и степени уверенности. Живость не дописывается: то, чего нет в исходнике, в текст не идёт.
  264. **Что такое канцелярит и как его убрать?** Канцелярит: превращение глаголов в отглагольные существительные («осуществление внедрения» вместо «внедрили»). Главный маркер русских AI-текстов. Соотношение существительных к глаголам у AI 3:1, у людей 2:1. Скилл разворачивает номинализации обратно в глаголы.
  265. **Работает ли GPTZero на русском языке?** Ненадёжно. GPTZero обучен на английском и на русском даёт много ложных срабатываний: помечает живые человеческие тексты как ИИ, а аккуратный AI-текст пропускает. Подробнее в разделе «Работают ли AI-детекторы на русском».
  266. **Почему мой текст помечают как ИИ, хотя я писал его сам?** Частая беда на русском: детекторы, обученные на английском, принимают за «машинность» нормальные свойства русского текста (морфология, длинные слова, формальный регистр). Если текст реально ваш, это ложное срабатывание детектора, а не приговор. Скилл помогает убрать конкретные машинные маркеры (канцелярит, кальки, штампы), от которых текст звучит «нейросетево».
  267. **Какой AI-детектор лучший для русского?** Идеального нет. Из специализированных лучше показывают себя fine-tuned модели на базе RuRoBERTa (бенчмарк AINL-Eval 2025, ~86%), но и они проседают между доменами. Универсальные англоязычные (GPTZero, Originality, ZeroGPT) на русском особенно ненадёжны. Практический вывод: ориентируйтесь на реальное качество текста, а не на вердикт одного детектора.
  268. **Работает ли это с Claude Sonnet / Opus 4?** Да. Это инструкция-каталог для любой модели Claude. Чем больше контекст модели, тем глубже она применяет правила. На Opus результат заметно сильнее на длинных текстах.
  269. **Можно ли использовать без плагина?** Да. Скачайте SKILL.md и используйте как чек-лист для ручной правки или вставляйте в системный промпт любой LLM (ChatGPT, Gemini, YandexGPT, GigaChat).
  270. **А если мне нужно длинное тире (я редактор / формальная типографика)?** По умолчанию скилл вычищает все длинные тире: это главный типографический маркер AI, и живой неформальный русский его почти не ставит (с телефона печатают дефис). Но если вам нужна правильная издательская типографика, прямо скажите об этом: «я профессиональный редактор, длинное тире оставляй». Скилл снимет запрет. Сам он это исключение не включает. Решаете вы.
  271. ## Чем отличается от английского humanizer
  272. | | humanizer-ru | blader/humanizer |
  273. |---|---|---|
  274. | Язык | Русский | Английский |
  275. | Паттернов | 67 | 32 |
  276. | Жёстких банов | 21 | Нет |
  277. | Аудит | Сканер, разметка и сверка с фактами исходника | Single-pass |
  278. | Voice calibration | Да | Да |
  279. | Стилистические фингерпринты 2025-2026 | Да | Нет |
  280. | Морфология RuBERT-детекторов | Да | Нет |
  281. | Macro-burstiness структурных блоков | Да | Нет |
  282. Английский humanizer ловит универсальные AI-маркеры. Русские требуют отдельной модели: канцелярит, кальки с английского синтаксиса, частицы «же/ведь/вот», падежные согласования RuBERT-детекторов, морфологические ошибки длинных цепочек, плюс свежие фингерпринты Claude и GPT 2025-2026 («рваная медитативность», эмодзи-декор, псевдо-терапия), которые в англоязычных каталогах ещё не оформлены.
  283. Режим аудита (`skills/humanizer-ru/references/audit.md`) работает так: сканер даёт число и находки, затем идёт редакторская разметка фрагментов (оставить, срезать, заменить, склеить) без выдачи переписанного текста, и каждое предложение сверяется с фактами исходника. Вердикта об авторстве аудит не выносит.
  284. ## Источники
  285. Скилл собран из трёх источников:
  286. - **Wikipedia: WikiProject AI Cleanup**: базовый каталог признаков AI-текста на русском
  287. - **Русскоязычные корпуса и соревнования**: Dialog Conference (RuATD-2022 и AINL-Eval 2025), собственные замеры на трёх открытых корпусах (35 158 + 5 759 + 14 763 = 55 680 текстов, отчёты в [`eval/`](eval/)). Список проверенных первоисточников: [SOURCES.md](SOURCES.md)
  288. - **Верифицированные публикации (2024-2026)**: DivEye, PIFE, MASH, Antislop, AINL-Eval, RuATD, NeurIPS 2025 и др. Каждая ссылка и цифра проверена по arxiv и первоисточникам; неподтверждённые удалены. Полная таблица провенанса: [SOURCES.md](SOURCES.md).
  289. Changelog: [CHANGELOG.md](CHANGELOG.md). Метрики и eval-харнес: каталоги [`scripts/`](scripts/) и [`eval/`](eval/).
  290. ## Автор
  291. Илья Утов. Пишу про AI и работу с текстом в Telegram: [Under the Hood](https://t.me/gorilla_under_hood).
  292. ## Контрибьюторы
  293. - **Филипп Зарубин**: категория N «Дискурсный слой», паттерны 59-64 по StoryScope (COLM 2026). Признаки, которые переживают стилевую правку. Плюс согласование падежа при счётчике в релизном гейте.
  294. - **iKonushok** ([@ikonushok](https://github.com/ikonushok)): install-smoke установочной поверхности и сборка релизного ZIP. Проверяется не папка в репозитории, а то, что реально доезжает до пользователя.
  295. Полный список, включая баг-репорты, которые изменили код: [CONTRIBUTORS.md](CONTRIBUTORS.md). Как попасть в него: [CONTRIBUTING.md](CONTRIBUTING.md).
  296. ## Лицензия
  297. MIT: используйте свободно, форкайте, дорабатывайте. Pull request с новыми паттернами приветствуются.
  298. ---
  299. **humanizer-ru** помогает очеловечить русский AI-текст: убрать следы нейросети, канцелярит и штампы, вернуть живой голос и сделать текст человечным. Это бесплатный open-source скилл для Claude (Claude Code, Cowork, API), а не онлайн-сервис «в один клик». Почему детекторы AI и проверка текста на нейросеть на русском ненадёжны (и при чём тут антиплагиат): в разделах выше, с реальными данными из нашего eval-харнеса, а не из обещаний.
  300. ---
  301. ## Кто это сделал
  302. [Илья Утов](https://github.com/ilyautov), лаборатория [AI Frontier](https://aifrontier.tech). Как эти инструменты устроены внутри, пишу в [Telegram](https://t.me/gorilla_under_hood) и [LinkedIn](https://www.linkedin.com/in/ilyautov).
  303. **Рядом стоят:**
  304. - [**marketplaces-mcp-ru**](https://github.com/ilyautov/marketplaces-mcp-ru): Wildberries, Ozon, Яндекс Маркет и Авито прямо из агента
  305. - [**small-business-ru**](https://github.com/ilyautov/small-business-ru): 34 скилла для малого бизнеса, считают налоги и проверяют контрагента по ИНН
  306. - [**consilium-principis**](https://github.com/ilyautov/consilium-principis): совет мыслителей, где каждая цитата сверяется дословно
  307. - [**hefest**](https://github.com/ilyautov/hefest): химическая безопасность завода, целиком офлайн
  308. - [**cordon**](https://github.com/ilyautov/cordon): детерминированный слой между недоверенным контентом и действиями агента
  309. Все проекты одним списком, разобранные по назначению: [ilyautov.github.io](https://ilyautov.github.io/). Исходники: [github.com/ilyautov](https://github.com/ilyautov). Пригодилось, поставьте звезду: по ней это находят другие.
docs/audit.js · Bundled script · 380 lines
  1. // humanizer-ru: интерфейс онлайн-аудита на главной и на странице-инструменте.
  2. // Движок в scan.js, правила в scan-rules.js (экспорт из Python). Здесь только DOM:
  3. // балл и штрафы, подсветка с подсказкой по клику, сравнение «было и стало»
  4. // с браузерным факт-замком, черновик в localStorage этого браузера.
  5. (function () {
  6. "use strict";
  7. const $ = (id) => document.getElementById(id);
  8. const textEl = $("audit-text"), genreEl = $("audit-genre"), runBtn = $("audit-run");
  9. const countEl = $("audit-count"), resultEl = $("audit-result"), sourceEl = $("audit-source");
  10. const markedWrap = $("audit-marked"), markedEl = $("audit-text-marked"), nextEl = $("audit-next"), installEl = $("install");
  11. const artEl = $("audit-scale-line"), hintEl = $("audit-hint"), clearBtn = $("audit-clear");
  12. const cmpToggle = $("audit-compare-toggle"), cmpWrap = $("audit-compare"), afterEl = $("audit-after"), cmpOut = $("audit-compare-result");
  13. if (!textEl || typeof globalThis.humanizerScan !== "function" || !globalThis.humanizerHints) return;
  14. const RULES = globalThis.HUMANIZER_RULES || {};
  15. // Подсказки, причины штрафов, жанровая и «не измерено» строки живут в
  16. // hints.js: те же тексты на главной и в расширении.
  17. const H = globalThis.humanizerHints;
  18. const reduceMotion = window.matchMedia("(prefers-reduced-motion: reduce)").matches;
  19. // У каждого примера свой жанр: справочный текст проверяется как новости,
  20. // иначе энциклопедия получает штраф за тире, которое у людей норма.
  21. // Тексты примеров это данные, а не интерфейс: длинное тире в них записано
  22. // escape-последовательностью, как EXAMPLE в extension/popup.js.
  23. const EXAMPLES = {
  24. ai: { genre: "", source: "Пример: маркетинговый текст, сгенерированный GPT для eval-корпуса репозитория.",
  25. text: "В современном мире успешный бизнес \u2014 это не просто продукт, а целая экосистема ценностей. Наша компания является надёжным партнёром, который играет ключевую роль в развитии вашего дела. Мы предлагаем комплексный подход, способный вывести ваш бренд на новый уровень и раскрыть его потенциал по-настоящему. Стоит отметить, что в условиях растущей конкуренции важно понимать: связь с аудиторией и доверительные отношения становятся главным активом. Именно поэтому мы выстраиваем индивидуальный подход к каждому клиенту. Наше инновационное решение открывает новые горизонты для роста \u2014 от привлечения первых пользователей до масштабирования на международные рынки. Таким образом, выбирая нас, вы выбираете не только сервис, но и команду, которая разделяет ваши амбиции. Можно с уверенностью сказать: вместе мы расширим границы возможного и достигнем результата, который превзойдёт ожидания." },
  26. human: { genre: "news", source: "Пример: вводная часть статьи «Байкал» русской Википедии, CC BY-SA 4.0. Жанр «новости, энциклопедия»: тире и «является» в справочном тексте не считаются.",
  27. text: "Байкал (бур. Байгал далай) \u2014 озеро тектонического происхождения в южной части Восточной Сибири площадью 31 722 км². Самое глубокое озеро на планете, крупнейший природный резервуар пресной воды и самое большое по площади пресноводное озеро Евразии.\n\nОзеро и прибрежные территории являются уникальным биогеоценозом, бо́льшая часть видов животных которых эндемична. Озеро имеет сток \u2014 реку Ангара." },
  28. tech: { genre: "", source: "Пример: авторский пост с листингом и цитатой из ревью. Код и цитата в счёт не идут.",
  29. text: "Переписал вчера парсер логов: старый падал на строках с пустым полем длительности. Причина оказалась в одной строке.\n\n```python\ndef parse(line):\n # В современном мире данный код является примером\n return line.split(\"|\")[3] or None\n```\n\nКоллега в ревью написал:\n\n> Стоит отметить, что данный подход открывает новые горизонты и играет ключевую роль в оптимизации.\n\nЯ не понял ни слова, но тест зелёный. Оставил как есть, только переименовал функцию и добавил кейс на пустую строку. Три минуты работы, неделя тишины в алертах." },
  30. };
  31. const ENVS = [
  32. { key: "skills", label: "Любой агент", cmd: "npx skills add ilyautov/humanizer-ru",
  33. note: "Одна команда через skills.sh: Claude Code, Cursor, Codex, Copilot, Cline, OpenCode, Goose и ещё десятки агентов, читающих SKILL.md. CLI найдёт установленных агентов и спросит, куда ставить. Дальше скилл включается сам на «очеловечь», «убери канцелярит», «перепиши как человек»." },
  34. { key: "claude-code", label: "Плагин Claude Code", cmd: "/plugin marketplace add ilyautov/humanizer-ru\n/plugin install humanizer-ru@ilyautov-plugins",
  35. note: "Две команды внутри Claude Code. Плагин обновляется через /plugin, скилл включается сам по тем же фразам." },
  36. { key: "claude-ai", label: "Claude.ai", cmd: "https://github.com/ilyautov/humanizer-ru/releases/latest/download/humanizer-ru.zip",
  37. note: "Скачайте архив, затем Settings → Capabilities → Skills → Upload skill. Без установки чего-либо на компьютер." },
  38. { key: "codex", label: "Codex CLI", cmd: "git clone --depth 1 https://github.com/ilyautov/humanizer-ru\nmkdir -p ~/.codex/skills\ncp -r humanizer-ru/skills/humanizer-ru ~/.codex/skills/",
  39. note: "После установки перезапустите Codex. Вызов: $humanizer-ru или автоматически по триггер-фразам." },
  40. { key: "dsh", label: "DeepSeek Harness", cmd: "dsh plugin --profile web add humanizer-ru",
  41. note: "Бандл из npm. Профиль web, tui или headless, тот же пакет. Свежий main: github:ilyautov/humanizer-ru." },
  42. ];
  43. // --- Утилиты --------------------------------------------------------------
  44. const esc = (s) => s.replace(/[&<>"]/g, (c) => ({ "&": "&amp;", "<": "&lt;", ">": "&gt;", '"': "&quot;" }[c]));
  45. const wordsOf = (t) => t.split(/\s+/).filter((w) => /[\p{L}\p{N}]/u.test(w)).length;
  46. const num = H.num;
  47. function updateCount() {
  48. countEl.textContent = num(wordsOf(textEl.value), "слово", "слова", "слов");
  49. }
  50. const genreLabel = () => genreEl.options[genreEl.selectedIndex].textContent;
  51. // --- Черновик в этом браузере ---------------------------------------------
  52. // localStorage живёт только на этой машине и не уходит с сайта: обещание
  53. // «текст никуда не отправляется» остаётся в силе. Примеры не сохраняем.
  54. const DRAFT_KEY = "humanizer-ru:draft";
  55. let draftIsExample = false;
  56. const saveDraft = () => {
  57. try {
  58. if (draftIsExample || !textEl.value.trim()) { localStorage.removeItem(DRAFT_KEY); return; }
  59. localStorage.setItem(DRAFT_KEY, JSON.stringify({ text: textEl.value, genre: genreEl.value, after: afterEl ? afterEl.value : "" }));
  60. } catch (e) { /* приватный режим или запрет хранения: работаем без черновика */ }
  61. };
  62. const loadDraft = () => {
  63. try {
  64. const d = JSON.parse(localStorage.getItem(DRAFT_KEY) || "null");
  65. if (!d || !d.text) return false;
  66. textEl.value = d.text; genreEl.value = d.genre || "";
  67. if (afterEl && d.after) { afterEl.value = d.after; openCompare(); }
  68. return true;
  69. } catch (e) { return false; }
  70. };
  71. const humanReason = H.humanReason;
  72. const nextLine = H.nextLine;
  73. const genreNote = () => H.genreNote(genreEl.value, genreLabel(), RULES);
  74. const unmeasuredLine = H.unmeasuredLine;
  75. const hintFor = (s) => H.hintFor(s.cls, s.cat, s.name);
  76. const kindLabel = H.kindLabel;
  77. const spanTitle = (s) => H.ruleName(s.cls === "ban" ? s.name : `${s.cat}: ${s.name}`);
  78. // --- Результат -------------------------------------------------------------
  79. function animateNumber(el, target) {
  80. if (reduceMotion || document.hidden) { el.textContent = target; return; }
  81. const t0 = performance.now(), dur = 650;
  82. const step = (now) => {
  83. // Метка кадра rAF бывает раньше t0: без нижней границы мелькнёт отрицательный балл.
  84. const k = Math.max(0, Math.min(1, (now - t0) / dur));
  85. const eased = 1 - Math.pow(1 - k, 3);
  86. el.textContent = Math.round(target * eased);
  87. if (k < 1) requestAnimationFrame(step);
  88. };
  89. requestAnimationFrame(step);
  90. }
  91. const bandOf = H.bandOf;
  92. const BAND_TEXT = { good: "чисто: следы ИИ не мешают", warn: "точечная правка", bad: "нужен рерайт" };
  93. const NO_FINDINGS = "оборотов не найдено";
  94. function factsLine(r) {
  95. // Тире сканер штрафует отдельно от фраз, поэтому и считаем отдельно.
  96. const dashName = (RULES.score && RULES.score.em_dash_name) || "Длинное тире";
  97. const bans = r.effective_bans.filter((h) => h.name !== dashName).reduce((n, h) => n + h.count, 0);
  98. const dashes = r.effective_bans.filter((h) => h.name === dashName).reduce((n, h) => n + h.count, 0);
  99. const marks = r.muted_markers.reduce((n, h) => n + h.count, 0);
  100. const parts = [];
  101. if (bans) parts.push(num(bans, "запрещённый оборот", "запрещённых оборота", "запрещённых оборотов"));
  102. if (dashes) parts.push(`длинное тире ${dashes > 1 ? `×${dashes}` : ""}`.trim());
  103. if (marks) parts.push(num(marks, "маркер", "маркера", "маркеров"));
  104. return parts.length ? parts.join(", ") : NO_FINDINGS;
  105. }
  106. let lastReport = "";
  107. let lastCompareReport = "";
  108. function renderResult(r, spans) {
  109. const band = bandOf(r);
  110. const bandText = BAND_TEXT[band];
  111. const rows = r.penalties.map((p) => `<li title="${esc(p.reason)}"><b>${p.points}</b><span>${esc(humanReason(p.reason))}</span></li>`).join("");
  112. const notes = r.notes.map((n) => `<p class="audit-sterile">${esc(n)}</p>`).join("");
  113. const gap = unmeasuredLine(r);
  114. const facts = factsLine(r);
  115. const gnote = genreNote();
  116. resultEl.hidden = false;
  117. if (artEl) artEl.hidden = true;
  118. resultEl.innerHTML = `
  119. <div class="score-row ${band}">
  120. <div class="score-num"><span id="score-value">0</span><small>/100</small></div>
  121. <div class="score-meta">
  122. <div class="score-band">${bandText}</div>
  123. <div class="score-facts">${esc(facts)}</div>
  124. </div>
  125. </div>
  126. <div class="score-bar" role="img" aria-label="Чистота ${r.score} из 100"><span class="score-fill"></span><i class="tick t60"></i><i class="tick t85"></i></div>
  127. <div class="score-labels" aria-hidden="true"><span class="l60">60</span><span class="l85">85</span></div>
  128. <p class="score-next">${esc(nextLine(band, spans.length > 0, r))}</p>
  129. ${rows ? `<ul class="penalties">${rows}</ul>` : `<p class="audit-none">Штрафов нет.</p>`}
  130. ${gnote ? `<p class="audit-genre-note">${esc(gnote)}</p>` : ""}
  131. ${notes}
  132. ${gap ? `<p class="audit-unmeasured">${esc(gap)}</p>` : ""}
  133. <div class="audit-actions"><button type="button" id="audit-copy">Скопировать отчёт</button></div>`;
  134. animateNumber($("score-value"), r.score);
  135. requestAnimationFrame(() => { const f = resultEl.querySelector(".score-fill"); if (f) f.style.transform = `scaleX(${r.score / 100})`; });
  136. const found = new Map();
  137. for (const s of spans) { const k = `${kindLabel(s.cls)} · ${spanTitle(s)}`; found.set(k, (found.get(k) || 0) + 1); }
  138. lastReport = [
  139. `humanizer-ru: ${r.score}/100, ${bandText}`,
  140. `жанр: ${genreLabel()} · ${num(r.words, "слово", "слова", "слов")} · ${facts}`,
  141. r.penalties.length ? "штрафы:\n" + r.penalties.map((p) => ` ${String(p.points).padStart(4)} ${humanReason(p.reason)}`).join("\n") : "штрафов нет",
  142. found.size ? "найдено:\n" + [...found].map(([k, n]) => ` ${k}${n > 1 ? ` ×${n}` : ""}`).join("\n") : "",
  143. gap,
  144. ].filter(Boolean).join("\n");
  145. $("audit-copy").addEventListener("click", async () => {
  146. const btn = $("audit-copy");
  147. const report = [lastReport, lastCompareReport, "https://humanizer-ru.aifrontier.tech/"].filter(Boolean).join("\n");
  148. try { await navigator.clipboard.writeText(report); btn.textContent = "Скопировано"; }
  149. catch (e) { btn.textContent = "Выделите и скопируйте"; }
  150. setTimeout(() => { btn.textContent = "Скопировать отчёт"; }, 1800);
  151. });
  152. }
  153. // Конец подсветки тянем до границы слова только для показа: «ключев|ым»
  154. // режет слово и выглядит ошибкой. Счёт при этом не меняется.
  155. const wordEnd = (text, b) => { while (b < text.length && /[\p{L}\p{M}]/u.test(text[b])) b++; return b; };
  156. function collectSpans(text, r) {
  157. const spans = [];
  158. for (const h of r.effective_bans) for (const [a, b] of h.positions) spans.push({ a, b: wordEnd(text, b), cls: "ban", cat: "", name: h.name });
  159. for (const h of r.muted_markers) for (const [a, b] of h.positions) spans.push({ a, b: wordEnd(text, b), cls: "mk", cat: h.category, name: h.name });
  160. spans.sort((x, y) => x.a - y.a || (x.cls === "ban" ? -1 : 1));
  161. const out = []; let pos = 0;
  162. for (const s of spans) { if (s.a < pos) continue; out.push(s); pos = s.b; } // перекрытие: первый победил
  163. return out;
  164. }
  165. let lastSpans = [];
  166. function renderMarked(text, spans, showText) {
  167. if (hintEl) hintEl.hidden = true;
  168. lastSpans = spans;
  169. if (!showText) { markedWrap.hidden = true; markedEl.innerHTML = ""; return; }
  170. let out = "", pos = 0;
  171. spans.forEach((s, i) => {
  172. out += esc(text.slice(pos, s.a));
  173. out += `<mark class="${s.cls}" tabindex="0" role="button" aria-pressed="false" data-i="${i}" aria-label="${esc(kindLabel(s.cls))}: ${esc(spanTitle(s))}">${esc(text.slice(s.a, s.b))}</mark>`;
  174. pos = s.b;
  175. });
  176. out += esc(text.slice(pos));
  177. markedEl.innerHTML = out;
  178. markedWrap.hidden = false;
  179. }
  180. function showHint(mark) {
  181. const s = lastSpans[+mark.dataset.i];
  182. if (!s || !hintEl) return;
  183. const pressed = mark.getAttribute("aria-pressed") === "true";
  184. markedEl.querySelectorAll('mark[aria-pressed="true"]').forEach((m) => m.setAttribute("aria-pressed", "false"));
  185. if (pressed) { hintEl.hidden = true; return; }
  186. mark.setAttribute("aria-pressed", "true");
  187. hintEl.innerHTML = `<b class="${s.cls}">${esc(kindLabel(s.cls))}, ${esc(spanTitle(s))}.</b> ${esc(hintFor(s))}`;
  188. hintEl.hidden = false;
  189. }
  190. markedEl.addEventListener("click", (ev) => { const m = ev.target.closest("mark"); if (m) showHint(m); });
  191. markedEl.addEventListener("keydown", (ev) => {
  192. const m = ev.target.closest("mark");
  193. if (!m) return;
  194. if (ev.key === "Enter" || ev.key === " ") { ev.preventDefault(); showHint(m); }
  195. if (ev.key === "Escape") { m.setAttribute("aria-pressed", "false"); if (hintEl) hintEl.hidden = true; }
  196. });
  197. // Факт-замок (числа, имена, ссылки, кванторы) живёт в facts.js: тот же код
  198. // едет в Chrome-расширение. Нет файла, нет и сравнения, аудит работает.
  199. const factsDiff = (globalThis.humanizerFacts || {}).factsDiff;
  200. // --- Сравнение «было и стало» ------------------------------------------------
  201. function openCompare() {
  202. if (!cmpWrap) return;
  203. cmpWrap.hidden = false;
  204. cmpToggle.setAttribute("aria-expanded", "true");
  205. cmpToggle.textContent = "Скрыть сравнение";
  206. }
  207. function closeCompare() {
  208. if (!cmpWrap) return;
  209. cmpWrap.hidden = true; cmpOut.hidden = true; cmpOut.innerHTML = "";
  210. cmpToggle.setAttribute("aria-expanded", "false");
  211. cmpToggle.textContent = "Сравнить с правкой";
  212. lastCompareReport = "";
  213. }
  214. const list = (items, cls) => items.map((x) => `<code class="${cls}">${esc(x)}</code>`).join(" ");
  215. function renderCompare(before, rBefore) {
  216. if (!cmpWrap || cmpWrap.hidden) return;
  217. const after = afterEl.value;
  218. lastCompareReport = "";
  219. if (!after.trim()) { cmpOut.hidden = true; cmpOut.innerHTML = ""; return; }
  220. if (!globalThis.humanizerIsRussian(after)) { cmpOut.hidden = false; cmpOut.innerHTML = `<p class="audit-lang">${esc(H.NOT_RUSSIAN)}</p>`; return; }
  221. const rAfter = globalThis.humanizerScan(after, genreEl.value || null);
  222. const d = rAfter.score - rBefore.score;
  223. const delta = d > 0 ? `+${d}` : String(d);
  224. const fd = factsDiff ? factsDiff(before, after) : { lost: [], added: [], claimsAdded: [], swapped: [], kept: 0, total: 0 };
  225. const aBand = bandOf(rAfter), bBand = bandOf(rBefore);
  226. const verdict = d > 0 ? "Правка уменьшила штраф по правилам сканера." : d < 0 ? "Правка увеличила штраф по правилам сканера." : "Балл не изменился.";
  227. const afterLine = factsLine(rAfter), beforeLine = factsLine(rBefore);
  228. const tally = afterLine === NO_FINDINGS
  229. ? `В правке следов не осталось. В исходнике было: ${beforeLine}.`
  230. : `В правке осталось: ${afterLine}. В исходнике было: ${beforeLine}.`;
  231. const factRows = [];
  232. if (fd.swapped.length) factRows.push(`<li class="fact-lost"><b>Числа могли поменяться местами</b> ${list(fd.swapped, "lost")}</li>`);
  233. if (fd.lost.length) factRows.push(`<li class="fact-lost"><b>Пропало</b> ${list(fd.lost, "lost")}</li>`);
  234. if (fd.added.length) factRows.push(`<li class="fact-added"><b>Появилось</b> ${list(fd.added, "added")}</li>`);
  235. if (fd.claimsAdded.length) factRows.push(`<li class="fact-claim"><b>Новый квантор или цитата</b> ${list(fd.claimsAdded, "added")}</li>`);
  236. const factVerdict = (fd.swapped.length
  237. ? "Числа на месте, но могли поменяться местами. Сверьте их с исходным текстом. "
  238. : fd.added.length || fd.lost.length || fd.claimsAdded.length
  239. ? "Состав извлечённых элементов изменился. Проверьте различия. "
  240. : `Совпало извлечённых элементов: ${fd.kept}. `) +
  241. "Смысл, единицы вне словаря и связь чисел с утверждениями требуют ручной сверки.";
  242. cmpOut.hidden = false;
  243. cmpOut.innerHTML = `
  244. <div class="cmp-scores">
  245. <span class="cmp-was ${bBand}">было <b>${rBefore.score}</b></span>
  246. <span class="cmp-arrow" aria-hidden="true">→</span>
  247. <span class="cmp-now ${aBand}">стало <b>${rAfter.score}</b></span>
  248. <span class="cmp-delta ${d > 0 ? "good" : d < 0 ? "bad" : ""}">${delta}</span>
  249. </div>
  250. <p class="cmp-verdict">${esc(verdict)} ${esc(tally)}</p>
  251. <p class="cmp-facts ${fd.added.length || fd.lost.length || fd.claimsAdded.length || fd.swapped.length ? "warn" : "neutral"}">${esc(factVerdict)}</p>
  252. ${factRows.length ? `<ul class="fact-list">${factRows.join("")}</ul>` : ""}`;
  253. lastCompareReport = [
  254. `правка: было ${rBefore.score}, стало ${rAfter.score} (${delta})`,
  255. fd.swapped.length ? ` числа могли поменяться местами: ${fd.swapped.join(", ")}` : "",
  256. fd.lost.length ? ` пропало: ${fd.lost.join(", ")}` : "",
  257. fd.added.length ? ` появилось: ${fd.added.join(", ")}` : "",
  258. fd.claimsAdded.length ? ` новый квантор или цитата: ${fd.claimsAdded.join(", ")}` : "",
  259. !fd.added.length && !fd.claimsAdded.length && fd.total ? ` совпало элементов: ${fd.kept}/${fd.total}; смысл не проверен` : "",
  260. ].filter(Boolean).join("\n");
  261. }
  262. // --- Среды ------------------------------------------------------------------
  263. // Блок установки есть только на главной. На странице-инструменте её нет, и
  264. // тогда весь этот кусок пропускается: сканер выше от него не зависит.
  265. const tabsEl = installEl && installEl.querySelector(".env-tabs");
  266. const TAB_ENVS = ENVS.slice(1); // ENVS[0] набран в разметке как главная команда
  267. let envKey = TAB_ENVS[0].key;
  268. function renderEnvs() {
  269. if (!tabsEl) return;
  270. tabsEl.innerHTML = TAB_ENVS.map((e) =>
  271. `<button type="button" role="tab" data-env="${e.key}" aria-selected="${e.key === envKey}">${e.label}</button>`).join("");
  272. const env = TAB_ENVS.find((e) => e.key === envKey);
  273. $("env-cmd").textContent = env.cmd;
  274. $("env-note").textContent = env.note;
  275. }
  276. if (tabsEl) tabsEl.addEventListener("click", (ev) => {
  277. const b = ev.target.closest("[data-env]");
  278. if (!b) return;
  279. envKey = b.dataset.env;
  280. renderEnvs();
  281. });
  282. const bindCopy = (btnId, srcId) => $(btnId) && $(btnId).addEventListener("click", async () => {
  283. const btn = $(btnId), label = btn.querySelector("span");
  284. try {
  285. await navigator.clipboard.writeText($(srcId).textContent);
  286. label.textContent = "Скопировано";
  287. } catch (e) {
  288. label.textContent = "Выделите и скопируйте";
  289. }
  290. setTimeout(() => { label.textContent = "Скопировать"; }, 1800);
  291. });
  292. bindCopy("env-copy", "env-cmd");
  293. bindCopy("env-copy-main", "env-cmd-main");
  294. // --- Запуск -----------------------------------------------------------------
  295. function showEmpty(message) {
  296. // Пусто: на месте результата снова лист редактора, а не пустая рамка.
  297. resultEl.hidden = true; resultEl.innerHTML = "";
  298. if (artEl) artEl.hidden = false;
  299. if (message) { sourceEl.textContent = message; sourceEl.hidden = false; }
  300. markedWrap.hidden = true; nextEl.hidden = true;
  301. if (hintEl) hintEl.hidden = true;
  302. if (cmpOut) { cmpOut.hidden = true; cmpOut.innerHTML = ""; }
  303. lastCompareReport = "";
  304. }
  305. function showNotRussian() {
  306. showEmpty("");
  307. if (artEl) artEl.hidden = true;
  308. resultEl.hidden = false;
  309. resultEl.innerHTML = `<p class="audit-lang" role="status">${esc(H.NOT_RUSSIAN)}</p>`;
  310. lastReport = "";
  311. }
  312. function run() {
  313. const text = textEl.value;
  314. if (!text.trim()) { showEmpty("Без текста проверять нечего: вставьте абзац или возьмите пример."); return; }
  315. // Не русский текст: балла нет совсем, иначе английский абзац получил бы 100.
  316. if (!globalThis.humanizerIsRussian(text)) { showNotRussian(); return; }
  317. const r = globalThis.humanizerScan(text, genreEl.value || null);
  318. const spans = collectSpans(text, r);
  319. renderResult(r, spans);
  320. renderMarked(text, spans, spans.length > 0 || r.penalties.length > 0);
  321. renderCompare(text, r);
  322. nextEl.hidden = false;
  323. }
  324. let timer = null;
  325. const schedule = () => { clearTimeout(timer); timer = setTimeout(run, 400); };
  326. textEl.addEventListener("input", () => { draftIsExample = false; updateCount(); sourceEl.hidden = true; saveDraft(); schedule(); });
  327. genreEl.addEventListener("change", () => { saveDraft(); run(); });
  328. runBtn.addEventListener("click", () => { clearTimeout(timer); run(); });
  329. if (afterEl) afterEl.addEventListener("input", () => { saveDraft(); schedule(); });
  330. if (cmpToggle) cmpToggle.addEventListener("click", () => {
  331. if (cmpWrap.hidden) { openCompare(); afterEl.focus(); if (afterEl.value.trim()) run(); }
  332. else { closeCompare(); saveDraft(); }
  333. });
  334. if (clearBtn) clearBtn.addEventListener("click", () => {
  335. textEl.value = ""; if (afterEl) afterEl.value = "";
  336. draftIsExample = false; saveDraft(); updateCount();
  337. closeCompare();
  338. document.querySelectorAll("[data-example]").forEach((x) => x.setAttribute("aria-pressed", "false"));
  339. showEmpty(""); sourceEl.hidden = true;
  340. textEl.focus();
  341. });
  342. document.querySelectorAll("[data-example]").forEach((b) => b.addEventListener("click", () => {
  343. const ex = EXAMPLES[b.dataset.example];
  344. textEl.value = ex.text;
  345. genreEl.value = ex.genre || "";
  346. draftIsExample = true; saveDraft();
  347. sourceEl.textContent = ex.source; sourceEl.hidden = false;
  348. document.querySelectorAll("[data-example]").forEach((x) => x.setAttribute("aria-pressed", String(x === b)));
  349. updateCount();
  350. clearTimeout(timer); run();
  351. }));
  352. const restored = loadDraft();
  353. updateCount();
  354. renderEnvs();
  355. if (restored) {
  356. sourceEl.textContent = "Черновик из прошлого раза восстановлен из памяти этого браузера. «Очистить» удалит его.";
  357. sourceEl.hidden = false;
  358. run();
  359. }
  360. })();
docs/scan-rules.js · Bundled script · 1,121 lines · 1 finding marked
  1. // Сгенерировано scripts/export_web_rules.py из humanizer_metrics.
  2. // Не править руками: гейт `export_web_rules.py --check` в CI сравнит с источником.
  3. globalThis.HUMANIZER_RULES = {
  4. "generated_by": "scripts/export_web_rules.py",
  5. "hard_bans": [
  6. {
  7. "name": "Не просто X, а Y",
  8. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))не\\s+просто(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))[^.!?]{1,40}?(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))а(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  9. },
  10. {
  11. "name": "Не только X, но и Y",
  12. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))не\\s+только(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))[^.!?]{1,40}?(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))но\\s+и(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  13. },
  14. {
  15. "name": "В современном мире",
  16. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))в\\s+современном\\s+мире(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  17. },
  18. {
  19. "name": "Стоит отметить, что",
  20. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))стоит\\s+отметить(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  21. },
  22. {
  23. "name": "Важно понимать/помнить/отметить, что",
  24. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))важно\\s+(?:понимать|помнить|отметить)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  25. },
  26. {
  27. "name": "Данный/Данная/Данное",
  28. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))данн(ый|ая|ое|ого|ой|ом|ую)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  29. },
  30. {
  31. "name": "Является",
  32. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))явля(ется|ются)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  33. },
  34. {
  35. "name": "Играет важную/ключевую роль",
  36. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))игра(ет|ют)\\s+(важн[\\p{L}\\p{N}_]+|ключев[\\p{L}\\p{N}_]+)\\s+роль(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  37. },
  38. {
  39. "name": "Можно с уверенностью сказать",
  40. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))можно\\s+с\\s+уверенностью\\s+сказать(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  41. },
  42. {
  43. "name": "Подводя итог / Таким образом",
  44. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))подводя\\s+итог(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))|(?:^|[.!?…:;]\\s+|\\n\\s*(?:[-*•]\\s*)?|,\\s*)таким\\s+образом\\s*,"
  45. },
  46. {
  47. "name": "Длинное тире",
  48. "re": "—"
  49. },
  50. {
  51. "name": "Короткое тире",
  52. "re": "(?<![\\d\\s])\\s*–|–\\s*(?![\\d\\s])"
  53. },
  54. {
  55. "name": "от X до Y (ложный диапазон)",
  56. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))[оО][тТ]\\s+(?:(?!(?:начала\\s+до\\s+конца|мала\\s+до\\s+велика|рассвета\\s+до\\s+заката|заката\\s+до\\s+рассвета|а\\s+до\\s+я|и\\s+до|альфы\\s+до\\s+омеги|великого\\s+до\\s+смешного|головы\\s+до\\s+пят|макушки\\s+до\\s+пяток|пола\\s+до\\s+потолка|верха\\s+до\\s+низа|перв(?:ого|ой|ых)\\s+до\\s+последн(?:его|ей|их))(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_])))([а-яё]+))\\s+[дД][оО]\\s+(?:(?!\\1(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_])))[а-яё]+)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))",
  57. "flags": "gu"
  58. },
  59. {
  60. "name": "В условиях [прил.] [сущ.]",
  61. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:(?:в)\\s+[уУ][сС][лЛ][оО][вВ][иИ][яЯ][хХ](?!\\s+(?:[А-ЯЁA-Z])|\\s+(?:[кК][рР][аА][йЙ][нН][еЕ][гГ][оО]\\s+[сС][еЕ][вВ][еЕ][рР][аА]|[аА][рР][кК][тТ][иИ][кК][иИ]|[сС][еЕ][вВ][еЕ][рР][аА]|[сС][иИ][бБ][иИ][рР][иИ]|[зЗ][аА][пП][оО][лЛ][яЯ][рР][ьЬ][яЯ]|[дД][оО][гГ][оО][вВ][оО][рР][аА]|[кК][оО][нН][тТ][рР][аА][кК][тТ][аА]|[пП][оО][сС][тТ][аА][вВ][кК][иИ]|[сС][дД][еЕ][лЛ][кК][иИ])(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_])))|(?:В)\\s+[уУ][сС][лЛ][оО][вВ][иИ][яЯ][хХ](?!\\s+(?=(?:[А-ЯЁA-Z]))(?!(?:[\\p{L}\\p{N}_]+\\s+)?(?:[эЭ][кК][оО][нН][оО][мМ][иИ][кК]|[рР][ыЫ][нН][кК]|[кК][оО][нН][кК][уУ][рР][еЕ][нН][цЦ][иИ]|[нН][еЕ][оО][пП][рР][еЕ][дД][еЕ][лЛ](?:[еЕ]|[ёЁ])[нН][нН][оО][сС][тТ]|[кК][рР][иИ][зЗ][иИ][сС]|[оО][гГ][рР][аА][нН][иИ][чЧ][еЕ][нН][иИ]|[нН][еЕ][сС][тТ][аА][бБ][иИ][лЛ][ьЬ][нН][оО][сС][тТ]|[цЦ][иИ][фФ][рР][оО][вВ][иИ][зЗ][аА][цЦ][иИ]|[тТ][рР][аА][нН][сС][фФ][оО][рР][мМ][аА][цЦ][иИ]|[гГ][лЛ][оО][бБ][аА][лЛ][иИ][зЗ][аА][цЦ][иИ]|[сС][аА][нН][кК][цЦ][иИ]|[дД][еЕ][фФ][иИ][цЦ][иИ][тТ]))|\\s+(?:[кК][рР][аА][йЙ][нН][еЕ][гГ][оО]\\s+[сС][еЕ][вВ][еЕ][рР][аА]|[аА][рР][кК][тТ][иИ][кК][иИ]|[сС][еЕ][вВ][еЕ][рР][аА]|[сС][иИ][бБ][иИ][рР][иИ]|[зЗ][аА][пП][оО][лЛ][яЯ][рР][ьЬ][яЯ]|[дД][оО][гГ][оО][вВ][оО][рР][аА]|[кК][оО][нН][тТ][рР][аА][кК][тТ][аА]|[пП][оО][сС][тТ][аА][вВ][кК][иИ]|[сС][дД][еЕ][лЛ][кК][иИ])(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))))\\s+[\\p{L}\\p{N}_]+",
  62. "flags": "gu"
  63. },
  64. {
  65. "name": "Погрузимся / посмотрим поближе",
  66. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(погрузимся|посмотрим\\s+[\\p{L}\\p{N}_]+\\s+поближе|давайте\\s+посмотрим)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  67. },
  68. {
  69. "name": "И вот здесь начинается самое интересное",
  70. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))вот\\s+(здесь|тут)\\s+начинается\\s+самое\\s+интересное(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  71. },
  72. {
  73. "name": "Раскрыть потенциал",
  74. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))раскры(ть|ва[\\p{L}\\p{N}_]+)\\s+потенциал(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  75. },
  76. {
  77. "name": "Вывести на новый уровень",
  78. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))выв(ести|одит)\\s+на\\s+новый\\s+уровень(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  79. },
  80. {
  81. "name": "Комплексный подход/решение",
  82. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))комплексн(ый|ое|ого|ым)\\s+(подход[\\p{L}\\p{N}_]*|решени[\\p{L}\\p{N}_]+)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  83. },
  84. {
  85. "name": "В связи с этим",
  86. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))в\\s+связи\\s+с\\s+этим(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  87. },
  88. {
  89. "name": "Открывает новые горизонты/перспективы/возможности",
  90. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))открыва(ет|ют)\\s+новые\\s+(горизонт[\\p{L}\\p{N}_]+|перспектив[\\p{L}\\p{N}_]+|возможност[\\p{L}\\p{N}_]+)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  91. }
  92. ],
  93. "freq_bans": {
  94. "Является": 500
  95. },
  96. "scanner": {
  97. "Канцелярит": [
  98. {
  99. "label": "осуществлени",
  100. "lit": "осуществлени"
  101. },
  102. {
  103. "label": "реализаци",
  104. "lit": "реализаци"
  105. },
  106. {
  107. "label": "внедрени",
  108. "lit": "внедрени"
  109. },
  110. {
  111. "label": "оптимизаци",
  112. "lit": "оптимизаци"
  113. },
  114. {
  115. "label": "функционировани",
  116. "lit": "функционировани"
  117. },
  118. {
  119. "label": "взаимодействи",
  120. "lit": "взаимодействи"
  121. },
  122. {
  123. "label": "в рамках",
  124. "lit": "в рамках"
  125. },
  126. {
  127. "label": "в целях",
  128. "lit": "в целях"
  129. },
  130. {
  131. "label": "в контексте",
  132. "lit": "в контексте"
  133. },
  134. {
  135. "label": "на основе",
  136. "lit": "на основе"
  137. },
  138. {
  139. "label": "посредством",
  140. "lit": "посредством"
  141. },
  142. {
  143. "label": "в соответствии с",
  144. "lit": "в соответствии с"
  145. },
  146. {
  147. "label": "внимание уделяется",
  148. "lit": "внимание уделяется"
  149. },
  150. {
  151. "label": "внимание уделено",
  152. "lit": "внимание уделено"
  153. },
  154. {
  155. "label": "посвящена анализу/изучению/разработке",
  156. "re": "посвящен[ао]\\s+(анализ[\\p{L}\\p{N}_]+|изучени[\\p{L}\\p{N}_]+|разработк[\\p{L}\\p{N}_]+|рассмотрени[\\p{L}\\p{N}_]+)"
  157. }
  158. ],
  159. "Кальки": [
  160. {
  161. "label": "является",
  162. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))явля(ется|ются)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  163. },
  164. {
  165. "label": "стоит отметить",
  166. "lit": "стоит отметить"
  167. },
  168. {
  169. "label": "важно понимать",
  170. "lit": "важно понимать"
  171. },
  172. {
  173. "label": "можно сказать",
  174. "lit": "можно сказать"
  175. },
  176. {
  177. "label": "что касается",
  178. "lit": "что касается"
  179. },
  180. {
  181. "label": "в то время как",
  182. "lit": "в то время как"
  183. },
  184. {
  185. "label": "с другой стороны",
  186. "lit": "с другой стороны"
  187. },
  188. {
  189. "label": "тем не менее",
  190. "lit": "тем не менее"
  191. },
  192. {
  193. "label": "несмотря на то что",
  194. "lit": "несмотря на то что"
  195. },
  196. {
  197. "label": "стоит помнить",
  198. "lit": "стоит помнить"
  199. },
  200. {
  201. "label": "следует учитывать",
  202. "lit": "следует учитывать"
  203. },
  204. {
  205. "label": "необходимо отметить",
  206. "lit": "необходимо отметить"
  207. },
  208. {
  209. "label": "исследование фокусируется на",
  210. "re": "(исследовани[\\p{L}\\p{N}_]+|работ[\\p{L}\\p{N}_]+|стать[\\p{L}\\p{N}_]+)\\s+фокусиру[\\p{L}\\p{N}_]+\\s+на"
  211. }
  212. ],
  213. "Раздувание": [
  214. {
  215. "label": "ключев",
  216. "lit": "ключев"
  217. },
  218. {
  219. "label": "важнейш",
  220. "lit": "важнейш"
  221. },
  222. {
  223. "label": "значительн",
  224. "lit": "значительн"
  225. },
  226. {
  227. "label": "огромн",
  228. "lit": "огромн"
  229. },
  230. {
  231. "label": "колоссальн",
  232. "lit": "колоссальн"
  233. },
  234. {
  235. "label": "переломн",
  236. "lit": "переломн"
  237. },
  238. {
  239. "label": "фундаментальн",
  240. "lit": "фундаментальн"
  241. },
  242. {
  243. "label": "невозможно переоценить",
  244. "lit": "невозможно переоценить"
  245. },
  246. {
  247. "label": "играет роль",
  248. "lit": "играет роль"
  249. },
  250. {
  251. "label": "важный шаг",
  252. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))важн[\\p{L}\\p{N}_]+\\s+шаг[\\p{L}\\p{N}_]*"
  253. }
  254. ],
  255. "Формула-выводы": [
  256. {
  257. "label": "таким образом, (вводное)",
  258. "re": "(?:^|[.!?…:;]\\s+|\\n\\s*(?:[-*•]\\s*)?|,\\s*)таким\\s+образом\\s*,"
  259. },
  260. {
  261. "label": "подводя итог",
  262. "lit": "подводя итог"
  263. },
  264. {
  265. "label": "в заключение",
  266. "lit": "в заключение"
  267. },
  268. {
  269. "label": "можно сделать вывод",
  270. "lit": "можно сделать вывод"
  271. },
  272. {
  273. "label": "суммируя вышесказанное",
  274. "lit": "суммируя вышесказанное"
  275. },
  276. {
  277. "label": "на основании вышеизложенного",
  278. "lit": "на основании вышеизложенного"
  279. }
  280. ],
  281. "Чатбот": [
  282. {
  283. "label": "конечно!",
  284. "lit": "конечно!"
  285. },
  286. {
  287. "label": "отличный вопрос",
  288. "lit": "отличный вопрос"
  289. },
  290. {
  291. "label": "давайте разберёмся",
  292. "lit": "давайте разберёмся"
  293. },
  294. {
  295. "label": "давайте разберемся",
  296. "lit": "давайте разберемся"
  297. },
  298. {
  299. "label": "рад помочь",
  300. "lit": "рад помочь"
  301. },
  302. {
  303. "label": "надеюсь это было полезно",
  304. "lit": "надеюсь это было полезно"
  305. },
  306. {
  307. "label": "с удовольствием",
  308. "lit": "с удовольствием"
  309. }
  310. ],
  311. "Параллелизмы": [
  312. {
  313. "label": "не просто",
  314. "lit": "не просто"
  315. },
  316. {
  317. "label": "не только",
  318. "lit": "не только"
  319. },
  320. {
  321. "label": "это не X, это Y",
  322. "re": "это\\s+не\\s+[^.!?\\n]{1,40}[,—:-]\\s*это(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  323. }
  324. ],
  325. "Вводные-открытия": [
  326. {
  327. "label": "в современном мире",
  328. "lit": "в современном мире"
  329. },
  330. {
  331. "label": "в эпоху",
  332. "lit": "в эпоху"
  333. },
  334. {
  335. "label": "не секрет что",
  336. "lit": "не секрет что"
  337. },
  338. {
  339. "label": "не секрет, что",
  340. "lit": "не секрет, что"
  341. },
  342. {
  343. "label": "всё чаще",
  344. "lit": "всё чаще"
  345. },
  346. {
  347. "label": "все чаще",
  348. "lit": "все чаще"
  349. },
  350. {
  351. "label": "по мнению экспертов",
  352. "lit": "по мнению экспертов"
  353. },
  354. {
  355. "label": "специалисты отмечают",
  356. "lit": "специалисты отмечают"
  357. }
  358. ],
  359. "Модальные хеджи": [
  360. {
  361. "label": "может стать",
  362. "lit": "может стать"
  363. },
  364. {
  365. "label": "может повлиять",
  366. "lit": "может повлиять"
  367. },
  368. {
  369. "label": "может быть полезн",
  370. "lit": "может быть полезн"
  371. },
  372. {
  373. "label": "способен обеспечить",
  374. "lit": "способен обеспечить"
  375. },
  376. {
  377. "label": "призван решить",
  378. "lit": "призван решить"
  379. },
  380. {
  381. "label": "позволяет достичь",
  382. "lit": "позволяет достичь"
  383. }
  384. ],
  385. "Мотивационные клише": [
  386. {
  387. "label": "раскрыть потенциал",
  388. "lit": "раскрыть потенциал"
  389. },
  390. {
  391. "label": "погрузимся",
  392. "lit": "погрузимся"
  393. },
  394. {
  395. "label": "вывести на новый уровень",
  396. "lit": "вывести на новый уровень"
  397. },
  398. {
  399. "label": "открывает новые горизонты",
  400. "lit": "открывает новые горизонты"
  401. },
  402. {
  403. "label": "открывает новые возможности",
  404. "lit": "открывает новые возможности"
  405. },
  406. {
  407. "label": "расширить границы",
  408. "lit": "расширить границы"
  409. },
  410. {
  411. "label": "комплексный подход",
  412. "lit": "комплексный подход"
  413. }
  414. ],
  415. "Контекстуализаторы": [
  416. {
  417. "label": "в условиях",
  418. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:(?:в)\\s+[уУ][сС][лЛ][оО][вВ][иИ][яЯ][хХ](?!\\s+(?:[А-ЯЁA-Z])|\\s+(?:[кК][рР][аА][йЙ][нН][еЕ][гГ][оО]\\s+[сС][еЕ][вВ][еЕ][рР][аА]|[аА][рР][кК][тТ][иИ][кК][иИ]|[сС][еЕ][вВ][еЕ][рР][аА]|[сС][иИ][бБ][иИ][рР][иИ]|[зЗ][аА][пП][оО][лЛ][яЯ][рР][ьЬ][яЯ]|[дД][оО][гГ][оО][вВ][оО][рР][аА]|[кК][оО][нН][тТ][рР][аА][кК][тТ][аА]|[пП][оО][сС][тТ][аА][вВ][кК][иИ]|[сС][дД][еЕ][лЛ][кК][иИ])(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_])))|(?:В)\\s+[уУ][сС][лЛ][оО][вВ][иИ][яЯ][хХ](?!\\s+(?=(?:[А-ЯЁA-Z]))(?!(?:[\\p{L}\\p{N}_]+\\s+)?(?:[эЭ][кК][оО][нН][оО][мМ][иИ][кК]|[рР][ыЫ][нН][кК]|[кК][оО][нН][кК][уУ][рР][еЕ][нН][цЦ][иИ]|[нН][еЕ][оО][пП][рР][еЕ][дД][еЕ][лЛ](?:[еЕ]|[ёЁ])[нН][нН][оО][сС][тТ]|[кК][рР][иИ][зЗ][иИ][сС]|[оО][гГ][рР][аА][нН][иИ][чЧ][еЕ][нН][иИ]|[нН][еЕ][сС][тТ][аА][бБ][иИ][лЛ][ьЬ][нН][оО][сС][тТ]|[цЦ][иИ][фФ][рР][оО][вВ][иИ][зЗ][аА][цЦ][иИ]|[тТ][рР][аА][нН][сС][фФ][оО][рР][мМ][аА][цЦ][иИ]|[гГ][лЛ][оО][бБ][аА][лЛ][иИ][зЗ][аА][цЦ][иИ]|[сС][аА][нН][кК][цЦ][иИ]|[дД][еЕ][фФ][иИ][цЦ][иИ][тТ]))|\\s+(?:[кК][рР][аА][йЙ][нН][еЕ][гГ][оО]\\s+[сС][еЕ][вВ][еЕ][рР][аА]|[аА][рР][кК][тТ][иИ][кК][иИ]|[сС][еЕ][вВ][еЕ][рР][аА]|[сС][иИ][бБ][иИ][рР][иИ]|[зЗ][аА][пП][оО][лЛ][яЯ][рР][ьЬ][яЯ]|[дД][оО][гГ][оО][вВ][оО][рР][аА]|[кК][оО][нН][тТ][рР][аА][кК][тТ][аА]|[пП][оО][сС][тТ][аА][вВ][кК][иИ]|[сС][дД][еЕ][лЛ][кК][иИ])(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))))",
  419. "flags": "gu"
  420. },
  421. {
  422. "label": "в свете",
  423. "lit": "в свете"
  424. },
  425. {
  426. "label": "на фоне",
  427. "lit": "на фоне"
  428. },
  429. {
  430. "label": "с учётом",
  431. "lit": "с учётом"
  432. },
  433. {
  434. "label": "с учетом",
  435. "lit": "с учетом"
  436. },
  437. {
  438. "label": "принимая во внимание",
  439. "lit": "принимая во внимание"
  440. },
  441. {
  442. "label": "в связи с этим",
  443. "lit": "в связи с этим"
  444. }
  445. ],
  446. "Маркетинговые штампы": [
  447. {
  448. "label": "связь с аудиторией",
  449. "lit": "связь с аудиторией"
  450. },
  451. {
  452. "label": "доверительные отношения",
  453. "lit": "доверительные отношения"
  454. },
  455. {
  456. "label": "ключевой момент",
  457. "lit": "ключевой момент"
  458. },
  459. {
  460. "label": "ключевая роль",
  461. "lit": "ключевая роль"
  462. },
  463. {
  464. "label": "индивидуальный подход",
  465. "lit": "индивидуальный подход"
  466. },
  467. {
  468. "label": "инновационное решение",
  469. "lit": "инновационное решение"
  470. }
  471. ],
  472. "Псевдо-сократические": [
  473. {
  474. "label": "зачем? потому что",
  475. "lit": "зачем? потому что"
  476. },
  477. {
  478. "label": "и что? а то",
  479. "lit": "и что? а то"
  480. },
  481. {
  482. "label": "почему? сейчас расскажу",
  483. "lit": "почему? сейчас расскажу"
  484. }
  485. ],
  486. "Авторитетные трюизмы": [
  487. {
  488. "label": "вот ключевой вывод",
  489. "lit": "вот ключевой вывод"
  490. },
  491. {
  492. "label": "самое важное — это",
  493. "lit": "самое важное — это"
  494. },
  495. {
  496. "label": "самое важное - это",
  497. "lit": "самое важное - это"
  498. },
  499. {
  500. "label": "первый шаг — это",
  501. "lit": "первый шаг — это"
  502. },
  503. {
  504. "label": "первый шаг - это",
  505. "lit": "первый шаг - это"
  506. },
  507. {
  508. "label": "по своей сути",
  509. "lit": "по своей сути"
  510. },
  511. {
  512. "label": "в конечном счёте",
  513. "lit": "в конечном счёте"
  514. },
  515. {
  516. "label": "в конечном счете",
  517. "lit": "в конечном счете"
  518. }
  519. ],
  520. "Псевдо-терапевтические": [
  521. {
  522. "label": "ты не ошибаешься",
  523. "lit": "ты не ошибаешься"
  524. },
  525. {
  526. "label": "ты имеешь право",
  527. "lit": "ты имеешь право"
  528. },
  529. {
  530. "label": "тихое подтверждение",
  531. "lit": "тихое подтверждение"
  532. },
  533. {
  534. "label": "это не слабость",
  535. "lit": "это не слабость"
  536. },
  537. {
  538. "label": "ты настоящий",
  539. "lit": "ты настоящий"
  540. },
  541. {
  542. "label": "сам факт этого",
  543. "lit": "сам факт этого"
  544. }
  545. ],
  546. "Самомаркировка честности": [
  547. {
  548. "label": "честный список",
  549. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))честн(?:ый|ого|ому|ым|ом)\\s+спис[\\p{L}\\p{N}_]*(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  550. },
  551. {
  552. "label": "буду (с вами) откровенен",
  553. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))буду\\s+(?:с\\s+(?:вами|тобой)\\s+)?откровен[\\p{L}\\p{N}_]*(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  554. },
  555. {
  556. "label": "без прикрас",
  557. "lit": "без прикрас"
  558. },
  559. {
  560. "label": "без воды",
  561. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))без\\s+воды(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  562. },
  563. {
  564. "label": "объективный разбор",
  565. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))объективн[\\p{L}\\p{N}_]+\\s+разбор[\\p{L}\\p{N}_]*(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  566. },
  567. {
  568. "label": "это не очередной",
  569. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))это\\s+не\\s+очередн[\\p{L}\\p{N}_]*(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  570. }
  571. ],
  572. "Эмодзи-декор": [
  573. {
  574. "label": "⚡",
  575. "lit": "⚡"
  576. },
  577. {
  578. "label": "✨",
  579. "lit": "✨"
  580. },
  581. {
  582. "label": "🎯",
  583. "lit": "🎯"
  584. },
  585. {
  586. "label": "🔥",
  587. "lit": "🔥"
  588. },
  589. {
  590. "label": "💡",
  591. "lit": "💡"
  592. }
  593. ],
  594. "Технические маркеры": [
  595. {
  596. "label": "латиница внутри кириллического слова",
  597. "re": "(?<=[а-яё])[a-z](?=[а-яё])"
  598. },
  599. {
  600. "label": "невидимые символы (zero-width, bidi)",
  601. "re": "[​‌‍⁠᠎‎‏‪-‮⁦-⁩؜ ]"
    • Note: Usual in code (characters a sanitizer strips): Contains 4 bidirectional-override character(s), which make text display in a different order from how it's read
    • Line 601 on GitHub
  602. }
  603. ],
  604. "Неодушевлённый субъект": [
  605. {
  606. "label": "предмет или абстракция подчёркивает/демонстрирует",
  607. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(исследовани[\\p{L}\\p{N}_]+|работ[аы]|стать[\\p{L}\\p{N}_]+|проект[\\p{L}\\p{N}_]*|платформ[\\p{L}\\p{N}_]+|систем[\\p{L}\\p{N}_]+|решени[\\p{L}\\p{N}_]+|компани[\\p{L}\\p{N}_]+|здани[\\p{L}\\p{N}_]+|документ[\\p{L}\\p{N}_]*|отчёт[\\p{L}\\p{N}_]*|инициатив[\\p{L}\\p{N}_]+|технологи[\\p{L}\\p{N}_]+|подход[\\p{L}\\p{N}_]*)\\s+(подчёркива[\\p{L}\\p{N}_]+|демонстрир[\\p{L}\\p{N}_]+|отража[\\p{L}\\p{N}_]+|обеспечива[\\p{L}\\p{N}_]+|иллюстрир[\\p{L}\\p{N}_]+|символизир[\\p{L}\\p{N}_]+|подтвержда[\\p{L}\\p{N}_]+)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  608. }
  609. ],
  610. "Триада-отрицание": [
  611. {
  612. "label": "Без X. Без Y. Только Z.",
  613. "re": "(?:^|[.!?…\\n]\\s*)(?:без|ни)\\s+[^.!?\\n]{1,40}[.!?]\\s+(?:без|ни)\\s+[^.!?\\n]{1,40}[.!?]\\s+(?:только|просто|лишь)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  614. }
  615. ],
  616. "Финальная мораль": [
  617. {
  618. "label": "мораль этой истории",
  619. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))мораль\\s+(?:этой|всей\\s+этой|сей)\\s+истори(?:и|ю|ей)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  620. },
  621. {
  622. "label": "эта история учит нас",
  623. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:эта|вся\\s+эта)\\s+истори(?:я|и)\\s+(?:учит|научила|учила)\\s+(?:нас|нам)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  624. },
  625. {
  626. "label": "эта история о том, что",
  627. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))эта\\s+истори(?:я|и)\\s+о\\s+том,\\s+что(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  628. },
  629. {
  630. "label": "мораль проста (последней фразой)",
  631. "re": "[.!?…]\\s+мораль\\s+(?:проста|такова)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))[^.!?]{0,60}[.!?]\\s*$"
  632. }
  633. ],
  634. "Почерк модели": [
  635. {
  636. "label": "подчёркивает/акцентирует",
  637. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))подч[её]ркива(?:ет|ют|я)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))|(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))акцентир[\\p{L}\\p{N}_]+"
  638. },
  639. {
  640. "label": "свидетельствует о",
  641. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))свидетельству[\\p{L}\\p{N}_]+\\s+о(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  642. },
  643. {
  644. "label": "демонстрирует",
  645. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))демонстрир[\\p{L}\\p{N}_]+"
  646. },
  647. {
  648. "label": "это не просто/не только",
  649. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))это\\s+не\\s+(?:просто|только)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  650. },
  651. {
  652. "label": "что делает его",
  653. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))что\\s+дела(?:ет|ют)\\s+(?:его|её|ее|их|это|эту|этот)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  654. },
  655. {
  656. "label": "важность",
  657. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))важност[\\p{L}\\p{N}_]+"
  658. },
  659. {
  660. "label": "заставляет задуматься",
  661. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:заставля[\\p{L}\\p{N}_]+|стоит|стоило|повод)\\s+задуматься(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  662. },
  663. {
  664. "label": "стал символом",
  665. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))стал[аои]?\\s+символом(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?!\\s*[@#]|\\s+(?:(?:нов[\\p{L}\\p{N}_]*|перевод[\\p{L}\\p{N}_]*)\\s+строк|табуляц|пробел|подч[её]ркивани|процент|доллар))"
  666. },
  667. {
  668. "label": "стал настоящим открытием",
  669. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:[сС][тТ][аА][лЛ](?:[аА]|[оО]|[иИ])?|[сС][тТ][аА][нН][оО][вВ][иИ][тТ][сС][яЯ]|[сС][тТ][аА][нН][еЕ][тТ]|[оО][кК][аА][зЗ][аА][лЛ](?:[сС][яЯ]|[аА][сС][ьЬ]|[оО][сС][ьЬ]|[иИ][сС][ьЬ])|[бБ][ыЫ][лЛ](?:[аА]|[оО]|[иИ])?|[бБ][уУ][дД][еЕ][тТ]|[эЭ][тТ][оО])\\s+[нН][аА][сС][тТ][оО][яЯ][щЩ](?:[иИ][мМ]|[еЕ][йЙ]|[еЕ][еЕ]|[иИ][мМ][иИ]|[иИ][йЙ]|[аА][яЯ]|[оО][еЕ]|[иИ][еЕ])\\s+(?!(?:[дД][оО][гГ][оО][вВ][оО][рР]|[сС][оО][гГ][лЛ][аА][шШ][еЕ][нН][иИ]|[дД][рР][уУ][гГ]|[дД][оО][кК][уУ][мМ][еЕ][нН][тТ]|[мМ][оО][мМ][еЕ][нН][тТ]|[вВ][рР][еЕ][мМ])[\\p{L}\\p{N}_]*)(?:[а-яё]{4,})",
  670. "flags": "gu"
  671. },
  672. {
  673. "label": "важный шаг",
  674. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:важн|значим|ключев|решающ|смел|уверенн)[\\p{L}\\p{N}_]*\\s+шаг[\\p{L}\\p{N}_]*"
  675. },
  676. {
  677. "label": "представьте себе",
  678. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))представьте(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  679. },
  680. {
  681. "label": "заслуживает",
  682. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))заслужива[\\p{L}\\p{N}_]+"
  683. },
  684. {
  685. "label": "для тех, кто",
  686. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))для\\s+тех,?\\s+кто(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  687. },
  688. {
  689. "label": "Это позволяет",
  690. "re": "(?:^|[.!?]\\s+)(?:это|такой\\s+подход|всё\\s+это|все\\s+это)\\s+(?:позволя|помога|дела|да[её]т|способству|созда|обеспечива|станов)[\\p{L}\\p{N}_]*"
  691. },
  692. {
  693. "label": "вдохновляет",
  694. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))вдохнов[\\p{L}\\p{N}_]+"
  695. },
  696. {
  697. "label": "незабываемый",
  698. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))незабываем[\\p{L}\\p{N}_]+"
  699. },
  700. {
  701. "label": "гармония",
  702. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))гармони[\\p{L}\\p{N}_]+"
  703. },
  704. {
  705. "label": "X — это Y",
  706. "re": "[а-яё»)]\\s+—\\s+это\\s"
  707. },
  708. {
  709. "label": "оставляет впечатление",
  710. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))оставля[\\p{L}\\p{N}_]+\\s+(?:[\\p{L}\\p{N}_]+\\s+)?(?:впечатлени|след|равнодушн)[\\p{L}\\p{N}_]*"
  711. },
  712. {
  713. "label": "напоминает о",
  714. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))напомина[\\p{L}\\p{N}_]+\\s+(?:нам\\s+)?(?:о|об|что)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  715. },
  716. {
  717. "label": "может привести к",
  718. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))может\\s+привести\\s+к(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  719. },
  720. {
  721. "label": "невероятно",
  722. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))невероятн[\\p{L}\\p{N}_]+"
  723. }
  724. ],
  725. "Обвязка чата": [
  726. {
  727. "label": "предложение доработки",
  728. "re": "(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:хотите,?\\s+чтобы\\s+я|могу\\s+также|могу\\s+(?:подготовить|предложить|адаптировать|переписать|сделать\\s+(?:вариант|версию))|могу\\s+помочь\\s+с)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))|(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:если\\s+(?:нужно|хотите|надо)|при\\s+желании)[^.\\n]{0,25}(?:—|,|-)\\s*(?:я\\s+)?(?:могу|сделаю|подготовлю|напишу|адаптирую|доработаю)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))|(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))(?:пришлите|скажите|уточните|дайте\\s+знать)[^\\n]{0,80}(?:—|,|и)\\s*(?:я\\s+)?(?:сразу\\s+)?(?:подготовлю|доработаю|напишу|адаптирую|подстрою|переделаю)(?:(?<=[\\p{L}\\p{N}_])(?![\\p{L}\\p{N}_])|(?<![\\p{L}\\p{N}_])(?=[\\p{L}\\p{N}_]))"
  729. },
  730. {
  731. "label": "плейсхолдер [Ваше имя]",
  732. "re": "\\[(?:ваш|ваше|ваша|имя|название|дата|компани|должност|указать|число|телефон|ссылк|город|продукт|причин|конкретн)[^\\]\\n]{0,60}\\]"
  733. },
  734. {
  735. "label": "«Вот вариант:» / «Вариант 1»",
  736. "re": "(?:^|\\n)[ \\t]*(?:\\*\\*)?(?:вот|ниже)\\s+(?:несколько\\s+)?(?:вариант|пример|шаблон|текст|черновик|готов|проверенн)[\\p{L}\\p{N}_]*[^\\n]{0,80}:|(?:^|\\n)[ \\t]*(?:\\*\\*|#+[ \\t]*)?вариант\\s+\\d"
  737. },
  738. {
  739. "label": "эмодзи вместо маркеров списка",
  740. "re": "(?:^|\\n)[ \\t]*(?:[0-9]️?⃣|[❌✅✔➡→▶👉🔹🔸])(?![^\\n]*\\|)"
  741. },
  742. {
  743. "label": "markdown-подзаголовок ##",
  744. "re": "(?:^|\\n)#{2,4}[ \\t]+\\S"
  745. },
  746. {
  747. "label": "жирный подзаголовок **…**",
  748. "re": "(?:^|\\n)[ \\t]*\\*\\*[^*\\n]{2,80}\\*\\*:?[ \\t]*(?=\\n)(?!\\s*[^\\n]*\\|)"
  749. }
  750. ],
  751. "Артефакты копипасты": [
  752. {
  753. "label": ":contentReference",
  754. "lit": ":contentReference"
  755. },
  756. {
  757. "label": "oai_citation",
  758. "lit": "oai_citation"
  759. },
  760. {
  761. "label": "utm_source=chatgpt.com",
  762. "lit": "utm_source=chatgpt.com"
  763. },
  764. {
  765. "label": "utm_source=openai",
  766. "lit": "utm_source=openai"
  767. },
  768. {
  769. "label": "grok_card://",
  770. "lit": "grok_card://"
  771. },
  772. {
  773. "label": "attached_file://",
  774. "lit": "attached_file://"
  775. },
  776. {
  777. "label": "vertexaisearch.cloud.google.com/grounding-api-redirect",
  778. "lit": "vertexaisearch.cloud.google.com/grounding-api-redirect"
  779. },
  780. {
  781. "label": "](sandbox:/mnt/data/",
  782. "lit": "](sandbox:/mnt/data/"
  783. },
  784. {
  785. "label": "attributableIndex",
  786. "lit": "attributableIndex"
  787. },
  788. {
  789. "label": "oaicite:\\d+",
  790. "re": "oaicite:\\d+"
  791. },
  792. {
  793. "label": "turn\\d+(?:search|fetch|file)\\d+",
  794. "re": "turn\\d+(?:search|fetch|file)\\d+"
  795. },
  796. {
  797. "label": "citeturn\\d+[a-z]+\\d+",
  798. "re": "citeturn\\d+[a-z]+\\d+"
  799. },
  800. {
  801. "label": "【\\d+(?::\\d+)?†source】",
  802. "re": "【\\d+(?::\\d+)?†source】"
  803. },
  804. {
  805. "label": "\\[citation:\\d+\\]",
  806. "re": "\\[citation:\\d+\\]"
  807. },
  808. {
  809. "label": "[-]",
  810. "re": "[-]"
  811. },
  812. {
  813. "label": "</?think>",
  814. "re": "</?think>"
  815. },
  816. {
  817. "label": ":::writing\\{variant=",
  818. "re": ":::writing\\{variant="
  819. },
  820. {
  821. "label": "\\[cite:\\s*\\d+\\]",
  822. "re": "\\[cite:\\s*\\d+\\]"
  823. },
  824. {
  825. "label": "\\[span_\\d+\\]\\(start_span\\)",
  826. "re": "\\[span_\\d+\\]\\(start_span\\)"
  827. },
  828. {
  829. "label": "grok_render_citation_card_json",
  830. "lit": "grok_render_citation_card_json"
  831. }
  832. ]
  833. },
  834. "genre_muted_bans": {
  835. "academic": [
  836. "В связи с этим",
  837. "В условиях [прил.] [сущ.]",
  838. "Данный/Данная/Данное",
  839. "Длинное тире",
  840. "Короткое тире",
  841. "Подводя итог / Таким образом",
  842. "Является"
  843. ],
  844. "legal": [
  845. "В связи с этим",
  846. "В условиях [прил.] [сущ.]",
  847. "Данный/Данная/Данное",
  848. "Длинное тире",
  849. "Короткое тире",
  850. "Является"
  851. ],
  852. "fiction": [
  853. "Длинное тире",
  854. "Короткое тире",
  855. "Не просто X, а Y",
  856. "Не только X, но и Y",
  857. "от X до Y (ложный диапазон)"
  858. ],
  859. "news": [
  860. "Данный/Данная/Данное",
  861. "Длинное тире",
  862. "Короткое тире",
  863. "Является",
  864. "от X до Y (ложный диапазон)"
  865. ]
  866. },
  867. "genre_muted_categories": {
  868. "academic": [
  869. "Кальки",
  870. "Канцелярит",
  871. "Контекстуализаторы",
  872. "Почерк модели",
  873. "Формула-выводы"
  874. ],
  875. "legal": [
  876. "Кальки",
  877. "Канцелярит",
  878. "Контекстуализаторы",
  879. "Почерк модели"
  880. ],
  881. "fiction": [
  882. "Параллелизмы",
  883. "Почерк модели"
  884. ],
  885. "news": [
  886. "Кальки",
  887. "Канцелярит",
  888. "Контекстуализаторы",
  889. "Почерк модели"
  890. ]
  891. },
  892. "genres": [
  893. "marketing",
  894. "academic",
  895. "legal",
  896. "fiction",
  897. "news"
  898. ],
  899. "score": {
  900. "em_dash_name": "Длинное тире",
  901. "copy_paste_category": "Артефакты копипасты",
  902. "signature_category": "Почерк модели",
  903. "signature_first": 3,
  904. "signature_next": 10,
  905. "signature_max": 24,
  906. "chat_wrap_category": "Обвязка чата",
  907. "chat_wrap_each": 10,
  908. "chat_wrap_max": 20,
  909. "band_clean": 85,
  910. "band_edit": 60,
  911. "cv_human_target": 0.35,
  912. "density_min_words": 50,
  913. "para_cv_ai": 0.35,
  914. "para_min_count": 6,
  915. "listicle_share_ai": 0.3,
  916. "listicle_min_items": 6,
  917. "human_zero_share": [
  918. [
  919. 100,
  920. 42.2
  921. ],
  922. [
  923. 200,
  924. 21.0
  925. ],
  926. [
  927. 400,
  928. 15.1
  929. ]
  930. ],
  931. "sterile_min_words": 100,
  932. "staccato_max_words": 3,
  933. "staccato_min_run": 3,
  934. "staccato_penalty": 8,
  935. "staccato_penalty_max": 14,
  936. "nv_target": 2.5,
  937. "nv_max_penalty": 8,
  938. "lex_window": 40,
  939. "lex_max_tokens": 200,
  940. "lex_min_tokens": 100,
  941. "lex_threshold": 0.955,
  942. "lex_slope": 1000,
  943. "lex_penalty_max": 15,
  944. "lex_muted_genres": [
  945. "academic",
  946. "legal",
  947. "news"
  948. ]
  949. },
  950. "markdown": {
  951. "quote_max_words": 12,
  952. "gap": "·"
  953. },
  954. "repeats": {
  955. "n": 6,
  956. "max_tokens": 600,
  957. "min_content": 2,
  958. "min_phrases": 2,
  959. "show": 3,
  960. "function_words": [
  961. "а",
  962. "б",
  963. "более",
  964. "будет",
  965. "будут",
  966. "бы",
  967. "бывает",
  968. "был",
  969. "была",
  970. "были",
  971. "было",
  972. "быть",
  973. "в",
  974. "вам",
  975. "вас",
  976. "ваш",
  977. "ваша",
  978. "ваше",
  979. "ваши",
  980. "весь",
  981. "во",
  982. "вот",
  983. "все",
  984. "всего",
  985. "всем",
  986. "всех",
  987. "вся",
  988. "вы",
  989. "где",
  990. "да",
  991. "даже",
  992. "для",
  993. "до",
  994. "его",
  995. "ее",
  996. "ей",
  997. "ему",
  998. "если",
  999. "есть",
  1000. "еще",
  1001. "же",
  1002. "за",
  1003. "и",
  1004. "из",
  1005. "или",
  1006. "им",
  1007. "их",
  1008. "к",
  1009. "как",
  1010. "ко",
  1011. "когда",
  1012. "которая",
  1013. "которого",
  1014. "которое",
  1015. "которой",
  1016. "котором",
  1017. "которые",
  1018. "который",
  1019. "которым",
  1020. "которых",
  1021. "кто",
  1022. "куда",
  1023. "ли",
  1024. "либо",
  1025. "лишь",
  1026. "между",
  1027. "менее",
  1028. "меня",
  1029. "мне",
  1030. "могут",
  1031. "мое",
  1032. "может",
  1033. "можно",
  1034. "мои",
  1035. "мой",
  1036. "моя",
  1037. "мы",
  1038. "на",
  1039. "над",
  1040. "надо",
  1041. "нам",
  1042. "нас",
  1043. "наш",
  1044. "наша",
  1045. "наше",
  1046. "наши",
  1047. "не",
  1048. "него",
  1049. "нее",
  1050. "ней",
  1051. "нему",
  1052. "нет",
  1053. "ни",
  1054. "ним",
  1055. "них",
  1056. "но",
  1057. "нужно",
  1058. "о",
  1059. "об",
  1060. "обо",
  1061. "он",
  1062. "она",
  1063. "они",
  1064. "оно",
  1065. "от",
  1066. "ото",
  1067. "очень",
  1068. "по",
  1069. "под",
  1070. "при",
  1071. "про",
  1072. "с",
  1073. "свое",
  1074. "своего",
  1075. "своей",
  1076. "свои",
  1077. "своим",
  1078. "своих",
  1079. "свой",
  1080. "своя",
  1081. "себе",
  1082. "себя",
  1083. "со",
  1084. "та",
  1085. "так",
  1086. "также",
  1087. "там",
  1088. "те",
  1089. "тебе",
  1090. "тебя",
  1091. "тем",
  1092. "тех",
  1093. "то",
  1094. "того",
  1095. "тоже",
  1096. "той",
  1097. "только",
  1098. "том",
  1099. "тот",
  1100. "ты",
  1101. "у",
  1102. "уж",
  1103. "уже",
  1104. "чего",
  1105. "чем",
  1106. "чему",
  1107. "что",
  1108. "чтоб",
  1109. "чтобы",
  1110. "эта",
  1111. "эти",
  1112. "этим",
  1113. "это",
  1114. "этого",
  1115. "этой",
  1116. "этом",
  1117. "этот",
  1118. "я"
  1119. ]
  1120. }
  1121. };
docs/workshop.js · Bundled script · 262 lines
  1. "use strict";
  2. (() => {
  3. const el = (id) => { const node = document.getElementById(id); if (!node)
  4. throw new Error(`Missing element ${id}`); return node; };
  5. const cases = [
  6. { label: 'ПОСТ ДЛЯ БЛОГА', genre: 'marketing', before: 'Стоит отметить, что данный инструмент помогает редактору находить канцелярит. Проверка занимает около двух минут. Результат нужно перечитать.', after: 'Этот инструмент помогает редактору находить канцелярит. Проверка занимает около двух минут. Результат нужно перечитать.', edit: 'Убрали пустую подводку. «Данный» заменили на «этот». Остальной текст не трогали.', check: '«Около двух минут» осталось приблизительной оценкой. Просьба перечитать результат сохранена.' },
  7. { label: 'ПИСЬМО КЛИЕНТУ', genre: 'marketing', before: 'В связи с этим просим вас осуществить проверку документов до 15 октября. Стоит отметить, что без подписи мы не сможем отправить заявку.', after: 'Просим вас проверить документы до 15 октября. Без подписи мы не сможем отправить заявку.', edit: '«Осуществить проверку» заменили глаголом. Сняли вводные обороты, сохранили просьбу.', check: 'Срок 15 октября и условие отправки заявки на месте. Вежливая форма обращения сохранена.' },
  8. { label: 'ОПИСАНИЕ ПРОДУКТА', genre: 'marketing', before: 'Данный сервис может уменьшить число возвратов, если в карточке товара есть точные размеры. Стоимость начинается от 1500 рублей в месяц.', after: 'Этот сервис может уменьшить число возвратов, если в карточке товара есть точные размеры. Стоимость начинается от 1500 рублей в месяц.', edit: 'Заменили только «данный». Полезную оговорку нельзя убирать ради более уверенного тона.', check: '«Может», условие про размеры и «от 1500 рублей в месяц» сохранены. Возможность не стала гарантией.' }
  9. ];
  10. let currentCase = 0, currentStep = 0;
  11. const stageTitles = ['Сначала найдём лишнее.', 'Теперь снимем оболочку.', 'И перечитаем рядом с исходником.'];
  12. const stageNotes = ['Сканер отмечает обороты. Решение о правке зависит от смысла и жанра.', 'Меняем конкретные места. Всё, что уже работает, оставляем.', 'Сверяем утверждения, числа, условия и голос. Одного балла для этого мало.'];
  13. // Подсветка в учебном пульте: без подсказок, только место оборота.
  14. function markText(target, text, findings) {
  15. const ranges = findings.flatMap(f => f.positions).filter(([a, b]) => a >= 0 && b > a && b <= text.length).sort((a, b) => a[0] - b[0]);
  16. const merged = [];
  17. for (const [a, b] of ranges) {
  18. const last = merged[merged.length - 1];
  19. if (last && a <= last[1])
  20. last[1] = Math.max(last[1], b);
  21. else
  22. merged.push([a, b]);
  23. }
  24. target.replaceChildren();
  25. let position = 0;
  26. for (const [a, b] of merged) {
  27. target.append(document.createTextNode(text.slice(position, a)));
  28. const mark = document.createElement('mark');
  29. mark.textContent = text.slice(a, b);
  30. target.append(mark);
  31. position = b;
  32. }
  33. target.append(document.createTextNode(text.slice(position)));
  34. }
  35. function renderStory() {
  36. const c = cases[currentCase], text = currentStep === 0 ? c.before : c.after, before = humanizerScan(c.before, c.genre), after = humanizerScan(c.after, c.genre), r = currentStep === 0 ? before : after;
  37. el('case-label').textContent = c.label + ' / ' + (currentStep === 0 ? 'ЧЕРНОВИК' : 'ПРАВКА');
  38. el('page-label').textContent = 'ЛИСТ 0' + (currentCase + 1);
  39. el('stage-label').textContent = ['01 / ДИАГНОСТИКА', '02 / ЛОКАЛЬНАЯ ПРАВКА', '03 / СВЕРКА С ИСХОДНИКОМ'][currentStep];
  40. el('stage-title').textContent = stageTitles[currentStep];
  41. el('stage-note').textContent = stageNotes[currentStep];
  42. el('screen-title').textContent = ['Где текст буксует', 'Читается проще', 'Что мы сохранили'][currentStep];
  43. el('story-score').textContent = String(r.score);
  44. markText(el('story-text'), text, currentStep === 0 ? [...r.effective_bans, ...r.muted_markers] : []);
  45. el('editor-note').textContent = currentStep === 0 ? 'Подчёркнуты совпадения с правилами сканера. Перейдите к правке.' : currentStep === 1 ? c.edit : c.check;
  46. el('screen-status').textContent = currentStep === 2 ? `БАЛЛ ${before.score} → ${after.score} / СВЕРКА ВРУЧНУЮ` : 'УЧЕБНЫЙ ПРИМЕР / ' + (currentStep === 0 ? 'ИСХОДНИК' : 'ПРАВКА');
  47. document.querySelectorAll('[data-case]').forEach(b => b.setAttribute('aria-pressed', String(Number(b.dataset.case) === currentCase)));
  48. document.querySelectorAll('[data-step]').forEach(b => b.setAttribute('aria-pressed', String(Number(b.dataset.step) === currentStep)));
  49. }
  50. document.querySelectorAll('[data-case]').forEach(b => b.addEventListener('click', () => { currentCase = Number(b.dataset.case); currentStep = 0; renderStory(); }));
  51. document.querySelectorAll('[data-step]').forEach(b => b.addEventListener('click', () => { currentStep = Number(b.dataset.step); renderStory(); }));
  52. renderStory();
  53. const input = el('audit-input'), genre = el('genre'), afterInput = el('after-input');
  54. let reportText = '';
  55. let toastTimer;
  56. let scanTimer;
  57. let spans = [];
  58. const H = humanizerHints;
  59. function toast(message) { el('toast').textContent = message; el('toast').hidden = false; window.clearTimeout(toastTimer); toastTimer = window.setTimeout(() => el('toast').hidden = true, 3500); }
  60. async function copy(text) { try {
  61. await navigator.clipboard.writeText(text);
  62. toast('Скопировано.');
  63. }
  64. catch {
  65. toast('Не удалось скопировать. Выделите текст и скопируйте вручную.');
  66. } }
  67. const russian = (text) => humanizerIsRussian(text);
  68. function showPanel(which) { el('empty-result').hidden = which !== 'empty'; el('lang-note').hidden = which !== 'lang'; el('result-content').hidden = which !== 'result'; }
  69. function invalidate() { reportText = ''; el('char-count').textContent = `${input.value.length.toLocaleString('ru-RU')} / 30 000`; el('compare-result').textContent = ''; }
  70. // Проверка сама: сразу после вставки и через полсекунды после набора, как на странице-инструменте.
  71. function schedule(delay) { window.clearTimeout(scanTimer); scanTimer = window.setTimeout(() => scan(false), delay); }
  72. input.addEventListener('input', () => { invalidate(); schedule(500); });
  73. input.addEventListener('paste', () => schedule(0));
  74. genre.addEventListener('change', () => { invalidate(); if (input.value.trim())
  75. scan(false); });
  76. afterInput.addEventListener('input', () => el('compare-result').textContent = '');
  77. // Края подсветки тянем до границы слова только для показа: счёт не меняется.
  78. const wordEnd = (text, b) => { while (b < text.length && /[\p{L}\p{M}]/u.test(text[b]))
  79. b++; return b; };
  80. function collectSpans(text, r) {
  81. const all = [];
  82. for (const h of r.effective_bans)
  83. for (const [a, b] of h.positions)
  84. all.push({ a, b: wordEnd(text, b), kind: 'ban', cat: '', name: h.name });
  85. for (const h of r.muted_markers)
  86. for (const [a, b] of h.positions)
  87. all.push({ a, b: wordEnd(text, b), kind: 'mk', cat: h.category, name: h.name });
  88. all.sort((x, y) => x.a - y.a || (x.kind === 'ban' ? -1 : 1));
  89. const out = [];
  90. let pos = 0;
  91. for (const s of all) {
  92. if (s.a < pos || s.b > text.length)
  93. continue;
  94. out.push(s);
  95. pos = s.b;
  96. }
  97. return out;
  98. }
  99. const spanTitle = (s) => H.ruleName(s.kind === 'ban' ? s.name : `${s.cat}: ${s.name}`);
  100. // Подчёркивание нажимается: под текстом появляется правило и что с ним сделать.
  101. function markInteractive(target, text, list) {
  102. target.replaceChildren();
  103. let position = 0;
  104. list.forEach((s, i) => { target.append(document.createTextNode(text.slice(position, s.a))); const mark = document.createElement('mark'); mark.className = s.kind; mark.tabIndex = 0; mark.setAttribute('role', 'button'); mark.setAttribute('aria-pressed', 'false'); mark.dataset.i = String(i); mark.setAttribute('aria-label', `${H.kindLabel(s.kind)}: ${spanTitle(s)}`); mark.textContent = text.slice(s.a, s.b); target.append(mark); position = s.b; });
  105. target.append(document.createTextNode(text.slice(position)));
  106. }
  107. function showHint(mark) {
  108. const s = spans[Number(mark.dataset.i)], hint = el('mark-hint');
  109. if (!s)
  110. return;
  111. const pressed = mark.getAttribute('aria-pressed') === 'true';
  112. el('highlighted-text').querySelectorAll('mark[aria-pressed="true"]').forEach(m => m.setAttribute('aria-pressed', 'false'));
  113. if (pressed) {
  114. hint.hidden = true;
  115. return;
  116. }
  117. mark.setAttribute('aria-pressed', 'true');
  118. hint.replaceChildren();
  119. const b = document.createElement('b');
  120. b.className = s.kind;
  121. b.textContent = `${H.kindLabel(s.kind)}, ${spanTitle(s)}.`;
  122. hint.append(b, document.createTextNode(' ' + H.hintFor(s.kind, s.cat, s.name)));
  123. hint.hidden = false;
  124. }
  125. el('highlighted-text').addEventListener('click', e => { const m = e.target.closest('mark'); if (m)
  126. showHint(m); });
  127. el('highlighted-text').addEventListener('keydown', e => { const m = e.target.closest('mark'); if (!m)
  128. return; if (e.key === 'Enter' || e.key === ' ') {
  129. e.preventDefault();
  130. showHint(m);
  131. } if (e.key === 'Escape') {
  132. m.setAttribute('aria-pressed', 'false');
  133. el('mark-hint').hidden = true;
  134. } });
  135. function scan(manual = true) {
  136. window.clearTimeout(scanTimer);
  137. const text = input.value;
  138. if (!text.trim()) {
  139. showPanel('empty');
  140. if (manual) {
  141. toast('Сначала вставьте текст.');
  142. input.focus();
  143. }
  144. return;
  145. }
  146. // Не русский текст: балла нет, иначе английский абзац получил бы 100 «чисто».
  147. if (!russian(text)) {
  148. reportText = '';
  149. el('lang-note').textContent = H.NOT_RUSSIAN;
  150. showPanel('lang');
  151. return;
  152. }
  153. try {
  154. const r = humanizerScan(text, genre.value);
  155. showPanel('result');
  156. el('scan-score').textContent = String(r.score);
  157. const bandKey = H.bandOf(r), band = el('score-band');
  158. band.textContent = bandKey === 'good' ? 'МАЛО МАРКЕРОВ' : bandKey === 'warn' ? 'ЕСТЬ ЧТО ПОПРАВИТЬ' : 'МНОГО МАРКЕРОВ';
  159. band.dataset.band = bandKey === 'warn' ? 'mid' : bandKey;
  160. spans = collectSpans(text, r);
  161. const groups = new Map();
  162. for (const s of spans) {
  163. const key = s.kind + '|' + s.cat + '|' + s.name;
  164. const g = groups.get(key);
  165. if (g)
  166. g.n++;
  167. else
  168. groups.set(key, { s, n: 1 });
  169. }
  170. const unique = [...groups.values()].sort((x, y) => x.s.kind === y.s.kind ? x.s.a - y.s.a : x.s.kind === 'ban' ? -1 : 1);
  171. el('scan-summary').textContent = unique.length ? `Найдено правил с совпадениями: ${unique.length}. Нажмите на подчёркнутое, чтобы увидеть подсказку.` : 'Совпадений с лексическими правилами нет. Прочитайте текст целиком: смысл и польза не измеряются этим баллом.';
  172. el('scan-next').textContent = H.nextLine(bandKey, spans.length > 0, r);
  173. markInteractive(el('highlighted-text'), text, spans);
  174. el('mark-hint').hidden = true;
  175. el('mark-legend').hidden = !spans.length;
  176. const list = el('findings');
  177. list.replaceChildren();
  178. for (const { s, n } of unique.slice(0, 12)) {
  179. const li = document.createElement('li');
  180. li.className = s.kind;
  181. const b = document.createElement('b');
  182. b.textContent = spanTitle(s) + (n > 1 ? ` ×${n}` : '');
  183. li.append(b, document.createTextNode('. ' + H.hintFor(s.kind, s.cat, s.name)));
  184. list.append(li);
  185. }
  186. if (unique.length > 12) {
  187. const li = document.createElement('li');
  188. li.textContent = `Ещё правил с совпадениями: ${unique.length - 12}. Полный список в скопированном отчёте и в полном разборе.`;
  189. list.append(li);
  190. }
  191. if (r.penalties.length) {
  192. for (const p of r.penalties.filter(p => !/^хард-баны|^маркеры/.test(p.reason))) {
  193. const li = document.createElement('li');
  194. li.textContent = `${H.penaltyCategory(p.reason)}: ${H.humanReason(p.reason)}, ${p.points}.`;
  195. list.append(li);
  196. }
  197. }
  198. const gap = H.unmeasuredLine(r);
  199. reportText = `humanizer-ru / жанр: ${genre.selectedOptions[0].textContent}\nЧистота: ${r.score}/100\n` + unique.map(({ s, n }) => `${spanTitle(s)}: ${n}`).join('\n') + '\nШтрафы:\n' + r.penalties.map(p => `${H.humanReason(p.reason)}: ${p.points}`).join('\n') + (gap ? '\n' + gap : '') + '\nБалл не определяет авторство и не подтверждает сохранение смысла.';
  200. }
  201. catch {
  202. toast('Сканер не запустился. Обновите страницу или используйте CLI.');
  203. }
  204. }
  205. el('scan-button').addEventListener('click', () => scan(true));
  206. input.addEventListener('keydown', e => { if ((e.ctrlKey || e.metaKey) && e.key === 'Enter')
  207. scan(true); });
  208. el('load-example').addEventListener('click', () => { input.value = cases[currentCase].before; genre.value = cases[currentCase].genre; invalidate(); scan(true); });
  209. el('clear-button').addEventListener('click', () => { input.value = ''; afterInput.value = ''; invalidate(); showPanel('empty'); input.focus(); });
  210. el('copy-report').addEventListener('click', () => { if (reportText)
  211. void copy(reportText); });
  212. // «Полный разбор» открывает тот же текст на странице-инструменте: черновик
  213. // кладётся в localStorage этого браузера по явному клику, как там же делает «Очистить».
  214. el('full-review').addEventListener('click', () => { if (!input.value.trim())
  215. return; try {
  216. localStorage.setItem('humanizer-ru:draft', JSON.stringify({ text: input.value, genre: genre.value === 'marketing' ? '' : genre.value, after: afterInput.value }));
  217. }
  218. catch { /* хранилище закрыто: страница откроется пустой */ } });
  219. // Полная проверка фактов из facts.js (числа, имена, месяцы, ссылки, кванторы), как в расширении; без неё только числа.
  220. function factsOf(before, after) {
  221. if (typeof humanizerFacts !== 'undefined' && humanizerFacts)
  222. return humanizerFacts.factsDiff(before, after);
  223. const x = humanizerNumericFacts(before), y = humanizerNumericFacts(after);
  224. return { lost: [...x].filter(([k]) => !y.has(k)).map(([, v]) => v), added: [...y].filter(([k]) => !x.has(k)).map(([, v]) => v), claimsAdded: [], kept: [...x].filter(([k]) => y.has(k)).length, total: x.size };
  225. }
  226. el('compare-button').addEventListener('click', () => {
  227. if (!input.value.trim() || !afterInput.value.trim()) {
  228. el('compare-result').textContent = 'Для сравнения нужны исходник и правка.';
  229. return;
  230. }
  231. if (!russian(input.value) || !russian(afterInput.value)) {
  232. el('compare-result').textContent = 'Обе версии должны быть на русском языке.';
  233. return;
  234. }
  235. const a = humanizerScan(input.value, genre.value), b = humanizerScan(afterInput.value, genre.value), fd = factsOf(input.value, afterInput.value), lost = fd.lost, added = [...fd.added, ...fd.claimsAdded];
  236. el('compare-result').textContent = `Чистота: ${a.score} → ${b.score}/100.\n` + (lost.length ? `Пропало: ${[...new Set(lost)].join('; ')}.\n` : '') + (added.length ? `Появилось: ${[...new Set(added)].join('; ')}.\n` : '') + (!lost.length && !added.length ? 'В числах, именах, датах и ссылках различий не найдено.\n' : 'Проверьте, намеренно ли изменены значения.\n') + 'Сохранение смысла не проверено. Сверьте, к чему относятся числа, и не пропали ли условия.';
  237. });
  238. const installs = {
  239. skill: { label: 'ОДНА КОМАНДА', title: 'Добавьте скилл своему агенту.', description: 'Установщик предложит доступные агенты и место установки. Нужен Node.js с npx.', command: 'npx skills add ilyautov/humanizer-ru', task: '«Отредактируй этот текст. Убери канцелярит, сохрани факты, оговорки и мой тон».' },
  240. claude: { label: 'CLAUDE CODE / PLUGIN', title: 'Установите через marketplace.', description: 'Выполните обе команды внутри Claude Code. Скилл будет доступен в среде агента.', command: '/plugin marketplace add ilyautov/humanizer-ru\n/plugin install humanizer-ru@ilyautov-plugins', task: '«Проверь этот текст: покажи, что мешает читать. Пока ничего не переписывай».' },
  241. cli: { label: 'PYTHON / CLI + MCP', title: 'Проверка из терминала.', description: 'Для команд нужен uv. Первая проверяет файл; вторая запускает MCP-сервер для подключения из клиента.', command: 'uvx ru-humanizer text.txt\nuvx ru-humanizer mcp', task: 'Для сверки своей правки: uvx ru-humanizer after.txt --before before.txt. Подробности подключения MCP есть в README.' },
  242. browser: { label: 'CHROME / РАСШИРЕНИЕ', title: 'Проверяйте текст на странице.', description: 'Установите расширение из Chrome Web Store. Выделите русский текст и выберите проверку в контекстном меню.', command: '', task: 'Расширение показывает балл и найденные обороты. Переписать текст можно вручную или с помощью скилла в агенте.' }
  243. };
  244. let installKey = 'skill';
  245. document.querySelectorAll('[data-install]').forEach(button => button.addEventListener('click', () => { installKey = button.dataset.install || 'skill'; const item = installs[installKey]; el('install-label').textContent = item.label; el('install-title').textContent = item.title; el('install-description').textContent = item.description; el('install-command').textContent = item.command; el('first-task').textContent = item.task; el('command-box').hidden = !item.command; el('install-external').hidden = Boolean(item.command); document.querySelectorAll('[data-install]').forEach(b => b.setAttribute('aria-pressed', String(b === button))); }));
  246. el('copy-command').addEventListener('click', () => void copy(installs[installKey].command));
  247. const motion = matchMedia('(prefers-reduced-motion: reduce)'), desktop = matchMedia('(min-width: 761px)');
  248. let scheduled = false;
  249. function updateTilt() { scheduled = false; const consoleEl = el('console'); if (motion.matches || !desktop.matches) {
  250. consoleEl.style.transform = 'none';
  251. return;
  252. } const box = el('story').getBoundingClientRect(), progress = Math.min(1, Math.max(0, (innerHeight - box.top) / (innerHeight + box.height))); consoleEl.style.transform = `rotateY(${-7 + progress * 11}deg) rotateX(${7 - progress * 10}deg) rotateZ(${2 - progress * 3}deg)`; }
  253. function queueTilt() { if (!scheduled) {
  254. scheduled = true;
  255. requestAnimationFrame(updateTilt);
  256. } }
  257. addEventListener('scroll', queueTilt, { passive: true });
  258. addEventListener('resize', queueTilt, { passive: true });
  259. motion.addEventListener('change', queueTilt);
  260. desktop.addEventListener('change', queueTilt);
  261. queueTilt();
  262. })();
docs/workshop.ts · Bundled script · 115 lines
  1. interface Finding {category:string;name:string;count:number;positions:[number,number][]}
  2. interface ScanReport {score:number;band:string;words:number;effective_bans:Finding[];muted_markers:Finding[];penalties:{reason:string;points:number}[];unmeasured?:{name:string;max_points:number}[]}
  3. declare function humanizerScan(text:string,genre:string):ScanReport;
  4. declare function humanizerIsRussian(text:string):boolean;
  5. // hints.js: подсказки к находкам, общие с /proverit-tekst-na-neyroset.html и расширением.
  6. interface Hints {NOT_RUSSIAN:string;hintFor(kind:string,cat:string,name:string):string;kindLabel(kind:string):string;ruleName(name:string):string;bandOf(r:ScanReport):'good'|'warn'|'bad';nextLine(band:string,hasSpans:boolean,r:ScanReport):string;humanReason(reason:string):string;penaltyCategory(reason:string):string;unmeasuredLine(r:ScanReport):string}
  7. declare const humanizerHints:Hints;
  8. interface Span {a:number;b:number;kind:'ban'|'mk';cat:string;name:string}
  9. declare function humanizerNumericFacts(text:string):Map<string,string>;
  10. interface FactsDiff {lost:string[];added:string[];claimsAdded:string[];kept:number;total:number}
  11. declare const humanizerFacts:{factsDiff(before:string,after:string):FactsDiff}|undefined;
  12. (() => {
  13. const el=<T extends HTMLElement=HTMLElement>(id:string):T=>{const node=document.getElementById(id);if(!node)throw new Error(`Missing element ${id}`);return node as T;};
  14. const cases=[
  15. {label:'ПОСТ ДЛЯ БЛОГА',genre:'marketing',before:'Стоит отметить, что данный инструмент помогает редактору находить канцелярит. Проверка занимает около двух минут. Результат нужно перечитать.',after:'Этот инструмент помогает редактору находить канцелярит. Проверка занимает около двух минут. Результат нужно перечитать.',edit:'Убрали пустую подводку. «Данный» заменили на «этот». Остальной текст не трогали.',check:'«Около двух минут» осталось приблизительной оценкой. Просьба перечитать результат сохранена.'},
  16. {label:'ПИСЬМО КЛИЕНТУ',genre:'marketing',before:'В связи с этим просим вас осуществить проверку документов до 15 октября. Стоит отметить, что без подписи мы не сможем отправить заявку.',after:'Просим вас проверить документы до 15 октября. Без подписи мы не сможем отправить заявку.',edit:'«Осуществить проверку» заменили глаголом. Сняли вводные обороты, сохранили просьбу.',check:'Срок 15 октября и условие отправки заявки на месте. Вежливая форма обращения сохранена.'},
  17. {label:'ОПИСАНИЕ ПРОДУКТА',genre:'marketing',before:'Данный сервис может уменьшить число возвратов, если в карточке товара есть точные размеры. Стоимость начинается от 1500 рублей в месяц.',after:'Этот сервис может уменьшить число возвратов, если в карточке товара есть точные размеры. Стоимость начинается от 1500 рублей в месяц.',edit:'Заменили только «данный». Полезную оговорку нельзя убирать ради более уверенного тона.',check:'«Может», условие про размеры и «от 1500 рублей в месяц» сохранены. Возможность не стала гарантией.'}
  18. ];
  19. let currentCase=0,currentStep=0;
  20. const stageTitles=['Сначала найдём лишнее.','Теперь снимем оболочку.','И перечитаем рядом с исходником.'];
  21. const stageNotes=['Сканер отмечает обороты. Решение о правке зависит от смысла и жанра.','Меняем конкретные места. Всё, что уже работает, оставляем.','Сверяем утверждения, числа, условия и голос. Одного балла для этого мало.'];
  22. // Подсветка в учебном пульте: без подсказок, только место оборота.
  23. function markText(target:HTMLElement,text:string,findings:Finding[]){
  24. const ranges=findings.flatMap(f=>f.positions).filter(([a,b])=>a>=0&&b>a&&b<=text.length).sort((a,b)=>a[0]-b[0]);const merged:[number,number][]=[];
  25. for(const [a,b] of ranges){const last=merged[merged.length-1];if(last&&a<=last[1])last[1]=Math.max(last[1],b);else merged.push([a,b]);}
  26. target.replaceChildren();let position=0;for(const [a,b] of merged){target.append(document.createTextNode(text.slice(position,a)));const mark=document.createElement('mark');mark.textContent=text.slice(a,b);target.append(mark);position=b;}target.append(document.createTextNode(text.slice(position)));
  27. }
  28. function renderStory(){
  29. const c=cases[currentCase],text=currentStep===0?c.before:c.after,before=humanizerScan(c.before,c.genre),after=humanizerScan(c.after,c.genre),r=currentStep===0?before:after;
  30. el('case-label').textContent=c.label+' / '+(currentStep===0?'ЧЕРНОВИК':'ПРАВКА');el('page-label').textContent='ЛИСТ 0'+(currentCase+1);
  31. el('stage-label').textContent=['01 / ДИАГНОСТИКА','02 / ЛОКАЛЬНАЯ ПРАВКА','03 / СВЕРКА С ИСХОДНИКОМ'][currentStep];el('stage-title').textContent=stageTitles[currentStep];el('stage-note').textContent=stageNotes[currentStep];
  32. el('screen-title').textContent=['Где текст буксует','Читается проще','Что мы сохранили'][currentStep];el('story-score').textContent=String(r.score);
  33. markText(el('story-text'),text,currentStep===0?[...r.effective_bans,...r.muted_markers]:[]);
  34. el('editor-note').textContent=currentStep===0?'Подчёркнуты совпадения с правилами сканера. Перейдите к правке.':currentStep===1?c.edit:c.check;
  35. el('screen-status').textContent=currentStep===2?`БАЛЛ ${before.score} → ${after.score} / СВЕРКА ВРУЧНУЮ`:'УЧЕБНЫЙ ПРИМЕР / '+(currentStep===0?'ИСХОДНИК':'ПРАВКА');
  36. document.querySelectorAll<HTMLButtonElement>('[data-case]').forEach(b=>b.setAttribute('aria-pressed',String(Number(b.dataset.case)===currentCase)));document.querySelectorAll<HTMLButtonElement>('[data-step]').forEach(b=>b.setAttribute('aria-pressed',String(Number(b.dataset.step)===currentStep)));
  37. }
  38. document.querySelectorAll<HTMLButtonElement>('[data-case]').forEach(b=>b.addEventListener('click',()=>{currentCase=Number(b.dataset.case);currentStep=0;renderStory();}));document.querySelectorAll<HTMLButtonElement>('[data-step]').forEach(b=>b.addEventListener('click',()=>{currentStep=Number(b.dataset.step);renderStory();}));renderStory();
  39. const input=el<HTMLTextAreaElement>('audit-input'),genre=el<HTMLSelectElement>('genre'),afterInput=el<HTMLTextAreaElement>('after-input');let reportText='';let toastTimer:number|undefined;let scanTimer:number|undefined;let spans:Span[]=[];
  40. const H=humanizerHints;
  41. function toast(message:string){el('toast').textContent=message;el('toast').hidden=false;window.clearTimeout(toastTimer);toastTimer=window.setTimeout(()=>el('toast').hidden=true,3500);}
  42. async function copy(text:string){try{await navigator.clipboard.writeText(text);toast('Скопировано.');}catch{toast('Не удалось скопировать. Выделите текст и скопируйте вручную.');}}
  43. const russian=(text:string)=>humanizerIsRussian(text);
  44. function showPanel(which:'empty'|'lang'|'result'){el('empty-result').hidden=which!=='empty';el('lang-note').hidden=which!=='lang';el('result-content').hidden=which!=='result';}
  45. function invalidate(){reportText='';el('char-count').textContent=`${input.value.length.toLocaleString('ru-RU')} / 30 000`;el('compare-result').textContent='';}
  46. // Проверка сама: сразу после вставки и через полсекунды после набора, как на странице-инструменте.
  47. function schedule(delay:number){window.clearTimeout(scanTimer);scanTimer=window.setTimeout(()=>scan(false),delay);}
  48. input.addEventListener('input',()=>{invalidate();schedule(500);});input.addEventListener('paste',()=>schedule(0));genre.addEventListener('change',()=>{invalidate();if(input.value.trim())scan(false);});afterInput.addEventListener('input',()=>el('compare-result').textContent='');
  49. // Края подсветки тянем до границы слова только для показа: счёт не меняется.
  50. const wordEnd=(text:string,b:number)=>{while(b<text.length&&/[\p{L}\p{M}]/u.test(text[b]))b++;return b;};
  51. function collectSpans(text:string,r:ScanReport):Span[]{
  52. const all:Span[]=[];for(const h of r.effective_bans)for(const [a,b] of h.positions)all.push({a,b:wordEnd(text,b),kind:'ban',cat:'',name:h.name});for(const h of r.muted_markers)for(const [a,b] of h.positions)all.push({a,b:wordEnd(text,b),kind:'mk',cat:h.category,name:h.name});
  53. all.sort((x,y)=>x.a-y.a||(x.kind==='ban'?-1:1));const out:Span[]=[];let pos=0;for(const s of all){if(s.a<pos||s.b>text.length)continue;out.push(s);pos=s.b;}return out;
  54. }
  55. const spanTitle=(s:Span)=>H.ruleName(s.kind==='ban'?s.name:`${s.cat}: ${s.name}`);
  56. // Подчёркивание нажимается: под текстом появляется правило и что с ним сделать.
  57. function markInteractive(target:HTMLElement,text:string,list:Span[]){
  58. target.replaceChildren();let position=0;list.forEach((s,i)=>{target.append(document.createTextNode(text.slice(position,s.a)));const mark=document.createElement('mark');mark.className=s.kind;mark.tabIndex=0;mark.setAttribute('role','button');mark.setAttribute('aria-pressed','false');mark.dataset.i=String(i);mark.setAttribute('aria-label',`${H.kindLabel(s.kind)}: ${spanTitle(s)}`);mark.textContent=text.slice(s.a,s.b);target.append(mark);position=s.b;});target.append(document.createTextNode(text.slice(position)));
  59. }
  60. function showHint(mark:HTMLElement){
  61. const s=spans[Number(mark.dataset.i)],hint=el('mark-hint');if(!s)return;const pressed=mark.getAttribute('aria-pressed')==='true';
  62. el('highlighted-text').querySelectorAll('mark[aria-pressed="true"]').forEach(m=>m.setAttribute('aria-pressed','false'));if(pressed){hint.hidden=true;return;}
  63. mark.setAttribute('aria-pressed','true');hint.replaceChildren();const b=document.createElement('b');b.className=s.kind;b.textContent=`${H.kindLabel(s.kind)}, ${spanTitle(s)}.`;hint.append(b,document.createTextNode(' '+H.hintFor(s.kind,s.cat,s.name)));hint.hidden=false;
  64. }
  65. el('highlighted-text').addEventListener('click',e=>{const m=(e.target as HTMLElement).closest('mark');if(m)showHint(m as HTMLElement);});
  66. el('highlighted-text').addEventListener('keydown',e=>{const m=(e.target as HTMLElement).closest('mark') as HTMLElement|null;if(!m)return;if(e.key==='Enter'||e.key===' '){e.preventDefault();showHint(m);}if(e.key==='Escape'){m.setAttribute('aria-pressed','false');el('mark-hint').hidden=true;}});
  67. function scan(manual=true){
  68. window.clearTimeout(scanTimer);const text=input.value;
  69. if(!text.trim()){showPanel('empty');if(manual){toast('Сначала вставьте текст.');input.focus();}return;}
  70. // Не русский текст: балла нет, иначе английский абзац получил бы 100 «чисто».
  71. if(!russian(text)){reportText='';el('lang-note').textContent=H.NOT_RUSSIAN;showPanel('lang');return;}
  72. try{
  73. const r=humanizerScan(text,genre.value);showPanel('result');el('scan-score').textContent=String(r.score);
  74. const bandKey=H.bandOf(r),band=el('score-band');band.textContent=bandKey==='good'?'МАЛО МАРКЕРОВ':bandKey==='warn'?'ЕСТЬ ЧТО ПОПРАВИТЬ':'МНОГО МАРКЕРОВ';band.dataset.band=bandKey==='warn'?'mid':bandKey;
  75. spans=collectSpans(text,r);
  76. const groups=new Map<string,{s:Span;n:number}>();for(const s of spans){const key=s.kind+'|'+s.cat+'|'+s.name;const g=groups.get(key);if(g)g.n++;else groups.set(key,{s,n:1});}
  77. const unique=[...groups.values()].sort((x,y)=>x.s.kind===y.s.kind?x.s.a-y.s.a:x.s.kind==='ban'?-1:1);
  78. el('scan-summary').textContent=unique.length?`Найдено правил с совпадениями: ${unique.length}. Нажмите на подчёркнутое, чтобы увидеть подсказку.`:'Совпадений с лексическими правилами нет. Прочитайте текст целиком: смысл и польза не измеряются этим баллом.';
  79. el('scan-next').textContent=H.nextLine(bandKey,spans.length>0,r);
  80. markInteractive(el('highlighted-text'),text,spans);el('mark-hint').hidden=true;el('mark-legend').hidden=!spans.length;
  81. const list=el('findings');list.replaceChildren();
  82. for(const {s,n} of unique.slice(0,12)){const li=document.createElement('li');li.className=s.kind;const b=document.createElement('b');b.textContent=spanTitle(s)+(n>1?` ×${n}`:'');li.append(b,document.createTextNode('. '+H.hintFor(s.kind,s.cat,s.name)));list.append(li);}
  83. if(unique.length>12){const li=document.createElement('li');li.textContent=`Ещё правил с совпадениями: ${unique.length-12}. Полный список в скопированном отчёте и в полном разборе.`;list.append(li);}
  84. if(r.penalties.length){for(const p of r.penalties.filter(p=>!/^хард-баны|^маркеры/.test(p.reason))){const li=document.createElement('li');li.textContent=`${H.penaltyCategory(p.reason)}: ${H.humanReason(p.reason)}, ${p.points}.`;list.append(li);}}
  85. const gap=H.unmeasuredLine(r);
  86. reportText=`humanizer-ru / жанр: ${genre.selectedOptions[0].textContent}\nЧистота: ${r.score}/100\n`+unique.map(({s,n})=>`${spanTitle(s)}: ${n}`).join('\n')+'\nШтрафы:\n'+r.penalties.map(p=>`${H.humanReason(p.reason)}: ${p.points}`).join('\n')+(gap?'\n'+gap:'')+'\nБалл не определяет авторство и не подтверждает сохранение смысла.';
  87. }catch{toast('Сканер не запустился. Обновите страницу или используйте CLI.');}
  88. }
  89. el('scan-button').addEventListener('click',()=>scan(true));input.addEventListener('keydown',e=>{if((e.ctrlKey||e.metaKey)&&e.key==='Enter')scan(true);});el('load-example').addEventListener('click',()=>{input.value=cases[currentCase].before;genre.value=cases[currentCase].genre;invalidate();scan(true);});el('clear-button').addEventListener('click',()=>{input.value='';afterInput.value='';invalidate();showPanel('empty');input.focus();});el('copy-report').addEventListener('click',()=>{if(reportText)void copy(reportText);});
  90. // «Полный разбор» открывает тот же текст на странице-инструменте: черновик
  91. // кладётся в localStorage этого браузера по явному клику, как там же делает «Очистить».
  92. el('full-review').addEventListener('click',()=>{if(!input.value.trim())return;try{localStorage.setItem('humanizer-ru:draft',JSON.stringify({text:input.value,genre:genre.value==='marketing'?'':genre.value,after:afterInput.value}));}catch{/* хранилище закрыто: страница откроется пустой */}});
  93. // Полная проверка фактов из facts.js (числа, имена, месяцы, ссылки, кванторы), как в расширении; без неё только числа.
  94. function factsOf(before:string,after:string):FactsDiff{
  95. if(typeof humanizerFacts!=='undefined'&&humanizerFacts)return humanizerFacts.factsDiff(before,after);
  96. const x=humanizerNumericFacts(before),y=humanizerNumericFacts(after);
  97. return {lost:[...x].filter(([k])=>!y.has(k)).map(([,v])=>v),added:[...y].filter(([k])=>!x.has(k)).map(([,v])=>v),claimsAdded:[],kept:[...x].filter(([k])=>y.has(k)).length,total:x.size};
  98. }
  99. el('compare-button').addEventListener('click',()=>{
  100. if(!input.value.trim()||!afterInput.value.trim()){el('compare-result').textContent='Для сравнения нужны исходник и правка.';return;}if(!russian(input.value)||!russian(afterInput.value)){el('compare-result').textContent='Обе версии должны быть на русском языке.';return;}
  101. const a=humanizerScan(input.value,genre.value),b=humanizerScan(afterInput.value,genre.value),fd=factsOf(input.value,afterInput.value),lost=fd.lost,added=[...fd.added,...fd.claimsAdded];
  102. el('compare-result').textContent=`Чистота: ${a.score} → ${b.score}/100.\n`+(lost.length?`Пропало: ${[...new Set(lost)].join('; ')}.\n`:'')+(added.length?`Появилось: ${[...new Set(added)].join('; ')}.\n`:'')+(!lost.length&&!added.length?'В числах, именах, датах и ссылках различий не найдено.\n':'Проверьте, намеренно ли изменены значения.\n')+'Сохранение смысла не проверено. Сверьте, к чему относятся числа, и не пропали ли условия.';
  103. });
  104. const installs:Record<string,{label:string;title:string;description:string;command:string;task:string}>={
  105. skill:{label:'ОДНА КОМАНДА',title:'Добавьте скилл своему агенту.',description:'Установщик предложит доступные агенты и место установки. Нужен Node.js с npx.',command:'npx skills add ilyautov/humanizer-ru',task:'«Отредактируй этот текст. Убери канцелярит, сохрани факты, оговорки и мой тон».'},
  106. claude:{label:'CLAUDE CODE / PLUGIN',title:'Установите через marketplace.',description:'Выполните обе команды внутри Claude Code. Скилл будет доступен в среде агента.',command:'/plugin marketplace add ilyautov/humanizer-ru\n/plugin install humanizer-ru@ilyautov-plugins',task:'«Проверь этот текст: покажи, что мешает читать. Пока ничего не переписывай».'},
  107. cli:{label:'PYTHON / CLI + MCP',title:'Проверка из терминала.',description:'Для команд нужен uv. Первая проверяет файл; вторая запускает MCP-сервер для подключения из клиента.',command:'uvx ru-humanizer text.txt\nuvx ru-humanizer mcp',task:'Для сверки своей правки: uvx ru-humanizer after.txt --before before.txt. Подробности подключения MCP есть в README.'},
  108. browser:{label:'CHROME / РАСШИРЕНИЕ',title:'Проверяйте текст на странице.',description:'Установите расширение из Chrome Web Store. Выделите русский текст и выберите проверку в контекстном меню.',command:'',task:'Расширение показывает балл и найденные обороты. Переписать текст можно вручную или с помощью скилла в агенте.'}
  109. };
  110. let installKey='skill';document.querySelectorAll<HTMLButtonElement>('[data-install]').forEach(button=>button.addEventListener('click',()=>{installKey=button.dataset.install||'skill';const item=installs[installKey];el('install-label').textContent=item.label;el('install-title').textContent=item.title;el('install-description').textContent=item.description;el('install-command').textContent=item.command;el('first-task').textContent=item.task;el('command-box').hidden=!item.command;el('install-external').hidden=Boolean(item.command);document.querySelectorAll<HTMLButtonElement>('[data-install]').forEach(b=>b.setAttribute('aria-pressed',String(b===button)));}));el('copy-command').addEventListener('click',()=>void copy(installs[installKey].command));
  111. const motion=matchMedia('(prefers-reduced-motion: reduce)'),desktop=matchMedia('(min-width: 761px)');let scheduled=false;
  112. function updateTilt(){scheduled=false;const consoleEl=el('console');if(motion.matches||!desktop.matches){consoleEl.style.transform='none';return;}const box=el('story').getBoundingClientRect(),progress=Math.min(1,Math.max(0,(innerHeight-box.top)/(innerHeight+box.height)));consoleEl.style.transform=`rotateY(${-7+progress*11}deg) rotateX(${7-progress*10}deg) rotateZ(${2-progress*3}deg)`;}
  113. function queueTilt(){if(!scheduled){scheduled=true;requestAnimationFrame(updateTilt);}}
  114. addEventListener('scroll',queueTilt,{passive:true});addEventListener('resize',queueTilt,{passive:true});motion.addEventListener('change',queueTilt);desktop.addEventListener('change',queueTilt);queueTilt();
  115. })();
eval/ainl_calibration.py · Bundled script · 170 lines
  1. #!/usr/bin/env python3
  2. """Калибровка маркеров по внешнему размеченному корпусу AINL-Eval 2025.
  3. Зачем. Наш собственный корпус это десятки текстов, и человеческий контроль в
  4. нём маленький. AINL-Eval 2025 (shared task конференции AINL) даёт 35 158
  5. русских научных аннотаций с разметкой по автору: `human`, `gpt-4-turbo`,
  6. `gemma-2-27b`, `llama-3.3-70b`. Это первая возможность измерить ложные
  7. срабатывания каталога на человеческом русском тексте в масштабе.
  8. Что считает. Долю ДОКУМЕНТОВ с попаданием на класс для каждого HARD BAN и
  9. каждой категории быстрого сканера, плюс сводку по документам с жанровым
  10. фильтром и без. Колонка «человек» это ложные срабатывания, отношение AI к
  11. человеку это разделяющая сила маркера.
  12. Данные НЕ коммитятся. Корпус лежит в открытом репозитории организаторов, но
  13. файла лицензии там нет, поэтому скрипт скачивает его во временную папку.
  14. Машинные агрегаты пишутся в `eval/out/ainl-<split>.json` (папка в .gitignore), а в
  15. репозиторий едет только человекочитаемый отчёт `eval/AINL-CALIBRATION.md`,
  16. который обновляется руками по итогам прогона.
  17. Запуск:
  18. python eval/ainl_calibration.py # train, скачает во временную папку
  19. python eval/ainl_calibration.py --split dev # плюс класс `unknown`
  20. python eval/ainl_calibration.py --csv путь.csv # взять готовый файл
  21. python eval/ainl_calibration.py --limit 4000 # быстрый прогон на выборке
  22. Требуется сеть при первом запуске. В CI НЕ гоняется: внешний источник,
  23. несколько минут работы и 48 МБ трафика.
  24. """
  25. from __future__ import annotations
  26. import argparse
  27. import csv
  28. import json
  29. import statistics
  30. import sys
  31. import tempfile
  32. import urllib.request
  33. from collections import defaultdict
  34. from pathlib import Path
  35. ROOT = Path(__file__).resolve().parent.parent
  36. sys.path.insert(0, str(ROOT / "skills" / "humanizer-ru" / "scripts"))
  37. from humanizer_metrics.markers import ( # noqa: E402
  38. GENRE_MUTED_BANS,
  39. GENRE_MUTED_CATEGORIES,
  40. effective_hard_bans,
  41. mute_by_genre,
  42. scan_hard_bans,
  43. scan_markers,
  44. )
  45. BASE = "https://raw.githubusercontent.com/iis-research-team/AINL-Eval-2025/main/data/"
  46. # train: четыре класса, все модели известны. dev: те же плюс `unknown` — тексты
  47. # модели, которой в train нет. Это проверка на генератор, которого мы не видели.
  48. SPLITS = {"train": "train.csv", "dev": "dev_full.csv"}
  49. # В dev-выгрузке человеческий класс называется `abstract`.
  50. LABEL_ALIASES = {"abstract": "human"}
  51. OUT_TEMPLATE = "ainl-{split}.json"
  52. def load(csv_path: Path | None, limit: int | None, split: str) -> list[dict]:
  53. if csv_path is None:
  54. cache = Path(tempfile.gettempdir()) / f"ainl_{split}.csv"
  55. if not cache.exists():
  56. url = BASE + SPLITS[split]
  57. print(f"[скачиваю] {url} -> {cache}", file=sys.stderr)
  58. urllib.request.urlretrieve(url, cache) # noqa: S310 (фиксированный https-адрес)
  59. csv_path = cache
  60. csv.field_size_limit(10 ** 7)
  61. with csv_path.open(encoding="utf-8") as fh:
  62. rows = list(csv.DictReader(fh))
  63. return rows[:limit] if limit else rows
  64. def main() -> int:
  65. ap = argparse.ArgumentParser(description=__doc__)
  66. ap.add_argument("--csv", type=Path, help="локальный train.csv вместо скачивания")
  67. ap.add_argument("--limit", type=int, help="взять только первые N строк")
  68. ap.add_argument("--genre", default="academic", help="жанровый профиль для сводки")
  69. ap.add_argument("--split", choices=sorted(SPLITS), default="train",
  70. help="train (четыре класса) или dev (плюс невиданная модель `unknown`)")
  71. args = ap.parse_args()
  72. rows = load(args.csv, args.limit, args.split)
  73. labels = {LABEL_ALIASES.get(r["label"], r["label"]) for r in rows}
  74. classes = ["human"] + sorted(labels - {"human"})
  75. totals: dict[str, int] = defaultdict(int)
  76. doc_hits: dict[str, dict[str, int]] = defaultdict(lambda: defaultdict(int))
  77. strict_any: dict[str, int] = defaultdict(int)
  78. genre_any: dict[str, int] = defaultdict(int)
  79. soft_per_doc: dict[str, list[int]] = defaultdict(list)
  80. for i, row in enumerate(rows):
  81. text = row["text"]
  82. label = LABEL_ALIASES.get(row["label"], row["label"])
  83. if label not in classes:
  84. continue
  85. totals[label] += 1
  86. words = len(text.split())
  87. bans = effective_hard_bans(scan_hard_bans(text), words)
  88. for h in bans:
  89. doc_hits["БАН: " + h.marker][label] += 1
  90. if bans:
  91. strict_any[label] += 1
  92. if mute_by_genre(bans, args.genre, GENRE_MUTED_BANS):
  93. genre_any[label] += 1
  94. marks = scan_markers(text)
  95. for h in marks:
  96. doc_hits["кат: " + h.category][label] += 1
  97. soft_per_doc[label].append(
  98. sum(h.count for h in mute_by_genre(marks, args.genre, GENRE_MUTED_CATEGORIES)))
  99. if i and i % 5000 == 0:
  100. print(f" …{i}/{len(rows)}", file=sys.stderr)
  101. def rate(marker: str, cls: str) -> float:
  102. return 100.0 * doc_hits[marker][cls] / totals[cls] if totals[cls] else 0.0
  103. table = []
  104. for marker in doc_hits:
  105. human = rate(marker, "human")
  106. ai = statistics.mean(rate(marker, c) for c in classes[1:])
  107. table.append({
  108. "marker": marker,
  109. "human": round(human, 1),
  110. **{c: round(rate(marker, c), 1) for c in classes[1:]},
  111. "lift": round(ai / human, 1) if human else None,
  112. })
  113. table.sort(key=lambda r: -r["human"])
  114. # На --limit в выборку может не попасть какой-то класс: делим только там,
  115. # где документы есть.
  116. present = [c for c in classes if totals[c]]
  117. if not present:
  118. print("[ошибка] в выборке нет ни одного размеченного класса", file=sys.stderr)
  119. return 2
  120. summary = {
  121. "split": args.split,
  122. "documents": {c: totals[c] for c in present},
  123. "strict_any_ban_pct": {c: round(100.0 * strict_any[c] / totals[c], 1) for c in present},
  124. f"{args.genre}_any_ban_pct": {c: round(100.0 * genre_any[c] / totals[c], 1) for c in present},
  125. "soft_markers_per_doc": {c: round(statistics.mean(soft_per_doc[c]), 2) for c in present},
  126. }
  127. out = ROOT / "eval" / "out" / OUT_TEMPLATE.format(split=args.split)
  128. out.parent.mkdir(parents=True, exist_ok=True)
  129. out.write_text(json.dumps({"summary": summary, "markers": table},
  130. ensure_ascii=False, indent=2), encoding="utf-8")
  131. print("\nдокументов: " + ", ".join(f"{c}={totals[c]}" for c in present))
  132. print("\nдоля документов с баном:")
  133. for key in ("strict_any_ban_pct", f"{args.genre}_any_ban_pct"):
  134. print(f" {key:<26}" + " ".join(f"{c}={summary[key][c]}%" for c in present))
  135. head = f"\n{'маркер':<44}{'чел.%':>8}{'AI/чел':>8}"
  136. print(head)
  137. print("-" * (len(head) - 1))
  138. for r in table[:15]:
  139. lift = "∞" if r["lift"] is None else r["lift"]
  140. print(f"{r['marker']:<44}{r['human']:>8}{str(lift):>8}")
  141. print(f"\n[ok] агрегаты -> {out.relative_to(ROOT)}")
  142. return 0
  143. if __name__ == "__main__":
  144. raise SystemExit(main())
eval/author_profiles.py · Bundled script · 279 lines
  1. #!/usr/bin/env python3
  2. """Есть ли у автора собственный почерк, отличимый от его же шума.
  3. Зачем. Каталог целится в «человека вообще», и это работает, пока правишь один
  4. текст. На корпусе так нельзя: универсальные правила, приложенные к сотне тысяч
  5. документов, снимают отпечаток модели и ставят на его место свой, общий у всех,
  6. кто пользуется тем же каталогом. Мишенью должен быть не средний человек, а
  7. конкретный автор.
  8. Прежде чем это строить, надо проверить посылку, а она не самоочевидна:
  9. **различаются ли авторы сильнее, чем шумит один автор**. Если нет, персональная
  10. калибровка это самообман и универсального каталога достаточно.
  11. Три ловушки, из-за которых первая версия замера дала бессмысленную единицу.
  12. 1. `DELETED` это не автор. Под этим именем в дампе слиты все удалённые
  13. аккаунты, то есть десятки разных людей, и в топ по числу постов такой
  14. «автор» выходит первым. Отсеиваем по списку служебных имён.
  15. 2. Разные объёмы выборки. Между авторами считалось по полным корпусам, внутри
  16. автора по половинкам вдвое меньше. Шум оценки падает с объёмом, поэтому
  17. сравнивать так нельзя: обе величины считаются на выборках РОВНО одного
  18. размера, и обе усредняются по многим случайным разбиениям.
  19. 3. Не тот набор признаков. Частоты наших ИИ-маркеров это не почерк: на посте в
  20. 175 слов почти все они нули. Почерк живёт в служебных словах, длине
  21. предложений и пунктуации, то есть в классической стилометрии.
  22. Что считает. Для каждого автора вектор признаков (служебные слова, ритм,
  23. морфология, пунктуация), затем три величины на выборках равного размера:
  24. ВНУТРИ (случайно) два случайных куска одного автора — чистый шум оценки;
  25. ВНУТРИ (по времени) ранние посты против поздних — шум ПЛЮС развитие автора;
  26. МЕЖДУ куски разных авторов — шум плюс разница почерков.
  27. Отношение МЕЖДУ к ВНУТРИ (случайно) и есть ответ. Разница между двумя ВНУТРИ
  28. это отдельный ответ: измеренный дрейф автора во времени.
  29. Данные: дамп Пикабу (`username`, `timestamp`), корпус НЕ коммитится.
  30. Запуск:
  31. python eval/author_profiles.py --mb 1000 --authors 20 --min-posts 40
  32. python eval/author_profiles.py --report
  33. """
  34. from __future__ import annotations
  35. import argparse
  36. import json
  37. import random
  38. import re
  39. import statistics
  40. import sys
  41. import tempfile
  42. import urllib.request
  43. from collections import Counter, defaultdict
  44. from pathlib import Path
  45. ROOT = Path(__file__).resolve().parent.parent
  46. sys.path.insert(0, str(ROOT / "eval"))
  47. sys.path.insert(0, str(ROOT / "skills" / "humanizer-ru" / "scripts"))
  48. from m4_calibration import is_russian # noqa: E402
  49. from humanizer_metrics.burstiness import rhythm # noqa: E402
  50. from humanizer_metrics.morphology import morph_stats # noqa: E402
  51. DUMP = "https://huggingface.co/datasets/IlyaGusev/pikabu/resolve/main/00.jsonl.zst"
  52. OUT = ROOT / "eval" / "out" / "authors"
  53. # Служебные имена: под ними пишет не человек, а система или редакция.
  54. NOT_AUTHORS = {"DELETED", "deleted", "moderator", "admin", "Pikabu"}
  55. # Классика стилометрии: служебные слова частотны, от темы не зависят и автором
  56. # не контролируются. Именно поэтому по ним и опознают авторство.
  57. FUNCTION_WORDS = """и в не на я что он с как а то все она так его но да ты к у же вы за бы
  58. по только ее мне было вот от меня еще нет о из ему теперь когда даже ну вдруг ли если уже или
  59. ни быть был него до вас нибудь опять уж вам сказал ведь там потом себя ничего ей может они тут
  60. где есть надо ней для мы тебя их чем была сам чтоб без будто человек чего раз тоже себе под
  61. жизнь будет ж тогда кто этот того потому этого какой совсем ним здесь этом один почти мой тем
  62. чтобы нее были куда зачем всех очень""".split()
  63. _WORD_RE = re.compile(r"[а-яёА-ЯЁ]+")
  64. PUNCT = {"запятая": ",", "тире": "-", "скобка": "(", "восклицание": "!",
  65. "вопрос": "?", "многоточие": "…", "двоеточие": ":", "кавычка": "«"}
  66. def prefix_file(mb: int) -> Path:
  67. """Кусок дампа на диске: по нему нужно два прохода, качать дважды глупо."""
  68. cache = Path(tempfile.gettempdir()) / f"pikabu-{mb}mb.jsonl.zst"
  69. if not cache.exists():
  70. print(f"[скачиваю] {mb} МБ дампа -> {cache}", file=sys.stderr)
  71. req = urllib.request.Request(DUMP, headers={"Range": f"bytes=0-{mb * 10**6}"})
  72. cache.write_bytes(urllib.request.urlopen(req).read()) # noqa: S310
  73. return cache
  74. def stream_records(path: Path):
  75. """Построчно из zst-потока. Обрыв на границе куска это норма, а не ошибка."""
  76. import zstandard
  77. with path.open("rb") as fh:
  78. reader = zstandard.ZstdDecompressor().stream_reader(fh)
  79. tail = b""
  80. try:
  81. while True:
  82. chunk = reader.read(1 << 20)
  83. if not chunk:
  84. break
  85. lines = (tail + chunk).split(b"\n")
  86. tail = lines.pop()
  87. for line in lines:
  88. try:
  89. yield json.loads(line)
  90. except Exception:
  91. continue
  92. except Exception:
  93. return
  94. def usable(rec: dict, lo: int, hi: int) -> str | None:
  95. text = (rec.get("text_markdown") or "").strip()
  96. words = len(text.split())
  97. if not (lo <= words <= hi) or text.count("http") > 2 or "![" in text:
  98. return None
  99. return text if is_russian(text) else None
  100. def collect(mb: int, authors: int, min_posts: int, lo: int, hi: int) -> int:
  101. path = prefix_file(mb)
  102. counts: Counter[str] = Counter()
  103. for rec in stream_records(path):
  104. name = rec.get("username")
  105. if name and name not in NOT_AUTHORS and usable(rec, lo, hi):
  106. counts[name] += 1
  107. eligible = [(n, c) for n, c in counts.most_common() if c >= min_posts]
  108. print(f"[инфо] авторов с {min_posts}+ постами: {len(eligible)}, берём "
  109. f"{min(authors, len(eligible))}", file=sys.stderr)
  110. if len(eligible) < 2:
  111. print("[мало] увеличьте --mb или снизьте --min-posts", file=sys.stderr)
  112. return 0
  113. wanted = {n for n, _ in eligible[:authors]}
  114. by_author: dict[str, list[dict]] = defaultdict(list)
  115. for rec in stream_records(path):
  116. name = rec.get("username")
  117. if name in wanted:
  118. text = usable(rec, lo, hi)
  119. if text:
  120. by_author[name].append({"text": text, "timestamp": rec.get("timestamp"),
  121. "id": rec.get("id")})
  122. OUT.mkdir(parents=True, exist_ok=True)
  123. for old in OUT.glob("*.jsonl"):
  124. old.unlink()
  125. for name, posts in by_author.items():
  126. posts.sort(key=lambda p: p["timestamp"] or 0) # ось развития автора
  127. safe = "".join(c if c.isalnum() else "_" for c in name)[:40]
  128. (OUT / f"{safe}.jsonl").write_text(
  129. "".join(json.dumps({**p, "username": name}, ensure_ascii=False) + "\n"
  130. for p in posts), encoding="utf-8")
  131. print(f" {name}: {len(posts)} постов", file=sys.stderr)
  132. return len(by_author)
  133. def features(texts: list[str]) -> dict[str, float]:
  134. """Стилометрический вектор куска корпуса: всё на 1000 слов или в долях."""
  135. joined = "\n\n".join(texts)
  136. words = _WORD_RE.findall(joined.lower())
  137. n = max(1, len(words))
  138. freq = Counter(words)
  139. vec = {f"сл:{w}": 1000.0 * freq[w] / n for w in FUNCTION_WORDS}
  140. for name, ch in PUNCT.items():
  141. vec[f"пункт:{name}"] = 1000.0 * joined.count(ch) / n
  142. r = rhythm(joined)
  143. vec["ритм:средняя длина"] = r.mean_len
  144. vec["ритм:cv"] = 100.0 * r.cv_len
  145. vec["ритм:коротких"] = 100.0 * r.short_share
  146. vec["ритм:длинных"] = 100.0 * r.long_share
  147. m = morph_stats(joined)
  148. vec["морф:сущ/глаг"] = 10.0 * m.noun_verb_ratio
  149. vec["слово:средняя длина"] = 10.0 * statistics.mean(len(w) for w in words) if words else 0.0
  150. return vec
  151. def distance(a: dict[str, float], b: dict[str, float]) -> float:
  152. """Средняя разница по объединению признаков, в единицах самих признаков."""
  153. keys = set(a) | set(b)
  154. return statistics.mean(abs(a.get(k, 0.0) - b.get(k, 0.0)) for k in keys) if keys else 0.0
  155. def report(reps: int, seed: int) -> int:
  156. files = sorted(OUT.glob("*.jsonl")) if OUT.exists() else []
  157. corpora = {}
  158. for path in files:
  159. posts = [json.loads(s) for s in path.read_text(encoding="utf-8").splitlines() if s]
  160. if posts:
  161. corpora[posts[0]["username"]] = [p["text"] for p in posts]
  162. if len(corpora) < 2:
  163. print("[пусто] нужно минимум два автора, запустите без --report", file=sys.stderr)
  164. return 1
  165. names = sorted(corpora)
  166. # Кусок фиксированного размера везде один и тот же: иначе сравниваем не
  167. # почерки, а точность оценки на разных объёмах.
  168. k = min(len(v) for v in corpora.values()) // 2
  169. rng = random.Random(seed)
  170. print(f"[инфо] авторов: {len(names)}, кусок: {k} постов, повторов: {reps}",
  171. file=sys.stderr)
  172. within_rand: dict[str, list[float]] = defaultdict(list)
  173. between: list[float] = []
  174. for _ in range(reps):
  175. halves = {}
  176. for name in names:
  177. posts = corpora[name][:]
  178. rng.shuffle(posts)
  179. halves[name] = (features(posts[:k]), features(posts[k:2 * k]))
  180. within_rand[name].append(distance(*halves[name]))
  181. for i, a in enumerate(names):
  182. for b in names[i + 1:]:
  183. between.append(distance(halves[a][0], halves[b][0]))
  184. within_time = {}
  185. for name in names:
  186. posts = corpora[name]
  187. within_time[name] = distance(features(posts[:k]), features(posts[-k:]))
  188. print(f"\n{'автор':<26}{'постов':>8}{'шум':>9}{'дрейф':>9}")
  189. for name in names:
  190. print(f"{name[:25]:<26}{len(corpora[name]):>8}"
  191. f"{statistics.mean(within_rand[name]):>9.3f}{within_time[name]:>9.3f}")
  192. noise = statistics.mean(statistics.mean(v) for v in within_rand.values())
  193. drift = statistics.mean(within_time.values())
  194. across = statistics.mean(between)
  195. print(f"\nВНУТРИ автора, случайное разбиение (шум): {noise:>7.3f}")
  196. print(f"ВНУТРИ автора, ранние против поздних (дрейф): {drift:>7.3f}")
  197. print(f"МЕЖДУ авторами: {across:>7.3f}")
  198. print(f"\nпочерк / шум: {across / noise if noise else 0:>5.2f}")
  199. print(f"дрейф / шум: {drift / noise if noise else 0:>5.2f}")
  200. print("\nПервое отношение около единицы означает, что авторы неотличимы и\n"
  201. "персональная калибровка не товар. Второе заметно выше единицы означает,\n"
  202. "что профиль обязан быть версионным: автор пятилетней давности это\n"
  203. "другой человек по признакам.")
  204. out = ROOT / "eval" / "out" / "authors.json"
  205. out.write_text(json.dumps({
  206. "authors": {n: len(corpora[n]) for n in names},
  207. "chunk_posts": k, "reps": reps,
  208. "within_noise": round(noise, 4), "within_drift": round(drift, 4),
  209. "between_authors": round(across, 4),
  210. "style_over_noise": round(across / noise, 2) if noise else None,
  211. "drift_over_noise": round(drift / noise, 2) if noise else None,
  212. }, ensure_ascii=False, indent=2), encoding="utf-8")
  213. print(f"\n[ok] -> {out.relative_to(ROOT)}")
  214. return 0
  215. def main() -> int:
  216. ap = argparse.ArgumentParser(description=__doc__,
  217. formatter_class=argparse.RawDescriptionHelpFormatter)
  218. ap.add_argument("--mb", type=int, default=1000, help="сколько МБ дампа тянуть")
  219. ap.add_argument("--authors", type=int, default=20)
  220. ap.add_argument("--min-posts", type=int, default=40)
  221. ap.add_argument("--min-words", type=int, default=80)
  222. ap.add_argument("--max-words", type=int, default=350)
  223. ap.add_argument("--reps", type=int, default=20, help="случайных разбиений")
  224. ap.add_argument("--seed", type=int, default=17)
  225. ap.add_argument("--report", action="store_true")
  226. args = ap.parse_args()
  227. if args.report:
  228. return report(args.reps, args.seed)
  229. if not collect(args.mb, args.authors, args.min_posts, args.min_words, args.max_words):
  230. return 1
  231. return report(args.reps, args.seed)
  232. if __name__ == "__main__":
  233. raise SystemExit(main())
eval/channel_eras.py · Bundled script · 257 lines
  1. #!/usr/bin/env python3
  2. """Что менялось в живом канале: отдельно от модели, отдельно от скилла.
  3. Зачем. В канале одного автора время склеивает два фактора: версию Opus, которой
  4. он пишет, и версию скилла, которым правит. По периодам их не разделить, они
  5. двигались вместе. Но даты релизов не совпадают, и в календаре остаются окна, где
  6. меняется РОВНО ОДНО:
  7. модель меняется, скилл стоит → чистое сравнение поколений Opus по-русски;
  8. скилл меняется, модель стоит → чистая оценка эффекта наших же правок.
  9. Первого замера не существует ни у кого: публичные корпуса про русский стоят на
  10. генераторах 2023-2024 годов. Второй мы обязаны иметь про себя.
  11. Что считает:
  12. 1. Раскладку постов по парам (Opus, скилл) и какие окна пригодны для вывода.
  13. 2. Метрики сканера по каждому окну.
  14. 3. Лемма-n-граммы, которые появились или исчезли между соседними периодами,
  15. той же машиной, что и eval/mine_patterns.py.
  16. Данные приватные: экспорт лежит вне репозитория, в `eval/out/` едут агрегаты.
  17. Запуск:
  18. python eval/channel_eras.py ~/Downloads/ChatExport/result.json
  19. """
  20. from __future__ import annotations
  21. import argparse
  22. import json
  23. import statistics
  24. import subprocess
  25. import sys
  26. from collections import Counter, defaultdict
  27. from pathlib import Path
  28. ROOT = Path(__file__).resolve().parent.parent
  29. sys.path.insert(0, str(ROOT / "eval"))
  30. sys.path.insert(0, str(ROOT / "skills" / "humanizer-ru" / "scripts"))
  31. from channel_profile import plain_text # noqa: E402
  32. from m4_calibration import is_russian # noqa: E402
  33. from mine_patterns import MAX_N, MIN_N, _deps, build_lemmatizer, doc_sentences # noqa: E402
  34. from humanizer_metrics import analyze, cleanliness_score # noqa: E402
  35. from humanizer_metrics.markers import effective_hard_bans, scan_hard_bans, scan_markers # noqa: E402
  36. # Даты официальных релизов Opus. Автор переходил вместе с ними, поэтому дата
  37. # поста однозначно задаёт модель, которой он тогда пользовался.
  38. OPUS_RELEASES = [
  39. ("2025-11-24", "Opus 4.5"),
  40. ("2026-02-05", "Opus 4.6"),
  41. ("2026-04-16", "Opus 4.7"),
  42. ("2026-05-28", "Opus 4.8"),
  43. ("2026-07-24", "Opus 5"),
  44. ]
  45. def version_at(date: str, releases: list[tuple[str, str]], before: str) -> str:
  46. current = before
  47. for released, name in releases:
  48. if released <= date:
  49. current = name
  50. else:
  51. break
  52. return current
  53. def skill_releases() -> list[tuple[str, str]]:
  54. out = subprocess.run(["git", "tag", "--sort=creatordate",
  55. "--format=%(creatordate:short)\t%(refname:short)"],
  56. cwd=ROOT, capture_output=True, text=True)
  57. rel = []
  58. for line in out.stdout.splitlines():
  59. date, _, name = line.partition("\t")
  60. if name.startswith("v"):
  61. # Один день может нести несколько тегов; для окна важен последний.
  62. rel = [r for r in rel if r[0] != date] + [(date, name)]
  63. return sorted(rel)
  64. def metrics(text: str) -> dict:
  65. rep = analyze(text)
  66. words = len(text.split())
  67. return {
  68. "words": words,
  69. "score": cleanliness_score(rep).score,
  70. "bans": len(effective_hard_bans(scan_hard_bans(text), words)),
  71. "marks": 100.0 * sum(h.count for h in scan_markers(text)) / max(1, words),
  72. "cats": {h.category for h in scan_markers(text)},
  73. "cv": rep.rhythm.cv_len,
  74. "em": text.count("—"),
  75. "sent_len": rep.rhythm.mean_len,
  76. }
  77. def ngram_counts(texts: list[str], lemma, sentenize, tokenize) -> tuple[Counter, int]:
  78. """Документная частота лемма-n-грамм: в скольких постах встретилась."""
  79. docs: Counter[tuple[str, ...]] = Counter()
  80. for text in texts:
  81. seen = set()
  82. for lemmas, _ in doc_sentences(text, sentenize, tokenize, lemma):
  83. for n in range(MIN_N, MAX_N + 1):
  84. for k in range(len(lemmas) - n + 1):
  85. seen.add(tuple(lemmas[k:k + n]))
  86. docs.update(seen)
  87. return docs, len(texts)
  88. def main() -> int:
  89. ap = argparse.ArgumentParser(description=__doc__,
  90. formatter_class=argparse.RawDescriptionHelpFormatter)
  91. ap.add_argument("export", type=Path)
  92. ap.add_argument("--min-words", type=int, default=40)
  93. ap.add_argument("--min-posts", type=int, default=8,
  94. help="меньше этого в окне — не выводим, шум")
  95. ap.add_argument("--top", type=int, default=12)
  96. args = ap.parse_args()
  97. skill = skill_releases()
  98. data = json.loads(args.export.read_text(encoding="utf-8"))
  99. posts = []
  100. for m in data.get("messages", []):
  101. if m.get("type") != "message":
  102. continue
  103. text = plain_text(m).strip()
  104. if len(text.split()) < args.min_words or not is_russian(text):
  105. continue
  106. date = (m.get("date") or "")[:10]
  107. posts.append({"text": text, "date": date,
  108. "opus": version_at(date, OPUS_RELEASES, "до Opus 4.5"),
  109. "skill": version_at(date, skill, "до скилла")})
  110. posts.sort(key=lambda p: p["date"])
  111. print(f"[инфо] постов: {len(posts)}, период {posts[0]['date']} .. {posts[-1]['date']}",
  112. file=sys.stderr)
  113. for p in posts:
  114. p.update(metrics(p["text"]))
  115. # --- 1. Раскладка по парам ------------------------------------------
  116. cells: dict[tuple[str, str], list[dict]] = defaultdict(list)
  117. for p in posts:
  118. cells[(p["opus"], p["skill"])].append(p)
  119. print("\nраскладка постов по парам (модель × скилл):")
  120. print(f"{'Opus':<14}{'скилл':<14}{'постов':>8}{'период':>26}")
  121. for (opus, sk), rows in sorted(cells.items(), key=lambda kv: kv[1][0]["date"]):
  122. print(f"{opus:<14}{sk:<14}{len(rows):>8}"
  123. f"{rows[0]['date'] + ' .. ' + rows[-1]['date']:>26}")
  124. def summarize(label: str, rows: list[dict]) -> None:
  125. print(f" {label:<34}{len(rows):>5}"
  126. f"{statistics.mean(r['score'] for r in rows):>8.1f}"
  127. f"{statistics.mean(r['marks'] for r in rows):>10.2f}"
  128. f"{100.0 * sum(1 for r in rows if r['em']) / len(rows):>8.1f}%"
  129. f"{statistics.mean(r['cv'] for r in rows):>8.3f}"
  130. f"{statistics.mean(r['sent_len'] for r in rows):>8.1f}")
  131. header = (f" {'окно':<34}{'n':>5}{'score':>8}{'марк/100':>10}"
  132. f"{'тире%':>9}{'CV':>8}{'длина':>8}")
  133. # --- 2. Окна, где меняется ровно одно --------------------------------
  134. print("\nМОДЕЛЬ МЕНЯЕТСЯ, СКИЛЛ СТОИТ (сравнение поколений Opus по-русски)")
  135. print(header)
  136. by_skill: dict[str, list[dict]] = defaultdict(list)
  137. for p in posts:
  138. by_skill[p["skill"]].append(p)
  139. shown = 0
  140. for sk, rows in by_skill.items():
  141. groups = defaultdict(list)
  142. for r in rows:
  143. groups[r["opus"]].append(r)
  144. usable = {k: v for k, v in groups.items() if len(v) >= args.min_posts}
  145. if len(usable) > 1:
  146. for opus, g in sorted(usable.items(), key=lambda kv: kv[1][0]["date"]):
  147. summarize(f"скилл {sk} · {opus}", g)
  148. shown += 1
  149. if not shown:
  150. print(" нет окна, где при одной версии скилла набралось бы два поколения модели")
  151. print("\nСКИЛЛ МЕНЯЕТСЯ, МОДЕЛЬ СТОИТ (эффект наших правок)")
  152. print(header)
  153. by_opus: dict[str, list[dict]] = defaultdict(list)
  154. for p in posts:
  155. by_opus[p["opus"]].append(p)
  156. shown = 0
  157. for opus, rows in by_opus.items():
  158. groups = defaultdict(list)
  159. for r in rows:
  160. groups[r["skill"]].append(r)
  161. usable = {k: v for k, v in groups.items() if len(v) >= args.min_posts}
  162. if len(usable) > 1:
  163. for sk, g in sorted(usable.items(), key=lambda kv: kv[1][0]["date"]):
  164. summarize(f"{opus} · скилл {sk}", g)
  165. shown += 1
  166. if not shown:
  167. print(" нет окна, где при одной модели набралось бы две версии скилла")
  168. # --- 3. Что появилось и что ушло -------------------------------------
  169. morph, sentenize, tokenize = _deps()
  170. lemma = build_lemmatizer(morph)
  171. eras = sorted({p["opus"] for p in posts},
  172. key=lambda o: min(p["date"] for p in posts if p["opus"] == o))
  173. print("\nОБОРОТЫ, КОТОРЫЕ ПОЯВИЛИСЬ И УШЛИ (лемма-n-граммы, доля постов периода)")
  174. prev_name, prev = None, None
  175. for era in eras:
  176. texts = [p["text"] for p in posts if p["opus"] == era]
  177. if len(texts) < args.min_posts:
  178. continue
  179. docs, n = ngram_counts(texts, lemma, sentenize, tokenize)
  180. if prev is not None:
  181. pd, pn = prev
  182. deltas = []
  183. for gram in set(docs) | set(pd):
  184. a, b = 100.0 * pd[gram] / pn, 100.0 * docs[gram] / n
  185. # Порог по опоре: одиночное вхождение это не тренд, а совпадение.
  186. if max(pd[gram], docs[gram]) >= max(3, n // 8):
  187. deltas.append((b - a, " ".join(gram), a, b))
  188. deltas.sort(reverse=True)
  189. print(f"\n {prev_name} → {era} (постов {pn} → {n})")
  190. print(f" {'появилось':<34}{'было':>8}{'стало':>8}")
  191. for _, gram, a, b in deltas[:args.top]:
  192. print(f" {gram[:33]:<34}{a:>7.0f}%{b:>7.0f}%")
  193. print(f" {'ушло':<34}{'было':>8}{'стало':>8}")
  194. for _, gram, a, b in deltas[-args.top:][::-1]:
  195. print(f" {gram[:33]:<34}{a:>7.0f}%{b:>7.0f}%")
  196. prev_name, prev = era, (docs, n)
  197. # --- 4. Категории маркеров по периодам --------------------------------
  198. print("\nКАТЕГОРИИ МАРКЕРОВ ПО ПОКОЛЕНИЯМ МОДЕЛИ (доля постов)")
  199. cats = sorted({c for p in posts for c in p["cats"]})
  200. usable_eras = [e for e in eras if sum(1 for p in posts if p["opus"] == e) >= args.min_posts]
  201. print(f" {'категория':<30}" + "".join(f"{e.replace('Opus ', ''):>9}" for e in usable_eras))
  202. for cat in cats:
  203. row = []
  204. for era in usable_eras:
  205. rows = [p for p in posts if p["opus"] == era]
  206. row.append(100.0 * sum(1 for p in rows if cat in p["cats"]) / len(rows))
  207. if max(row) >= 5:
  208. print(f" {cat[:29]:<30}" + "".join(f"{v:>8.0f}%" for v in row))
  209. out = ROOT / "eval" / "out" / "channel-eras.json"
  210. out.write_text(json.dumps({
  211. "posts": len(posts),
  212. "cells": {f"{o} | {s}": len(v) for (o, s), v in cells.items()},
  213. "by_opus": {e: {
  214. "posts": sum(1 for p in posts if p["opus"] == e),
  215. "score": round(statistics.mean(p["score"] for p in posts if p["opus"] == e), 1),
  216. "marks_per_100": round(statistics.mean(p["marks"] for p in posts if p["opus"] == e), 2),
  217. "em_dash_pct": round(100.0 * sum(1 for p in posts if p["opus"] == e and p["em"])
  218. / sum(1 for p in posts if p["opus"] == e), 1),
  219. } for e in eras},
  220. }, ensure_ascii=False, indent=2), encoding="utf-8")
  221. print(f"\n[ok] агрегаты -> {out.relative_to(ROOT)}")
  222. return 0
  223. if __name__ == "__main__":
  224. raise SystemExit(main())
eval/channel_profile.py · Bundled script · 213 lines
  1. #!/usr/bin/env python3
  2. """Профиль одного живого канала: где стоит гибридный автор и куда он двигался.
  3. Зачем. Все наши «человеческие» корпуса чужие: научные аннотации, национальный
  4. корпус, посты с Пикабу. Ни один из них не описывает того, кого скилл реально
  5. обслуживает, а именно человека, который пишет вместе с моделью и правит руками.
  6. Это распределение («модель плюс автор плюс хуманайзер») мы полдня обсуждали
  7. умозрительно, потому что взять его было негде.
  8. Экспорт Telegram даёт его целиком, да ещё с датами. Отсюда три замера:
  9. 1. Где автор стоит на шкале между человеческим корпусом и машинными ячейками.
  10. 2. Как он двигался во времени, причём периоды раскладываются по версиям
  11. скилла: у канала и у репозитория общая шкала дат.
  12. 3. Догфудинг: сколько собственных постов автора сканер зовёт машинными. Если
  13. инструмент ругается на того, кого обслуживает, это надо знать первым.
  14. Данные приватные: экспорт лежит вне репозитория, агрегаты пишутся в gitignored
  15. `eval/out/`. Ничего из этого не коммитится и никуда не уезжает.
  16. Запуск:
  17. python eval/channel_profile.py ~/Downloads/ChatExport/result.json
  18. python eval/channel_profile.py result.json --min-words 60
  19. """
  20. from __future__ import annotations
  21. import argparse
  22. import json
  23. import statistics
  24. import subprocess
  25. import sys
  26. from collections import defaultdict
  27. from pathlib import Path
  28. ROOT = Path(__file__).resolve().parent.parent
  29. sys.path.insert(0, str(ROOT / "eval"))
  30. sys.path.insert(0, str(ROOT / "skills" / "humanizer-ru" / "scripts"))
  31. from author_profiles import distance, features # noqa: E402
  32. from m4_calibration import DASHES, is_russian # noqa: E402
  33. from humanizer_metrics import analyze, cleanliness_score # noqa: E402
  34. from humanizer_metrics.markers import effective_hard_bans, scan_hard_bans, scan_markers # noqa: E402
  35. def plain_text(msg: dict) -> str:
  36. """Telegram отдаёт текст списком сущностей: ссылки, код, жирный отдельно."""
  37. ents = msg.get("text_entities") or []
  38. if ents:
  39. return "".join(e.get("text", "") for e in ents)
  40. raw = msg.get("text")
  41. if isinstance(raw, str):
  42. return raw
  43. return "".join(p if isinstance(p, str) else p.get("text", "") for p in (raw or []))
  44. def release_eras() -> list[tuple[str, str]]:
  45. """(дата, версия) по тегам репозитория: общая шкала времени с каналом."""
  46. out = subprocess.run(["git", "tag", "--sort=creatordate",
  47. "--format=%(creatordate:short)\t%(refname:short)"],
  48. cwd=ROOT, capture_output=True, text=True)
  49. eras = []
  50. for line in out.stdout.splitlines():
  51. date, _, name = line.partition("\t")
  52. if name.startswith("v"):
  53. eras.append((date, name))
  54. return eras
  55. def era_of(date: str, eras: list[tuple[str, str]]) -> str:
  56. """Какая версия скилла была актуальна на момент публикации поста."""
  57. current = "до скилла"
  58. for released, name in eras:
  59. if released <= date:
  60. current = name
  61. else:
  62. break
  63. return current
  64. def measure(text: str) -> dict:
  65. rep = analyze(text)
  66. words = len(text.split())
  67. bans = effective_hard_bans(scan_hard_bans(text), words)
  68. return {
  69. "words": words,
  70. "score": cleanliness_score(rep).score,
  71. "bans": [h.marker for h in bans],
  72. "marks": 100.0 * sum(h.count for h in scan_markers(text)) / max(1, words),
  73. "cv": rep.rhythm.cv_len,
  74. "dashes": {n: text.count(ch) for n, ch in DASHES.items()},
  75. }
  76. def baseline() -> dict | None:
  77. """Человеческая база: те же метрики на живых постах Пикабу."""
  78. path = ROOT / "eval" / "out" / "pikabu-human.jsonl"
  79. if not path.exists():
  80. return None
  81. texts = [json.loads(s)["text"] for s in path.read_text(encoding="utf-8").splitlines() if s]
  82. rows = [measure(t) for t in texts]
  83. return {
  84. "n": len(rows),
  85. "score": statistics.mean(r["score"] for r in rows),
  86. "ban_pct": 100.0 * sum(1 for r in rows if r["bans"]) / len(rows),
  87. "marks": statistics.mean(r["marks"] for r in rows),
  88. "cv": statistics.mean(r["cv"] for r in rows),
  89. "em": 100.0 * sum(1 for r in rows if r["dashes"]["U+2014 em dash"]) / len(rows),
  90. "texts": texts,
  91. }
  92. def main() -> int:
  93. ap = argparse.ArgumentParser(description=__doc__,
  94. formatter_class=argparse.RawDescriptionHelpFormatter)
  95. ap.add_argument("export", type=Path, help="result.json из экспорта Telegram")
  96. ap.add_argument("--min-words", type=int, default=50)
  97. args = ap.parse_args()
  98. data = json.loads(args.export.read_text(encoding="utf-8"))
  99. eras = release_eras()
  100. posts = []
  101. for m in data.get("messages", []):
  102. if m.get("type") != "message":
  103. continue
  104. text = plain_text(m).strip()
  105. if len(text.split()) < args.min_words or not is_russian(text):
  106. continue
  107. posts.append({"text": text, "date": (m.get("date") or "")[:10],
  108. "era": era_of((m.get("date") or "")[:10], eras)})
  109. print(f"[инфо] канал: {data.get('name')}, постов в работе: {len(posts)}", file=sys.stderr)
  110. if not posts:
  111. print("[пусто] подходящих постов нет, снизьте --min-words", file=sys.stderr)
  112. return 1
  113. for p in posts:
  114. p.update(measure(p["text"]))
  115. base = baseline()
  116. print(f"\n{'период':<16}{'постов':>8}{'слов(мед)':>11}{'score':>8}"
  117. f"{'бан%':>7}{'марк/100':>10}{'CV':>7}{'тире%':>8}")
  118. by_era: dict[str, list[dict]] = defaultdict(list)
  119. for p in posts:
  120. by_era[p["era"]].append(p)
  121. order = ["до скилла"] + [v for _, v in eras]
  122. for era in order:
  123. rows = by_era.get(era)
  124. if not rows:
  125. continue
  126. print(f"{era:<16}{len(rows):>8}"
  127. f"{statistics.median(r['words'] for r in rows):>11.0f}"
  128. f"{statistics.mean(r['score'] for r in rows):>8.1f}"
  129. f"{100.0 * sum(1 for r in rows if r['bans']) / len(rows):>6.1f}%"
  130. f"{statistics.mean(r['marks'] for r in rows):>10.2f}"
  131. f"{statistics.mean(r['cv'] for r in rows):>7.3f}"
  132. f"{100.0 * sum(1 for r in rows if r['dashes']['U+2014 em dash']) / len(rows):>7.1f}%")
  133. if base:
  134. print(f"{'ЧЕЛОВЕК (Пикабу)':<16}{base['n']:>8}{'':>11}{base['score']:>8.1f}"
  135. f"{base['ban_pct']:>6.1f}%{base['marks']:>10.2f}{base['cv']:>7.3f}"
  136. f"{base['em']:>7.1f}%")
  137. print("\nдогфудинг: как сканер судит собственного автора")
  138. bands = defaultdict(int)
  139. for p in posts:
  140. bands["чисто" if p["score"] >= 85 else
  141. ("правка" if p["score"] >= 60 else "рерайт")] += 1
  142. for band in ("чисто", "правка", "рерайт"):
  143. print(f" {band:<10}{bands[band]:>5} ({100.0 * bands[band] / len(posts):.1f}%)")
  144. worst = sorted(posts, key=lambda p: p["score"])[:5]
  145. print(" худшие посты:")
  146. for p in worst:
  147. names = ", ".join(sorted(set(p["bans"]))[:3]) or "без банов"
  148. print(f" {p['date']} score {p['score']:>3} {names}")
  149. top_bans: defaultdict[str, int] = defaultdict(int)
  150. for p in posts:
  151. for b in set(p["bans"]):
  152. top_bans[b] += 1
  153. print("\nчаще всего срабатывает на этом авторе:")
  154. for name, c in sorted(top_bans.items(), key=lambda kv: -kv[1])[:8]:
  155. print(f" {100.0 * c / len(posts):>5.1f}% {name}")
  156. print("\nустойчивость почерка (стилометрия, половина против половины):")
  157. half = len(posts) // 2
  158. early, late = [p["text"] for p in posts[:half]], [p["text"] for p in posts[half:]]
  159. own = distance(features(early), features(late))
  160. print(f" автор сам с собой, ранние против поздних: {own:>7.3f}")
  161. if base:
  162. vs_human = distance(features([p["text"] for p in posts]), features(base["texts"]))
  163. print(f" автор против человеческой базы Пикабу: {vs_human:>7.3f}")
  164. print(f" отношение: {vs_human / own if own else 0:>7.2f}")
  165. out = ROOT / "eval" / "out" / "channel.json"
  166. out.parent.mkdir(parents=True, exist_ok=True)
  167. out.write_text(json.dumps({
  168. "channel": data.get("name"), "posts": len(posts),
  169. "by_era": {era: {
  170. "posts": len(rows),
  171. "score": round(statistics.mean(r["score"] for r in rows), 1),
  172. "ban_pct": round(100.0 * sum(1 for r in rows if r["bans"]) / len(rows), 1),
  173. "marks_per_100": round(statistics.mean(r["marks"] for r in rows), 2),
  174. "cv": round(statistics.mean(r["cv"] for r in rows), 3),
  175. } for era, rows in by_era.items()},
  176. "bands": dict(bands),
  177. "top_bans": dict(sorted(top_bans.items(), key=lambda kv: -kv[1])[:12]),
  178. }, ensure_ascii=False, indent=2), encoding="utf-8")
  179. print(f"\n[ok] агрегаты -> {out.relative_to(ROOT)}")
  180. return 0
  181. if __name__ == "__main__":
  182. raise SystemExit(main())
eval/cross_domain.py · Bundled script · 144 lines
  1. #!/usr/bin/env python3
  2. """Проверка добытых кандидатов на втором домене: что переживает смену регистра.
  3. Зачем отдельный шаг. `mine_patterns.py` держит кандидата, если он разделяет
  4. классы внутри одного корпуса, и честно предупреждает, что этого мало: маркер без
  5. указания домена бессмысленен (см. SOURCES.md). Пока второго русского корпуса не
  6. было, фильтр оставался словами в документации. Теперь их два, и проверка стала
  7. исполнимой: добываем на AINL (научные аннотации), измеряем на M4 (национальный
  8. корпус, новости, соцсети) или на своём парном корпусе блогов.
  9. Что считает:
  10. 1. Плотность всех кандидатов на 100 слов по сторонам — грубая проверка, что
  11. набор вообще переносится.
  12. 2. Пофразный лифт на втором корпусе и список переживших.
  13. Порог держим тот же, что в шахте: опора не ниже `--min-support` процентов
  14. машинных документов и лифт не ниже `--min-lift`. Кандидат, который на втором
  15. домене не набирает опоры, не «слабый» — он просто про первый домен.
  16. Запуск:
  17. python eval/mine_patterns.py --split train # даст mined-train.json
  18. python eval/cross_domain.py # проверить на M4
  19. python eval/cross_domain.py --jsonl eval/out/blog-pairs.jsonl
  20. """
  21. from __future__ import annotations
  22. import argparse
  23. import json
  24. import statistics
  25. import sys
  26. from collections import defaultdict
  27. from pathlib import Path
  28. ROOT = Path(__file__).resolve().parent.parent
  29. sys.path.insert(0, str(ROOT / "eval"))
  30. from m4_calibration import FILES, is_russian, load # noqa: E402
  31. from mine_patterns import MAX_N, MIN_N, _deps, build_lemmatizer, doc_sentences # noqa: E402
  32. def load_pairs(jsonl: Path | None, limit: int | None) -> list[tuple[str, str, str]]:
  33. """Пары (модель, человеческий текст, машинный текст) из M4 или своего файла."""
  34. pairs = []
  35. if jsonl:
  36. for line in jsonl.read_text(encoding="utf-8").splitlines():
  37. if line.strip():
  38. r = json.loads(line)
  39. pairs.append((r.get("model", "machine"),
  40. r.get("human_text", ""), r.get("machine_text", "")))
  41. return pairs
  42. for model in FILES:
  43. for row in load(model, limit):
  44. pairs.append((model, row.get("human_text", ""), row.get("machine_text", "")))
  45. return pairs
  46. def main() -> int:
  47. ap = argparse.ArgumentParser(description=__doc__,
  48. formatter_class=argparse.RawDescriptionHelpFormatter)
  49. ap.add_argument("--mined", type=Path, default=ROOT / "eval" / "out" / "mined-train.json",
  50. help="выход mine_patterns.py с кандидатами")
  51. ap.add_argument("--jsonl", type=Path, help="свой парный корпус вместо M4")
  52. ap.add_argument("--limit", type=int, help="взять только первые N записей на генератор")
  53. ap.add_argument("--min-support", type=float, default=0.5,
  54. help="минимум процентов машинных документов на втором корпусе")
  55. ap.add_argument("--min-lift", type=float, default=2.0, help="минимум AI/человек")
  56. ap.add_argument("--top", type=int, default=25)
  57. args = ap.parse_args()
  58. cands = json.loads(args.mined.read_text(encoding="utf-8"))["candidates"]
  59. # Кандидат — это лемма-n-грамма; ключом служит она сама, а не пример из
  60. # отчёта: пример это одна словоформа из корпуса, по нему искать нельзя.
  61. key_idx = {tuple(r["ngram"].split()): i for i, r in enumerate(cands)}
  62. morph, sentenize, tokenize = _deps()
  63. lemma = build_lemmatizer(morph)
  64. totals: dict[str, int] = defaultdict(int)
  65. density: dict[str, list[float]] = defaultdict(list)
  66. per_cand: dict[int, dict[str, int]] = defaultdict(lambda: defaultdict(int))
  67. models: list[str] = []
  68. pairs = load_pairs(args.jsonl, args.limit)
  69. print(f"[инфо] пар: {len(pairs)}", file=sys.stderr)
  70. for i, (model, human, machine) in enumerate(pairs):
  71. if not (is_russian(human) and is_russian(machine)):
  72. continue
  73. if model not in models:
  74. models.append(model)
  75. for side, text in (("human", human), (model, machine)):
  76. hits = set()
  77. for lemmas, _ in doc_sentences(text, sentenize, tokenize, lemma):
  78. for n in range(MIN_N, MAX_N + 1):
  79. for k in range(len(lemmas) - n + 1):
  80. j = key_idx.get(tuple(lemmas[k:k + n]))
  81. if j is not None:
  82. hits.add(j)
  83. totals[side] += 1
  84. density[side].append(100.0 * len(hits) / max(1, len(text.split())))
  85. for j in hits:
  86. per_cand[j][side] += 1
  87. if i and i % 1000 == 0:
  88. print(f" …{i}/{len(pairs)}", file=sys.stderr)
  89. sides = ["human"] + models
  90. corpus = args.jsonl.name if args.jsonl else "M4-ru"
  91. print(f"\nплотность кандидатов на 100 слов, корпус {corpus}:")
  92. for s in sides:
  93. if totals[s]:
  94. print(f" {s:<16}{statistics.mean(density[s]):>7.2f} (документов {totals[s]})")
  95. held = []
  96. for j, r in enumerate(cands):
  97. human = 100.0 * per_cand[j]["human"] / totals["human"] if totals["human"] else 0.0
  98. ai = statistics.mean([100.0 * per_cand[j][m] / totals[m] for m in models if totals[m]])
  99. if ai >= args.min_support and human * args.min_lift <= ai:
  100. held.append({**r, "x_human": round(human, 2), "x_ai": round(ai, 2),
  101. "x_lift": round(ai / human, 1) if human else None})
  102. print(f"\nпережили смену домена (лифт>={args.min_lift}, опора>={args.min_support}%): "
  103. f"{len(held)} из {len(cands)}")
  104. head = f"{'кандидат':<38}{'исх. lift':>10}{'чел.%':>9}{'AI%':>8}{'lift':>8}"
  105. print(head)
  106. print("-" * len(head))
  107. for r in sorted(held, key=lambda r: -(r["x_lift"] or 999))[:args.top]:
  108. print(f"{r['example'][:37]:<38}{r['lift']:>10}{r['x_human']:>9}"
  109. f"{r['x_ai']:>8}{str(r['x_lift'] or '∞'):>8}")
  110. out = ROOT / "eval" / "out" / "cross-domain.json"
  111. out.parent.mkdir(parents=True, exist_ok=True)
  112. out.write_text(json.dumps({
  113. "corpus": corpus,
  114. "documents": dict(totals),
  115. "density_per_100_words": {s: round(statistics.mean(density[s]), 2)
  116. for s in sides if totals[s]},
  117. "candidates_in": len(cands),
  118. "survivors": held,
  119. }, ensure_ascii=False, indent=2), encoding="utf-8")
  120. print(f"\n[ok] -> {out.relative_to(ROOT)}")
  121. return 0
  122. if __name__ == "__main__":
  123. raise SystemExit(main())
eval/humanize_pass.py · Bundled script · 189 lines
  1. #!/usr/bin/env python3
  2. """Отпечаток самого хуманайзера: во что превращается текст после нашего скилла.
  3. Три вопроса, на которые отвечает этот прогон.
  4. 1. Куда сдвигается текст. Скор говорит «стало лучше», но скор мерит расстояние
  5. до нуля, а не до человека. Человек нулём не бывает: на текстах в 200-400 слов
  6. полностью чистых людей 15%, а не 100%. Значит выход скилла надо измерять
  7. расстоянием до человеческого распределения, и «сто из ста» может оказаться
  8. попаданием в редкий хвост, а не в середину.
  9. 2. Переживает ли отпечаток базовой модели. Каталог снимает то, что у моделей
  10. общего; идиосинкразия каждой в каталог не попала именно потому, что не общая.
  11. Если после скилла тексты gemma и qwen всё ещё разделяются, значит
  12. «Claude плюс хуманайзер» это своя подпись, а не человек.
  13. 3. Не заводит ли скилл собственную подпись. Общая для всех, кто им пользуется:
  14. для одного автора это выигрыш, для корпуса на сто тысяч документов проигрыш.
  15. Про исполнителя. Скилл рассчитан на фронтир-модель, и запуск его на локальной
  16. 27B измеряет способность gemma следовать инструкции на 25 тысяч токенов, а не сам
  17. скилл. Поэтому локальный прогон помечается в выходе как `proxy`, а честный ответ
  18. даёт удалённый бэкенд (у Gemini бесплатный тариф с окном на миллион токенов).
  19. Отдельная грабля: Ollama по умолчанию режет окно до 4096 токенов молча. Без
  20. явного num_ctx модель увидит инструкцию покалеченной и ошибки не будет.
  21. Запуск:
  22. python eval/humanize_pass.py --cells gemma3-27b__P1-перепиши qwen3-4b__P1-перепиши
  23. python eval/humanize_pass.py --model 'google|gemini-2.5-flash' --cells все
  24. python eval/humanize_pass.py --report
  25. """
  26. from __future__ import annotations
  27. import argparse
  28. import json
  29. import statistics
  30. import sys
  31. import threading
  32. from concurrent.futures import ThreadPoolExecutor
  33. from pathlib import Path
  34. ROOT = Path(__file__).resolve().parent.parent
  35. sys.path.insert(0, str(ROOT / "eval"))
  36. sys.path.insert(0, str(ROOT / "skills" / "humanizer-ru" / "scripts"))
  37. import remote_backend # noqa: E402
  38. from author_profiles import distance, features as profile # noqa: E402
  39. from llm_backend import generate # noqa: E402
  40. from m4_calibration import is_russian # noqa: E402
  41. from skill_prompts import load_edit_prompt # noqa: E402
  42. from humanizer_metrics.markers import ( # noqa: E402
  43. effective_hard_bans,
  44. scan_hard_bans,
  45. scan_markers,
  46. )
  47. CELLS_DIR = ROOT / "eval" / "out" / "matrix"
  48. OUT = ROOT / "eval" / "out" / "humanized"
  49. SKILL = ROOT / "skills" / "humanizer-ru" / "SKILL.md"
  50. TASK = ("\n\n---\n\nПрименяя инструкцию выше, перепиши текст ниже. "
  51. "Верни только переписанный текст, без комментариев и разметки.\n\n{text}")
  52. def score(text: str) -> tuple[int, float]:
  53. """Банов в документе и маркеров на 100 слов. Обе метрики нашего сканера."""
  54. words = len(text.split())
  55. bans = len(effective_hard_bans(scan_hard_bans(text), words))
  56. marks = 100.0 * sum(h.count for h in scan_markers(text)) / max(1, words)
  57. return bans, marks
  58. def run(cell: Path, model: str, workers: int, num_ctx: int) -> int:
  59. provider, name = remote_backend.parse_target(model)
  60. prompt_head = load_edit_prompt(SKILL.parent)
  61. recs = [json.loads(s) for s in cell.read_text(encoding="utf-8").splitlines() if s]
  62. lock, done = threading.Lock(), {"n": 0}
  63. out_path = OUT / f"{cell.stem}__by-{name.replace('/', '_').replace(':', '-')}.jsonl"
  64. def work(rec: dict, fh) -> None:
  65. prompt = prompt_head + TASK.format(text=rec["machine_text"])
  66. out = (remote_backend.generate(prompt, name, provider, num_predict=1600) if provider
  67. else generate(prompt, num_predict=1600, temperature=0.3, model=name,
  68. timeout=1200, num_ctx=num_ctx))
  69. if not out or not is_russian(out):
  70. return
  71. with lock:
  72. fh.write(json.dumps({**rec, "humanized_text": out.strip(),
  73. "humanizer": model,
  74. "proxy": provider is None}, ensure_ascii=False) + "\n")
  75. fh.flush()
  76. done["n"] += 1
  77. OUT.mkdir(parents=True, exist_ok=True)
  78. with out_path.open("w", encoding="utf-8") as fh:
  79. with ThreadPoolExecutor(max_workers=workers) as pool:
  80. list(pool.map(lambda r: work(r, fh), recs))
  81. print(f" переписано: {done['n']} -> {out_path.name}", file=sys.stderr)
  82. return done["n"]
  83. def report() -> int:
  84. files = sorted(OUT.glob("*.jsonl")) if OUT.exists() else []
  85. if not files:
  86. print("[пусто] прогонов нет, запустите без --report", file=sys.stderr)
  87. return 1
  88. human_texts, rows, profiles = [], [], {}
  89. for path in files:
  90. recs = [json.loads(s) for s in path.read_text(encoding="utf-8").splitlines() if s]
  91. if not recs:
  92. continue
  93. human_texts.extend(r["human_text"] for r in recs)
  94. before = [score(r["machine_text"]) for r in recs]
  95. after = [score(r["humanized_text"]) for r in recs]
  96. rows.append({
  97. "cell": path.stem, "n": len(recs), "proxy": recs[0].get("proxy", True),
  98. "ban_before": 100.0 * sum(1 for b, _ in before if b) / len(recs),
  99. "ban_after": 100.0 * sum(1 for b, _ in after if b) / len(recs),
  100. "marks_before": statistics.mean(m for _, m in before),
  101. "marks_after": statistics.mean(m for _, m in after),
  102. })
  103. profiles[path.stem] = profile([r["humanized_text"] for r in recs])
  104. human = profile(human_texts)
  105. head = f"{'прогон':<46}{'n':>4}{'бан до':>9}{'бан после':>11}{'марк до':>9}{'марк после':>12}"
  106. print(head)
  107. print("-" * len(head))
  108. for r in sorted(rows, key=lambda r: r["cell"]):
  109. print(f"{r['cell'][:45]:<46}{r['n']:>4}{r['ban_before']:>8.1f}%{r['ban_after']:>10.1f}%"
  110. f"{r['marks_before']:>9.2f}{r['marks_after']:>12.2f}")
  111. if any(r["proxy"] for r in rows):
  112. print("\n[осторожно] прогоны с proxy=истина считались локальной моделью: они измеряют\n"
  113. " её способность следовать инструкции, а не сам скилл.")
  114. print(f"\nрасстояние до человеческого профиля (п.п., меньше значит ближе к человеку):")
  115. print(f" {'человек сам с собой (база)':<44}{0.0:>7.2f}")
  116. for name, prof in sorted(profiles.items()):
  117. print(f" {name[:43]:<44}{distance(prof, human):>7.2f}")
  118. if len(profiles) > 1:
  119. names = sorted(profiles)
  120. pairs = [(a, b, distance(profiles[a], profiles[b]))
  121. for i, a in enumerate(names) for b in names[i + 1:]]
  122. print("\nрасстояние между прогонами (жив ли отпечаток базовой модели):")
  123. for a, b, d in pairs:
  124. print(f" {a[:28]:<30}{b[:28]:<30}{d:>7.2f}")
  125. out = ROOT / "eval" / "out" / "humanized.json"
  126. out.write_text(json.dumps({
  127. "runs": rows,
  128. "distance_to_human_pp": {k: round(distance(v, human), 2) for k, v in profiles.items()},
  129. }, ensure_ascii=False, indent=2), encoding="utf-8")
  130. print(f"\n[ok] -> {out.relative_to(ROOT)}")
  131. return 0
  132. def main() -> int:
  133. ap = argparse.ArgumentParser(description=__doc__,
  134. formatter_class=argparse.RawDescriptionHelpFormatter)
  135. ap.add_argument("--cells", nargs="*", help="имена ячеек матрицы без .jsonl; пусто = все")
  136. ap.add_argument("--model", default="gemma3:27b",
  137. help="кто исполняет скилл; удалённый как 'google|gemini-2.5-flash'")
  138. ap.add_argument("--workers", type=int, default=2)
  139. ap.add_argument("--num-ctx", type=int, default=32768,
  140. help="окно локальной модели; SKILL.md это около 25 тысяч токенов")
  141. ap.add_argument("--report", action="store_true")
  142. args = ap.parse_args()
  143. if args.report:
  144. return report()
  145. cells = [CELLS_DIR / f"{c}.jsonl" for c in args.cells] if args.cells \
  146. else sorted(CELLS_DIR.glob("*.jsonl"))
  147. cells = [c for c in cells if c.exists()]
  148. if not cells:
  149. print("[ошибка] ячеек матрицы не найдено", file=sys.stderr)
  150. return 1
  151. for i, cell in enumerate(cells, 1):
  152. print(f"[{i}/{len(cells)}] {cell.stem} через {args.model}", file=sys.stderr)
  153. run(cell, args.model, args.workers, args.num_ctx)
  154. print("\n[ok] дальше: python eval/humanize_pass.py --report")
  155. return 0
  156. if __name__ == "__main__":
  157. raise SystemExit(main())

Ratings and comments

Sign in to rate this skill.

Sign in

Free to use. If it’s helped, pass it on.