Анализ текста по закону Ципфа

Вставьте текст — инструмент построит график «ранг — частота» в логарифмическом масштабе, посчитает наклон, R² и индекс соответствия закону Ципфа и покажет слова, которые встречаются заметно чаще ожидаемого.

Текст для анализа

Исключить стоп-слова (ru, uk, en, pl)

0 / 50 000 символов

Расчёт идёт в вашем браузере — текст на сервер не отправляется.

Как считаются показатели

Слова: последовательности букв кириллицы и латиницы (с дефисом и апострофом внутри). Числа и знаки отбрасываются, регистр не учитывается, «ё» приравнивается к «е».
Наклон и R²: линейная регрессия по точкам log(ранг) — log(частота). Берутся слова, встретившиеся хотя бы дважды (если таких меньше 10 — первые 50 слов): хвост из слов-одиночек образует горизонтальную «ступеньку» и искажает наклон.
Индекс 0–100 = 60% × близость наклона к −1 (1 при наклоне −1, 0 при отклонении на 0,8 и больше) + 40% × точность прямой (1 при R² = 1, 0 при R² ≤ 0,7). 80+ — высокое соответствие, 60–79 — умеренное, ниже 60 — низкое.
Колонка «По Ципфу» — классическая формула f₁ / ранг, где f₁ — частота самого частого слова; «Отклонение» — разница с ней. Пометка «чаще нормы» ставится иначе — относительно линии регрессии вашего текста, чтобы пологий или крутой наклон сам по себе не делал «выбросами» все слова: слово не из списка стоп-слов, встречается не меньше 3 раз и в 1,5 раза чаще, чем предсказывает линия. Слово на первом месте отмечается и тогда, когда стоп-слова не исключены, а оно обогнало их все: в живом тексте первые места занимают предлоги, союзы и артикли.

Анализ текста по закону Ципфа онлайн

Проверка текста по закону Ципфа: инструмент считает частоты слов, строит график «ранг — частота» в логарифмическом масштабе рядом с идеальной прямой Ципфа, вычисляет наклон и R² линейной регрессии и сводит их в индекс соответствия 0–100. Слова, которые встречаются заметно чаще, чем предсказывает распределение текста, подсвечиваются — так видно возможный переспам. Расчёт идёт в браузере, регистрация не нужна.

График log(ранг) — log(частота) с идеальной прямой Ципфа и линией регрессии

Наклон, R² и индекс соответствия закону Ципфа 0–100 с открытой формулой

Топ-30 слов: частота, доля, ожидаемая по Ципфу частота и отклонение в %

Подсветка слов, которые встречаются чаще нормы

Слов всего, уникальных и лексическое разнообразие (TTR)

Исключение стоп-слов для русского, украинского, английского и польского

Как пользоваться

Вставьте текст — от 300 слов, лучше 1000 и больше (до 50 000 символов)
При необходимости включите исключение стоп-слов и нажмите «Анализировать»
Посмотрите наклон, R², график и подсвеченные слова в таблице

FAQ

Это эмпирическая закономерность: частота слова примерно обратно пропорциональна его рангу в частотном списке. Второе по частоте слово встречается примерно вдвое реже первого, третье — втрое. В логарифмическом масштабе такое распределение выглядит прямой с наклоном около −1.

Нет, это не детектор. Языковые модели тоже дают ципфовское распределение, а человеческие тексты отклоняются от него из-за жанра, объёма и списков. Индекс показывает только форму частотного распределения; для оценки происхождения текста используйте AI-детектор и здравый смысл.

Нет. Подсчёт частот, регрессия, график и таблица формируются скриптом в вашем браузере — текст никуда не передаётся и не сохраняется.

Анализ текста по закону Ципфа: что именно проверяется

Закон Ципфа описывает, как распределяются частоты слов в естественном тексте. Если отсортировать слова по частоте и пронумеровать (ранг 1 — самое частое слово), частота окажется примерно обратно пропорциональна рангу. Формула закона Ципфа:

f(r) ≈ C / r^s, где s ≈ 1
log f = log C − s · log r

Вторая строка — та же формула после логарифмирования: в координатах log(ранг) — log(частота) получается прямая, а её наклон равен −s. Поэтому проверка по Ципфу сводится к простому вопросу: насколько точки вашего текста похожи на прямую и насколько её наклон близок к −1. Подробнее об истории закона — в статье «Закон Ципфа» в базе знаний.

Важная оговорка: идеальная прямая — модель, а не норматив. У реальных текстов «голова» распределения (первые 5–10 слов) обычно чуть положе прямой, а хвост превращается в ступеньки. Это нормально и описано ещё в уточнённой формуле Мандельброта.

Как читать график «ранг — частота»

На графике три слоя: синие точки — слова вашего текста, оранжевая пунктирная линия — идеальная прямая Ципфа с наклоном −1, проведённая через самое частое слово, зелёная линия — регрессия, построенная по вашему тексту. Смотрите на график по зонам:

Голова (ранги 1–10). При включённых стоп-словах здесь должны стоять предлоги, союзы, местоимения, в английском — артикли. Если среди них оказалось существительное из ключевой фразы, это первый сигнал переоптимизации.
Середина (ранги 10–200). Тематическая лексика. Точки должны идти плотной полосой вдоль зелёной линии. Отдельная точка заметно выше полосы — слово, которое повторяется чаще, чем «положено» по распределению текста; такие слова отмечены красным.
Хвост. Горизонтальные «полки» из слов, встретившихся 2, 3 раза, и длинная полка слов-одиночек. Полки — следствие того, что частота целочисленная, поэтому одиночки в регрессию не берутся.

Что видно на графике	Что это обычно значит
Точки плотно идут вдоль прямой, наклон около −1	Типичное распределение для связного текста достаточной длины
Несколько точек в голове или середине заметно выше полосы	Повторы конкретных слов: ключевая фраза, название бренда, шаблонная вставка
Голова почти горизонтальная	Короткий текст, перечень, таблица или исключённые стоп-слова
Крутой обрыв после первых слов	Бедный словарь, текст крутится вокруг пары слов
Большой разброс, низкий R²	Склеенные фрагменты на разные темы, много списков, кода или чисел

Какой наклон считать нормальным

Наклон −1 — ориентир для больших массивов текста. На коротких текстах он почти всегда положе: за 1–3 тысячи слов большая часть словаря успевает встретиться один-два раза. Ещё сильнее влияет морфология. Инструмент не приводит слова к начальной форме, поэтому «сайт», «сайта» и «сайту» считаются разными словами. В русском, украинском и польском частоты дробятся по падежам, и наклон −0,6…−0,8 для статьи в несколько тысяч слов — обычная картина, а не дефект. Английский текст той же длины обычно ближе к −1.

Поэтому индекс соответствия полезнее как способ сравнения, а не как оценка «хорошо/плохо». Сравнивайте тексты одного языка и близкого объёма: свою статью до и после правки, свою и конкурентов из топа.

Пример: как переспам меняет распределение

Условный пример. Статья на 2 000 слов о продвижении сайтов, в каждый третий-четвёртый абзац вставлена фраза «продвижение сайта в Москве недорого». В исходной версии первые места занимают «и», «в», «не», «на», а тематические слова начинаются с 7–10-го ранга. После вставок «сайта» и «продвижение» поднимаются на 1–3-е места вперёд предлогов, а «недорого» и «Москве» встают в один ряд со служебными словами. На графике это несколько красных точек над полосой в голове распределения, в таблице — пометки «чаще нормы» и отклонение от f₁/ранг в сотни процентов.

Если включить «Исключить стоп-слова», картина станет нагляднее: из распределения пропадут служебные слова, и четыре слова ключевой фразы окажутся сильно выше линии регрессии. Точный процент каждого повтора удобно посмотреть в анализе плотности ключевых слов — он считает и фразы из 2–3 слов.

Закон Ципфа в SEO-копирайтинге

Проверка перед публикацией. Прогоните готовый текст и посмотрите на голову распределения и красные точки. Слово из ключевой фразы на первом месте среди предлогов — повод заменить часть повторов синонимами и местоимениями.
Сравнение с топом. Возьмите 3–5 страниц из выдачи по вашему запросу и сравните наклон и подсвеченные слова. Если у конкурентов ключ стоит в середине распределения, а у вас в голове, вы переборщили.
Контроль после переписывания. После рерайта или работы над формулировками проверьте, не стал ли словарь беднее: крутой обрыв и падение TTR при той же длине говорят о повторяющихся оборотах.
Связка с другими проверками. Ципф показывает форму распределения, плотность — конкретные проценты, а AI-детектор — совокупность из многих метрик. Выводы лучше делать по всем трём.

Ограничения метода

Длина. До 300 слов оценки неустойчивы: два-три повтора меняют наклон на десятые.
Структура. Списки товаров, таблицы характеристик, код и FAQ-блоки нарушают распределение сами по себе. Для честной оценки анализируйте основной текст.
Смешение языков. Латинские термины в русском тексте и наоборот считаются наравне со всеми словами и могут сдвигать картину.
Не фактор ранжирования. Поисковые системы не публикуют «норму Ципфа». Закон — измерительный инструмент, подгонять текст под прямую бессмысленно.
Не доказательство ИИ. Сгенерированные тексты тоже подчиняются закону Ципфа, а человеческие нарушают его из-за жанра. Отклонение — повод перечитать текст, а не вердикт.