Удаление невидимых символов из текста

Как убрать скрытые символы ChatGPT из текста

Чтобы удалить невидимые символы из текста, вставьте его в поле выше и нажмите «Очистить текст». Скрипт пройдёт по каждому символу, найдёт те, что не видно на экране, и соберёт чистую копию. Ниже результата — тот же текст с подсветкой: красные метки (ZWSP, ZWJ, SHY, BOM) — символы нулевой ширины, фиолетовые (LRM, RLM, PDF) — управляющие, синие (NBSP, NNBSP) — особые пробелы, жёлтая рамка — буква-двойник из другого алфавита. Наведите курсор на метку — увидите код Unicode и название символа.

Таблица под подсветкой отвечает на вопрос «что именно было в тексте»: символ, код, сколько раз встретился и что с ним сделано — удалён, заменён обычным пробелом или правильной буквой. Если какая-то опция выключена, символ останется в тексте с пометкой «оставлен».

Какие невидимые символы бывают в ответах ИИ

Отдельный случай — Unicode-теги (U+E0020–E007E). Каждый такой символ кодирует букву ASCII, но не отображается. Так в текст можно спрятать целую фразу, например инструкцию для языковой модели. Инструмент удаляет теги и показывает, какой текст в них был. Теги внутри эмодзи-флагов (например, флаг Англии) он не трогает.

Есть ли у ChatGPT водяной знак в тексте

Короткий ответ: подтверждённого водяного знака из скрытых символов нет. OpenAI публично обсуждала статистические водяные знаки для текста, но не объявляла, что включила их в ChatGPT. Google для Gemini использует SynthID Text, но это тоже статистическая метка: она зашита в выбор слов, а не в отдельные символы.

В 2025 году пользователи заметили в ответах некоторых моделей ChatGPT узкие неразрывные пробелы U+202F и обсуждали их как «водяной знак». Доказательств, что это намеренная метка, нет. Такие символы появляются и без умысла: из обучающих текстов, из типографики, при копировании из веб-интерфейса, Word или Google Docs. Поэтому честная формулировка такая: невидимые символы — артефакты, которые стоит убрать перед публикацией. Удаление не меняет слова, а значит, не влияет на статистические метки и на оценку AI-детекторов.

Как удалить невидимые символы без инструмента

Microsoft Word

Включите отображение непечатаемых знаков (Ctrl+Shift+8): неразрывный пробел станет кружком, мягкий перенос — значком «¬». В окне «Найти и заменить» (Ctrl+H) есть спецкоды: ^s — неразрывный пробел, ^- — мягкий перенос. Символы нулевой ширины ищутся по коду: ^u8203 для U+200B, ^u65279 для BOM.

Код: JavaScript, PHP, Python

// JavaScript
text = text.replace(/[\u200B-\u200F\u2060-\u2064\uFEFF\u00AD]/g, '').replace(/[\u00A0\u202F]/g, ' ');

// PHP
$text = preg_replace('/[\x{200B}-\x{200F}\x{2060}-\x{2064}\x{FEFF}\x{00AD}]/u', '', $text);

# Python
text = re.sub(r'[\u200b-\u200f\u2060-\u2064\ufeff\u00ad]', '', text)

Такие регулярные выражения удаляют и ZWJ внутри эмодзи: «👨‍👩‍👧» распадётся на три отдельных смайла. Инструмент на этой странице проверяет соседние символы и оставляет ZWJ между двумя эмодзи.

VS Code и редакторы кода

VS Code по умолчанию подсвечивает невидимые и неоднозначные символы Unicode (настройки editor.unicodeHighlight.invisibleCharacters и editor.unicodeHighlight.ambiguousCharacters). Если в шаблоне или в тексте из CMS появилась рамка вокруг «пустого» места — это тот же ZWSP или NBSP.

Откуда берутся скрытые символы, если текст писал не ИИ

Невидимые символы попадают в текст не только из чат-ботов. Word и Google Docs при автозамене вставляют неразрывные пробелы и мягкие переносы, PDF при копировании приносит переносы и разрывы строк U+2028, сайты отдают ­ и   из вёрстки, мессенджеры добавляют знаки направления в сообщения с арабским или ивритом. BOM почти всегда приходит из файла, сохранённого в Блокноте Windows в кодировке «UTF-8 с BOM». Поэтому чистить стоит любой текст, который собирается из нескольких источников, а не только ответы нейросети.

Как убедиться, что текст чистый

Вставьте результат обратно в поле и запустите очистку ещё раз: сообщение «скрытых символов не найдено» означает, что работа сделана. Второй быстрый тест — сравнить число символов до и после в счётчике слов: разница равна числу удалённых символов нулевой ширины. В CMS после вставки проверьте режим HTML-кода: там не должно остаться ​, ‌ или ­.

Гомоглифы: латиница внутри русского слова

Буквы «а», «е», «о», «р», «с», «у», «х» и заглавные А, В, Е, К, М, Н, О, Р, С, Т, Х выглядят одинаково в кириллице и латинице. Слово «продвижение», в котором одна «о» набрана латиницей, читается нормально, но поиск по сайту, проверка орфографии и поисковые системы считают его другим словом. Инструмент разбирает каждое слово: если в нём смешаны два алфавита, буквы «меньшинства» заменяются двойниками из основного алфавита. Слова целиком на одном алфавите не трогаются — «iPhone» или «SEO» в русском тексте останутся как есть.

Неразрывные пробелы: когда их оставить

Опция замены пробелов включена по умолчанию: в тексте из чат-бота неразрывные и узкие пробелы обычно случайны. Но в русской и украинской вёрстке неразрывный пробел ставят намеренно — между числом и единицей («10 км»), после инициалов, перед тире. Если вы готовите текст для типографии или он уже прошёл редактора, снимите галочку: символы будут подсвечены, но останутся на месте.

Порядок проверки перед публикацией

1. Очистите текст здесь и скопируйте результат.
2. Если в тексте много длинных тире, «ёлочек» и разметки markdown, пропустите его через очистку ИИ-текста.
3. Нужен формальный отчёт с типами меток (для клиента или редакции) — используйте детектор водяных знаков; подробнее о типах меток — в статье о скрытых водяных знаках.
4. Оценку «похож ли текст на ИИ» даёт только анализ стиля — для этого есть AI-детектор.