Парсер кейвордов из Sitemap

Парсер кейвордов с sitemap: что он делает

Инструмент берёт карту сайта (sitemap.xml) любого сайта, вашего или конкурента, и вытаскивает ключевые слова из адресов страниц. Хорошие сайты пишут в URL суть страницы: /divany/uglovoj-divan-loft/. Если собрать такие адреса со всего сайта и посчитать слова, получится карта того, какие темы и товарные группы у сайта есть и сколько страниц приходится на каждую. На выходе две таблицы, по 100 строк максимум:

• Топ-термины — отдельные слова из URL с частотой и примером адреса, где слово встретилось;
• Топ-фразы — пары соседних слов (биграммы), которые обычно точнее показывают тему: «uglovoj divan», «king size».

Сверху сводка: сколько URL разобрано, сколько уникальных терминов и фраз и сколько файлов sitemap прочитано. Результат можно скачать в CSV (колонки type, keyword, count, sample_url) или скопировать топ-30 терминов одним нажатием. Инструмент бесплатный, регистрация не нужна.

В отличие от краулеров, парсер не открывает сами страницы: он читает только файлы карты сайта. Поэтому разбор тысячи адресов занимает секунды и почти не нагружает чужой сервер. Обратная сторона в том, что анализируются только адреса, без заголовков и текста страниц. Если URL на сайте неговорящие, результата не будет.

Пример: что получится на выходе

Допустим, в карте сайта мебельного магазина шесть адресов:

/catalog/divany/uglovoj-divan-loft/
/catalog/divany/pryamoj-divan-oslo/
/catalog/krovati/krovat-loft-160/
/blog/kak-vybrat-divan/
/catalog/divany/uglovoj-divan-milan/
/product/divan-krovat-oslo/

Парсер выбросит служебные слова catalog, blog, product и число 160, а из остального соберёт:

На реальном сайте с тысячей страниц картина гораздо нагляднее: десятки страниц под «uglovoj divan», три под «divan krovat», ни одной под «modulnyj divan». Так видно, на какие запросы конкурент сделал отдельные посадочные страницы и где у него пробелы.

Как собрать ключи конкурента из карты сайта

1. Найдите карту. Можно ввести просто адрес сайта: если ссылка не похожа на файл sitemap, инструмент сам попробует /sitemap.xml и /sitemap_index.xml. Если там пусто, откройте example.com/robots.txt: адрес карты указан в строке Sitemap:.
2. Выберите нужную часть. У больших сайтов карта разбита на файлы: товары, категории, статьи. Индекс (sitemap index) инструмент разберёт сам и прочитает до 20 вложенных файлов. Но если вам нужны только категории, точнее указать конкретный файл, например /product_cat-sitemap.xml у WordPress + Yoast.
3. Выставьте язык стоп-слов. «Авто» отсекает предлоги и союзы сразу на русском, украинском, английском и польском. Конкретный язык полезен, когда короткое слово из другого языка значимо для вашей ниши.
4. Задайте лимит URL. От 50 до 2000, по умолчанию 500. Для обзора темы хватит 500, для полного магазина ставьте 2000 и разбирайте карту по частям.
5. Скачайте CSV и повторите то же для своего сайта. Сравнив две таблицы, вы увидите группы, которые есть у конкурента и которых нет у вас.

Где искать карту сайта и три рабочих сценария

Типовые адреса карт по движкам: WordPress без плагинов — /wp-sitemap.xml, WordPress с Yoast или Rank Math — /sitemap_index.xml, Shopify, Tilda и 1С-Битрикс с SEO-модулем — /sitemap.xml. Любой из этих адресов можно вставить прямо в поле.

1. Структура каталога конкурента. Разберите карту категорий или товаров лидера ниши. Самые частые фразы покажут, на какие группы он делает отдельные страницы: по типу («uglovoj divan»), по материалу, по размеру, по городу. Если у вас эти группы свалены в одну категорию с фильтрами, это кандидаты в отдельные посадочные страницы.
2. Темы блога. Укажите только файл статей конкурента (у Yoast это /post-sitemap.xml). Топ-фразы покажут, о чём он пишет регулярно, а по примерам URL видно конкретные статьи. Сравните со своим блогом: темы, которых у вас нет, — готовый список для контент-плана.
3. Обзор ниши. Прогоните карты пяти-десяти конкурентов, сложите CSV в одну таблицу и посчитайте, у скольких сайтов встречается каждая фраза. Группы, которые есть почти у всех, — обязательный минимум, а редкие могут оказаться свободными нишами или просто ненужными. Это проверяется спросом.

Учтите, что инструмент не выгружает полный список адресов из карты: в отчёте только термины и фразы с примером URL к каждому. Ограничение по частоте запусков — до 8 разборов в минуту плюс дневной лимит для тяжёлых инструментов.

Как читать результат: частота, транслит, фразы

• Частота — сколько раз слово встретилось во всех адресах. Если слово повторяется в одном URL дважды (/divan/uglovoj-divan/), засчитаются оба раза. В целом частота близка к числу страниц по теме.
• Морфологии нет. «divan» и «divany», «sofa» и «sofas» — разные строки. Объединяйте их сами при группировке.
• Транслит остаётся транслитом. Если на сайте латинские адреса, вы получите «uglovoj», «kupit», «dlya». Стоп-слова заданы в родной письменности, поэтому транслитерированные «kak» и «dlya» не отсекаются. Кириллические адреса (/диваны/угловые/) декодируются и разбираются нормально.
• Фразы склеиваются через уровни. Соседними считаются слова после фильтрации, в том числе из разных частей пути, поэтому появляются пары вроде «divany uglovoj» (раздел + товар). Это не ошибка: такие фразы показывают иерархию разделов.
• Что отбрасывается: чистые числа, слова короче 3 символов, служебные слова (www, html, php, page, blog, news, tag, category, catalog, product, shop и т. п.), домен и параметры после ?. Если у сайта адреса вида /p/12345, извлекать нечего, и вы увидите сообщение, что термины не найдены.
• Сжатые карты .xml.gz не разбираются. Укажите несжатую версию, если она есть.

Что делать с ключами дальше

Слова из URL — это то, под что сайт уже сделал страницы, а не то, что ищут люди. Поэтому следующий шаг — проверить спрос. Возьмите фразы, переведите транслит обратно в нормальный текст («uglovoj divan» → «угловой диван») и проверьте частотность и подсказки в подборе ключевых слов. Дальше распределите запросы по страницам: одна группа запросов — одна посадочная страница. Как это делается и зачем, описано в статье о семантическом ядре.

На своём сайте результат парсинга заодно выявляет грязные адреса: дубли слов в URL, смешанный транслит («kupit» и «kupyty»), технические хвосты, которые попали в карту. Если в карте нашлись адреса, которых там быть не должно (фильтры, пагинация, закрытые страницы), проверьте её целиком в анализе sitemap.xml. Если две страницы вашего сайта собирают одну и ту же фразу, проверьте их на конкуренцию в выдаче через поиск каннибализации запросов.