Парсер ключових слів із Sitemap

Парсер ключових слів із sitemap: що він робить

Інструмент бере карту сайту (sitemap.xml) будь-якого сайту, вашого чи конкурента, і витягує ключові слова з адрес сторінок. Добре зроблені сайти пишуть в URL суть сторінки: /dyvany/kutovyi-dyvan-loft/. Якщо зібрати такі адреси з усього сайту й порахувати слова, вийде карта того, які теми й товарні групи є на сайті та скільки сторінок припадає на кожну. Результат — дві таблиці, до 100 рядків кожна:

• Топ-терміни: окремі слова з URL із частотою та прикладом адреси, де слово трапилося;
• Топ-фрази: пари сусідніх слів (біграми), які зазвичай точніше показують тему, наприклад «kutovyi dyvan» чи «king size».

Угорі зведення: скільки URL розібрано, скільки унікальних термінів і фраз і скільки файлів sitemap прочитано. Результат можна завантажити в CSV (колонки type, keyword, count, sample_url) або скопіювати топ-30 термінів одним натисканням. Інструмент безкоштовний і працює без реєстрації.

На відміну від краулерів, парсер не відкриває самі сторінки, а читає лише файли карти сайту. Тому розбір тисячі адрес триває секунди й майже не навантажує чужий сервер. Зворотний бік у тому, що аналізуються лише адреси, без заголовків і тексту сторінок. Якщо URL на сайті неінформативні, результату не буде.

Приклад: що вийде на виході

Припустімо, у карті сайту меблевого магазину шість адрес:

/dyvany/kutovyi-dyvan-loft/
/dyvany/priamyi-dyvan-oslo/
/lizhka/lizhko-loft-160/
/blog/yak-obraty-dyvan/
/dyvany/kutovyi-dyvan-milan/
/product/dyvan-lizhko-oslo/

Парсер відкине службові слова blog, product і число 160, а з решти збере:

На справжньому сайті з тисячею сторінок картина значно наочніша: десятки сторінок під «kutovyi dyvan», три під «dyvan lizhko», жодної під «modulnyi dyvan». Так видно, під які запити конкурент зробив окремі посадкові сторінки і де в нього прогалини.

Як зібрати ключі конкурента з карти сайту

1. Знайдіть карту. Можна ввести просто адресу сайту: якщо посилання не схоже на файл sitemap, інструмент сам спробує /sitemap.xml і /sitemap_index.xml. Якщо там порожньо, відкрийте example.com/robots.txt, де адресу карти вказано в рядку Sitemap:.
2. Оберіть потрібну частину. У великих сайтів карта поділена на файли: товари, категорії, статті. Індекс (sitemap index) інструмент розбере сам і прочитає до 20 вкладених файлів. Але якщо вам потрібні лише категорії, точніше вказати конкретний файл, наприклад /product_cat-sitemap.xml у WordPress + Yoast.
3. Виставте мову стоп-слів. «Авто» відсікає прийменники й сполучники одразу українською, російською, англійською та польською. Конкретна мова корисна, коли коротке слово з іншої мови важливе для вашої ніші.
4. Задайте ліміт URL від 50 до 2000, за замовчуванням 500. Для огляду теми вистачить 500, для повного магазину ставте 2000 і розбирайте карту частинами.
5. Завантажте CSV і повторіть те саме для свого сайту. Порівнявши дві таблиці, ви побачите групи, які є в конкурента і яких немає у вас.

Де шукати карту сайту і три робочі сценарії

Типові адреси карт за рушіями: WordPress без плагінів — /wp-sitemap.xml, WordPress із Yoast чи Rank Math — /sitemap_index.xml, Shopify, Tilda, Хорошоп і 1С-Бітрікс із SEO-модулем — зазвичай /sitemap.xml. Будь-яку з цих адрес можна вставити просто в поле.

1. Структура каталогу конкурента. Розберіть карту категорій або товарів лідера ніші. Найчастіші фрази покажуть, під які групи він робить окремі сторінки: за типом («kutovyi dyvan»), матеріалом, розміром, містом. Якщо у вас ці групи звалені в одну категорію з фільтрами, це кандидати на окремі посадкові сторінки.
2. Теми блогу. Вкажіть лише файл статей конкурента (у Yoast це /post-sitemap.xml). Топ-фрази покажуть, про що він пише регулярно, а за прикладами URL видно конкретні статті. Порівняйте зі своїм блогом: теми, яких у вас немає, — готовий список для контент-плану.
3. Огляд ніші. Проженіть карти п'яти-десяти конкурентів, зведіть CSV в одну таблицю й порахуйте, у скількох сайтів трапляється кожна фраза. Групи, які є майже в усіх, — обов'язковий мінімум. Рідкісні можуть виявитися вільними нішами або просто непотрібними, і це перевіряється попитом.

Зважте, що інструмент не вивантажує повний список адрес із карти: у звіті лише терміни й фрази з прикладом URL до кожного. Обмеження за частотою — до 8 розборів на хвилину плюс денний ліміт для важких інструментів.

Як читати результат: частота, транслітерація, фрази

• Частота показує, скільки разів слово трапилося в усіх адресах. Якщо слово повторюється в одному URL двічі (/dyvan/kutovyi-dyvan/), зарахуються обидва. Загалом частота близька до кількості сторінок за темою.
• Морфології немає. «dyvan» і «dyvany», «sofa» і «sofas» — різні рядки, об'єднуйте їх під час групування самі.
• Транслітерація лишається транслітерацією. Якщо на сайті латинські адреси, ви отримаєте «kutovyi», «kupyty», «dlia». Стоп-слова задані рідною абеткою, тому транслітеровані «yak» чи «dlia» не відсікаються. Кириличні адреси (/дивани/кутові/) декодуються й розбираються нормально.
• Фрази склеюються через рівні. Сусідніми вважаються слова після фільтрації, зокрема з різних частин шляху, тож з'являються пари на кшталт «dyvany kutovyi» (розділ + товар). Це не помилка: такі фрази показують ієрархію розділів.
• Що відкидається: самі числа, слова коротші за 3 символи, службові слова (www, html, php, page, blog, news, tag, category, catalog, product, shop тощо), домен і параметри після ?. Якщо в сайту адреси вигляду /p/12345, витягати нічого, і ви побачите повідомлення, що терміни не знайдено.
• Стиснені карти .xml.gz не розбираються. Вкажіть нестиснену версію, якщо вона є.

Що робити з ключами далі

Слова з URL — це те, під що сайт уже зробив сторінки, а не те, що шукають люди. Тож наступний крок — перевірити попит. Візьміть фрази, перетворіть транслітерацію на звичайний текст («kutovyi dyvan» → «кутовий диван») і перевірте частотність і підказки в підборі ключових слів. Далі розподіліть запити по сторінках: одна група запитів — одна посадкова сторінка. Як це робиться і навіщо, описано в статті про семантичне ядро.

На власному сайті результат парсингу заразом виявляє брудні адреси: повтори слів в URL, змішану транслітерацію («kupyty» і «kupit»), технічні хвости, що потрапили в карту. Якщо в карті знайшлися адреси, яких там бути не повинно (фільтри, пагінація, закриті сторінки), перевірте її повністю в аналізі sitemap.xml. Якщо дві сторінки вашого сайту збирають ту саму фразу, перевірте, чи не конкурують вони у видачі, за допомогою пошуку канібалізації запитів.