Консультація
Головна / Послуги / Налаштування robots.txt для WordPress
Керування скануванням сайту

Налаштування robots.txt для WordPress

Перевіримо, які сторінки й файли доступні роботам,
усунемо небезпечні блокування та налаштуємо правила
для WordPress, WooCommerce і XML Sitemap.

Консультація Написати в телеграм

Зрозумілі правила сканування без випадкового блокування сайту

Robots.txt повідомляє пошуковим роботам, які URL вони можуть сканувати. У WordPress файл може генеруватися автоматично, змінюватися SEO-плагіном або бути фізично розміщеним у корені сайту. Якщо ці джерела конфліктують, Google може не отримати важливі сторінки, стилі чи скрипти або витрачати ресурси на непотрібні технічні адреси.

Спочатку визначаємо, звідки фактично віддається robots.txt: із WordPress, фізичного файла, плагіна, сервера або CDN. Потім перевіряємо правила для wp-admin, admin-ajax.php, wp-content, uploads, пошуку, RSS-стрічок, параметрів і службових сторінок WooCommerce.

Для магазину окремо аналізуємо кошик, оформлення замовлення, особистий кабінет, сортування, фільтри та URL із параметрами. Там, де сторінку потрібно прибрати з пошуку, використовуємо відповідний noindex або інший механізм, а не покладаємося лише на Disallow.

Коли потрібне налаштування robots.txt

  • Google Search Console повідомляє, що важливий ресурс або сторінку заблоковано
  • за адресою /robots.txt відображаються неочікувані чи застарілі правила
  • WordPress, SEO-плагін і фізичний файл формують різний результат
  • після розробки або міграції сайт залишився закритим від пошукових систем
  • у налаштуваннях читання активовано заборону індексації сайту
  • заблоковано admin-ajax.php, CSS, JavaScript або зображення, потрібні для сторінок
  • WooCommerce створює багато URL кошика, кабінету, пошуку, сортування чи фільтрів
  • XML Sitemap не вказаний або robots.txt посилається на старий домен
  • після встановлення плагіна змінилися правила сканування
  • потрібно зменшити сканування непотрібних параметричних URL

Варіанти реалізації

Корпоративний сайт Базові правила WordPress і посилання на sitemap.
Інтернет-магазин WooCommerce, фільтри, кошик, checkout і кабінет.
Аудит і виправлення Пошук блокувань, конфліктів плагінів, сервера та CDN.
Нестандартні правила Окремі боти, параметри, мультимовність і custom URL.
Вартість від 4000 грн
Терміни від 3 днів
Залишити заявку

Який результат отримаєте

Result

Налаштувати Robots.txt для WordPress

Пошукові роботи отримують точні й безпечні правила

Ви отримуєте один зрозумілий robots.txt, який відповідає реальній структурі WordPress. Важливі сторінки та ресурси залишаються доступними, а непотрібні для сканування технічні URL обмежуються без конфлікту з індексацією.

  • усунено випадковий Disallow для всього сайту або важливих розділів
  • визначено одне джерело правил без конфлікту WordPress і плагінів
  • wp-admin обмежено без блокування потрібного admin-ajax.php
  • CSS, JavaScript, фото й ресурси теми доступні для коректного рендерингу
  • технічні URL WooCommerce опрацьовані відповідним способом
  • robots.txt узгоджений із noindex, canonical і XML Sitemap
  • фінальна відповідь перевірена після кешу, CDN і серверних налаштувань
  • правила можна підтримувати після оновлення WordPress і SEO-плагінів
Перевірка robots.txt

Важлива сторінка
заблокована для Google?

Надішліть адресу сайту та повідомлення з Search Console, якщо воно є. Перевіримо фактичний robots.txt, джерело правил і запропонуємо конкретне виправлення.

Написати в телеграм

Отримати консультацію

Відповіді на питання

Корисно знати

Практичні відповіді про віртуальний robots.txt, wp-admin, ресурси теми, WooCommerce, noindex і SEO-плагіни.

Чи створює WordPress robots.txt автоматично?

Так. Якщо в корені сайту немає фізичного файла, WordPress може генерувати віртуальний robots.txt за адресою /robots.txt. Його вміст також можуть змінювати SEO-плагіни або програмні фільтри. Тому перевіряємо не лише файли на хостингу, а фактичну відповідь, яку отримує пошуковий робот.

Що робить опція «Не рекомендувати пошуковим системам індексувати сайт»?

Ця опція в розділі «Налаштування → Читання» призначена для тестових або непублічних сайтів. У сучасних версіях WordPress вона додає на сторінки директиву noindex через meta robots. Перед запуском проєкту перевіряємо, чи опцію вимкнено, і чи не залишив noindex SEO-плагін, тема або серверний заголовок.

Чи можна прибрати сторінку з Google через robots.txt?

Robots.txt не гарантує видалення URL із пошуку: сторінку можуть знайти за зовнішніми або внутрішніми посиланнями й показати без опису. Для заборони індексації використовують noindex, захист паролем, обмеження доступу або видалення сторінки. При цьому робот повинен мати доступ до URL, щоб побачити noindex.

Чи потрібно блокувати wp-admin і admin-ajax.php?

Службовий розділ wp-admin зазвичай обмежують для сканування. Водночас admin-ajax.php часто використовується публічною частиною сайту для форм, фільтрів, кошика та інших AJAX-функцій, тому WordPress за замовчуванням залишає його доступним. Перед зміною правила перевіряємо реальну функціональність сайту.

Чи можна повністю закрити wp-content і uploads?

Зазвичай ні. У wp-content і uploads містяться CSS, JavaScript, шрифти, зображення та інші ресурси, потрібні Google для правильного рендерингу сторінок. Загальний Disallow для цих каталогів може погіршити розуміння сайту та індексацію зображень. Обмежувати варто лише конкретні технічні підкаталоги після перевірки.

Як опрацьовуються кошик, checkout і кабінет WooCommerce?

Ці сторінки зазвичай не мають потрапляти в пошук, але одного Disallow недостатньо. Перевіряємо їхні meta robots, canonical, наявність у sitemap та внутрішні посилання. Параметри сортування й фільтрів аналізуємо окремо, оскільки частина фільтрованих сторінок може бути корисною для SEO.

Чи потрібен фізичний robots.txt при Yoast SEO або Rank Math?

Не завжди. Головне — мати одне кероване джерело правил. Якщо фізичний файл уже існує, він може перекривати віртуальну відповідь WordPress і зміни з плагіна. Після редагування також очищаємо кеш сайту та CDN і повторно перевіряємо публічну адресу /robots.txt.

Що потрібно надати для налаштування robots.txt?

Для первинної перевірки достатньо адреси сайту та повідомлень із Google Search Console, якщо вони є. Для впровадження зазвичай потрібен доступ адміністратора WordPress і доступ до файлів або панелі хостингу. Також важливо знати, які SEO-, кеш- і security-плагіни використовуються та чи підключений CDN.

Ваше ім'я Обов'язково для заповнення
E-mail Обов'язково для заповнення
Повідомлення Обов'язково для заповнення
Надіслати питання
Robots.txt для WordPress

Перевіримо правила
сканування вашого сайту

Узгодимо WordPress, WooCommerce, SEO-плагіни, sitemap, кеш і CDN — без блокування важливих сторінок та ресурсів.

Написати в телеграм

Залишити заявку

Telegram канал про сайти

Публікуємо практичні рекомендації з розробки, SEO, просування, автоматизації та доопрацювання сайтів.
Показуємо реальні кейси, корисні інструменти й рішення для бізнесу.

Підписатися на Telegram-канал
Зачекайте