Правила сканування для Drupal за допомогою налаштування файлу robots.txt
У Drupal robots.txt часто постачається разом із core і після оновлення або міграції може бути перезаписаний. Також потрібно враховувати Views, search, user routes, мовні префікси, Drupal Commerce та публічні файли.
Ми адаптуємо базові правила без блокування themes, modules, files та агрегованих ресурсів і узгоджуємо robots.txt із Simple XML Sitemap, Metatag і Redirect.
Важливо: технічні SEO-налаштування повинні працювати узгоджено з HTTP-кодами, canonical, внутрішніми посиланнями, індексацією та якістю контенту.
Коли потрібна послуга
- після оновлення змінився robots.txt
- використовується стандартний файл без аудиту
- заблоковані themes або modules
- є мовні префікси
- Views створюють технічні сторінки
- використовується Commerce
- sitemap не вказано
- на staging залишилися заборони
