Індексація сайту - процес додавання відомостей про сайт роботом до бази даних, яка потім використовується для пошуку. Бот індексує сторінки сайту, посилання, зображення, відео та інші елементи. Якщо сайт або окрема сторінка не проіндексовані, пошукова система просто не їх побачить. В такому разі сторінка не буде показуватись користувачам підчас пошуку.

Кожна пошукова система (Google, Yandex, Bing ы т.д) має свої пошукові роботи і свою базу проіндексованих сайтів. Тому якщо вас сайт є в пошуковій видачі google, це не гарантує того, що він буде в видачі інших систем (наприклад, Yandex).

Також варто зауважити, що пошуковий робот може швидко просканувати весь сайт. Але додавати до індексу повільно, не додавати частину сторінок або видаляти сторінки з індексу.

Існує декілька способів, як перевірити чи індексується сайт. Перевіряти можна відразу всі сторінки чи кожну окремо.

Власник сайту може додати його до інструментів для вебмайстрів від Яндекса та Google. Там можна отримати найповнішу та достовірнішу інформацію про індексування, а також дізнатися про помилки.

Якщо доступу до управління сайтом немає, ви можете перевірити індексацію вручну в пошуковій видачі або автоматично за допомогою спеціальних сервісів та програм.

Тепер давайте про все по порядку.

Yandex (використовуючи пошукову систему)

Перевірка індексації сторінки

Необхідно у рядок пошуку Яндекс написати наступний запит:

url:domain.ua/page/

domain.ua/page/ - адреса сторінки, що перевіряється.

url: - Оператор для перевірки індексації сторінки.

Якщо в результатах пошуку сторінку знайдено, вона проіндексована даною пошуковою системою. приклад.

Якщо за запитом нічого не знайдено, сторінка не проіндексована

Перевірка індексації всього сайту в Яндексі

Для перевірки індексації всього сайту в Яндекс необхідно використати наступний запит:

url:domain.ua/*

domain.ua - доменне ім'я сайту, що перевіряється.

url: - оператор для перевірки індексації сторінки.

В результаті отримуємо список проіндексованих сторінок, а праворуч від результатів видачі написано скільки всього сторінок даного сайту знаходиться в пошуку. приклад.

Google (використовуючи пошукову систему)

Перевірка індексації сторінки

Необхідно ввести в рядок пошуку Google запит:

site:domain.ua/page

domain.ua/page - адреса сторінки, що перевіряється.

site: - оператор для перевірки індексації сторінки.

Якщо сторінку проіндексовано, значить у результатах пошуку буде посилання на сторінку, що перевіряється. приклад.

Перевірка індексації всіх сторінок сайту Google

Для перевірки індексації сторінки в пошуковій системі Google необхідно ввести в рядок пошуку запит:

site:domain.ua

domain.ua - доменне ім'я сайту.

site: - оператор перевірки індексації всіх сторінок сайту.

У результатах пошуку з'явиться список сторінок пошуку, а під пошуковим рядком загальна кількість проіндексованих сторінок. приклад.

Google Search Console - консоль вебмайстрів 

В чому перевага Google Search Console?

• Допомагає швидко провести перевірку будь-якого сайту на індексацію та знайти всі помилки.
• Відображає статус кожної сторінки.

Як перевірити?

• Заходимо до Search Console;
• Переходимо до розділу «Перевірка URL»;
• Вписуємо посилання у пошуковий рядок;
• Бачимо результат:

Докладніше про індексацію в Google Search Console можна знайти в розділі «Покриття».

Чому не індексується сайт?

• Новий сайт.
  Іноді потрібно просто зачекати. Сторінки до індексу не потрапляють усі й одразу. Часто цей процес розтягується кілька місяців.
• Немає карти сайту (sitemap).
  Якісна карта сайту допоможе пошуковим роботам швидше просканувати та проіндексувати ваш сайт. Посилання на карту потрібно додати до панелі вебмайстрів і файлу robots.txt.
• Помилки на веб-сайті.
  Панелі вебмайстрів регулярно повідомляють власників сайтів про помилки. Чи помітили проблему в індексації? Дивіться, які помилки знаходить робот, та виправляйте їх.
• Помилка з метатегом robots.
  Часта помилка при несвідомій зміні налаштувань CMS або хостингу. У коді сторінок сайту з'являється наступний рядок:
  
• Помилка з X-Robot-Tag.
  X-Robots-Tag - HTTP-заголовок, але, на відміну від метатегу robots, він знаходиться не на сторінці, а безпосередньо у файлі конфігурації сервера. Вебмайстри можуть закрити сайт, вносячи зміни або запускаючи тестову версію, а потім забути видалити. Перевірити, чи ваш сайт закритий за допомогою X-Robots-Tag, можна в Netpeak Spider або в консолі розробника:
• Помилка з robots.txt.
  Перевірте файл robots.txt, можливо сайт чи окремі сторінки закриті від індексації пошуковимим роботами.