Індексація сайту - це сканування сторінок ботами Гугл і Яндекс для внесення його в свою базу. У цій базі пошуковики і шукають результати, що відповідають запитам користувачів.

Індексація займає деякий час: в Гугл близька 2-3 днів, в Яндекс - ще довше. У будь-якому випадку, в ваших інтересах, щоб боти звернули на вас увагу і внесли сторінки вашого ресурсу в індекс якомога швидше. Чому:

Сайт, який проіндексується швидше за інших, буде краще ранжуватися як першоджерело. Навіть якщо контент на сторінці запозичений.
Чим швидше сайт пройде індексацію, тим раніше він стане видимим для аудиторії.
Швидкість індексації побічно впливає на позиції у видачі.

Прискорити індексацію - в ваших силах. "Ловіть" готовий чек-лист!

Додати сайт в Яндекс Вебмастер і Google Search Console

Додавання опублікованого ресурсу в Google Search Console и веб-майстер Яндексу дозволить прискорити індексацію і наблизити час його появи в результатах пошуку. Після додавання і підтвердження прав сайт автоматично потрапляє в чергу на індексацію.

Крім того, в цих сервісах можна перевірити, чи занесена сторінка в індекс, а також вручну запустити переобхід окремо взятих сторінок або груп сторінок. Ще сервіси пропонують безліч інструментів для аналізу позицій сайту в пошуку і оцінки його технічного стану.

Правильне оформлення Robots.txt

Robots.txt - це стандарт винятків для пошукових роботів, яким керується більшість пошукових систем. Файл в форматі txt являє собою набір інструкцій для пошукових роботів, які забороняють індексацію тих чи інших сторінок, файлів або каталогів сайту.

В SEO robots.txt потрібен для виключення з індексації сторінок, які, зокрема, не містять корисний контент. Кількість сторінок, які пошуковий робот може обійти за один візит обмежена (поняття називається краулінговий бюджет). Правильно складений robots.txt дозволяє боту швидше проіндексувати тільки важливі сторінки, обходячи даремні.

Що конкретно потрібно зробити:

переконатися, що файл взагалі існує. Він розташовується в кореневій папці сайту за адресою site.com.ua/robots.txt.
переконатися, що сторінки, що підлягають індексації не приховані директивою Disallow і доступні для роботів. Якщо у файлі прописаний рядок «Disallow: /», це означає, що ресурс повністю недоступний для індексу пошукових систем.
якщо файлу robots.txt зовсім не існує - потрібно створити його і налаштувати.
що означає налаштувати: закрити доступ ботів до файлів системи, архівів, сторінок авторів, тегів, результатів пошуку.
перевірити вірність синтаксису robots.txt.

Якщо все зробити правильно - бот буде індексувати тільки важливий контент, уникаючи сторінок, непотрібних для ранжирування.

Створити правильну карту сайту

Також важливо впровадити грамотну структуру сайту. На основі структури потрібно зробити xml-карту, яка стане путівником для пошукових роботів по вашому сайту. Для цього в корені сайту створюється файл sitemap.xml, який буде доступний за посиланням site.com.ua/sitemap.xml

У ньому прописуються коди сторінок для індексу навіть із зазначенням відносного пріоритету і частоти оновлення сторінок.

Після, файл з картою відправляється в Google і Яндекс через ті ж Google Search Console и Яндекс Вебмайстер.

Бажано, щоб вкладеність сторінок в структурі не перевищувала трьох кліків від головної сторінки. Повторимося, кількість сторінок, які пошуковий бот обходить за раз, обмежена. Занадто широка структура призведе до того, що деякі важливі сторінки просто залишаться поза індексу. Вкладеність в три кліки дозволить боту без зусиль дістатися до всіх сторінок.

А правильно складена карта стане своєрідним навігатором для пошукових роботів.

Вибудувати зручну систему перелінківки і навігації сайту

Внутрішня система посилань ресурсу будує своєрідні посилальні містки для роботів Гугл і Яндекс і вказує їм потрібний шлях від однієї сторінки до наступної. У першу чергу боти, швидше за все, просканують сторінку з найбільшою посилальною вагою і трафіком. Відповідно, сторінки, на які вона посилається, теж будуть проіндексовані швидше.

Головне, щоб внутрішні посилання були релевантними, тобто, доречними в контексті сторінки.

Грамотно розподіліть вагу між сторінками, складіть систему перелінківки - і кожна сторінка гарантовано потрапить в індекс.

Навігація також впливає на індексацію. Правила грамотної навігації:

навігація повинна бути логічною і послідовною;
на сайті повинні бути "хлібні крихти" (схема навігаційного ланцюжка у верхній частині сторінки);
намагайтеся дотримуватися системи "три кліки від головної сторінки";
відмовтеся від виїжаючих і флеш меню, щоб не ускладнювати сканування.

В кінцевому рахунку, ваш сайт повинен бути зручним і зрозумілим для роботів і користувачів.

Зібрати якісні зворотні посилання

Чим більше ресурсів посилається на вас, тим більше причин у пошукових роботів швидше звернути на вас увагу. Але важлива не тільки кількість сайтів, але і їх якість:

пошуковики частіше сканують популярні, авторитетні, часто оновлювані ресурси, а значить і сторінки, на які вони посилаються;
велика кількість «сміттєвих» сторінок в посилальному профілі може призвести до санкцій алгоритму Google Penguin.

Купуйте посилання тільки у якісних, краще експертних донорів у вашій тематиці. Для пошуку донорів використовуйте сервіс Ahrefs.

Це сервіс для аналізу посилальної маси сайту, за допомогою якого можна знаходити зворотні посилання ресурсу і їх дані, аналізувати посилальні портфелі конкурентів, розробляти власні стратегії зовнішньої оптимізації.

Збільшити швидкість завантаження сайту

І знову повертаємося до краулінгового бюджету. Чим більше швидкість завантаження сайту, тим менше сторінок бот просканує в рамках одного візиту.

Оцініть швидкість завантаження сторінок за допомогою інструменту PageSpeed Insights. Це безкоштовний сервіс, який проведе аналіз параметрів завантаження ресурсу, оцінить швидкість за стобальною шкалою і дасть рекомендації щодо вжиття заходів для збільшення швидкості.

Регулярно публікувати і оновлювати контент

Чим частіше на сайті з'являється новий контент, чим більше приводів зазирнути на ваш сайт з'являється у пошукового робота.

Складіть план тематичних робіт і дотримуйтесь його за такими правилами:

нова публікація як мінімум раз на тиждень;
робіть перелінківку між старими і новими матеріалами;
не забувайте оновлювати, доповнювати застарілий контент;
публікуйте тільки якісний і унікальний контент.

Відносно останнього пункту: що таке якість і унікальність?

Якість - це цікаві та корисні для користувача матеріали з мінімальною кількістю води і непотрібної інформації. Для аналізу текстового контенту і його відповідності вимогам SEO можна використовувати сервіс Istio.

Унікальність - це значить, що контент на сторінці не є копіпастом не тільки з інших ресурсів, але і з вашого власного. Багато схожих матеріалів на сторінках вкрай негативно позначаться на індексації всього сайту. Унікальність сайту можна перевірити за допомогою сервісу "Антиплагіат" від Advego.

Використовувати пінгування

Пінгування - це технологія оповіщення ботів про розміщення нового контенту. Використання цієї технології можливе, якщо сервіси пінгування вбудовані в CMS вашого сайту.

Якщо ваш CMS передбачає таку функцію - скористайтеся цим. Пінгуйте тільки новий контент і важливі оновлення. Перестараєтесь - і пошукова система вважатиме вас спамером.