Нову категорію вже опубліковано, але в пошуку її немає? Насамперед потрібно допомогти Google дізнатися про неї. Найпростіший спосіб – повідомити про новинку через Search Console. Ще можна додати переходи з інших розділів свого сайту або розмістити посилання на зовнішньому ресурсі, який відвідують пошукові роботи.
Однак виявити публікацію та включити її до результатів пошуку – не одне й те саме. Якщо вона довго відсутня у видачі, варто перевірити технічні обмеження, доступність і вміст. Розберемо, як прискорити індексацію сайту, що для цього робить SEO-спеціаліст під час просування web-сайтів і скільки потрібно чекати.
Чому нові матеріали не одразу потрапляють у пошук
Після публікації відбуваються три речі:
- Виявлення. Пошукова система дізнається про нову адресу з XML-карти або посилань на вже відомих ресурсах.
- Сканування. Робот Googlebot відкриває URL і зчитує вміст. Цей процес називають краулінгом.
- Індексація. Система оцінює отриману інформацію та вирішує, чи додавати її до бази, з якої формується видача.
Між цими діями буває пауза. Ба більше, Google може відвідати матеріал, але не включити його до індексу – наприклад, якщо він майже повністю повторює іншу публікацію.
Скільки часу це займає?
На конференції Search Central Live представник Google Гері Ілліс наводив орієнтири: виявлення нового URL – близько 20 годин, обробка XML-карти – приблизно доба, безпосередньо індексування після обходу – близько півтори години. Повторного візиту до відомої адреси іноді доводиться чекати до місяця.
Ці цифри не складаються в готовий термін. Одна категорія з’явиться в результатах швидко, іншу бот довго не відвідуватиме, а третю вважатиме непотрібною для індексу. Якщо через кілька днів новинки немає у видачі, не поспішай шукати збій: спочатку з’ясуй її статус.
Крок 1. Дізнайся статус URL через Search Console
Навіть покращення комерційних якостей сайту – зручніший вибір товару, актуальні ціни, зрозуміла форма замовлення, не дадуть нових органічних переходів на сторінку, яку Google не показує.
Щоб дізнатися, на якому етапі – виявлення, сканування, індексування перебуває URL, відкрий Google Search Console, вибери інструмент «Перевірка URL» і встав повну адресу. Він покаже, чи відомий вміст пошуковій системі та, чи може вона його індексувати. Для оцінки всього ресурсу є звіт «Індексування» → «Сторінки».
|
Статус |
Що він означає та що робити |
|
URL є в Google |
Матеріал уже включено до індексу. Якщо відвідувачів немає, причина може бути в позиціях, а не в технічному доступі. |
|
Виявлено, наразі не проіндексовано |
Адреса відома, але обхід ще не відбувся. Перевір XML-карту, навігацію та стан сервера. |
|
Проскановано, наразі не проіндексовано |
Робот прочитав вміст, але він не потрапив до бази. Оціни користь матеріалу та схожість з іншими URL. |
|
Заблоковано файлом robots.txt |
Правила закривають обхід. Переконайся, що заборона справді потрібна. |
|
Виключено тегом noindex |
Для нього задано пряму заборону на індексування. |
|
Альтернативна сторінка з правильним canonical |
Google вибрав іншу, основну версію. Якщо вибір правильний, виправлення не потрібні. |
|
Копія: Google вибрав інший canonical / копія без вибраного canonical |
Порівняй схожі варіанти та перевір, який із них має брати участь у пошуку. |
|
Сторінка з переадресацією / Не знайдено (404) |
Ресурс перенаправлено або видалено. Це не обов’язково помилка, якщо так зроблено навмисно. |
Після виправлень можна натиснути «Перевірити опубліковану сторінку» та переконатися, що зміни доступні роботу.
Крок 2. Прибери випадкові заборони
Іноді причина відсутності у видачі – налаштування, що залишилися після розробки або оновлення. Щоб зрозуміти, як прискорити індексацію сайту Гуглом, розрізняй два обмеження.
- robots.txt повідомляє пошуковим роботам, куди їм дозволено заходити. У ньому можна випадково закрити важливий розділ або весь ресурс. Перевір файл за адресою site.com/robots.txt.
- noindex просить не включати конкретний матеріал до результатів. Така позначка доречна для службових розділів, але не для картки товару або сторінки послуги, яку мають знаходити покупці.
Різниця важлива: robots.txt забороняє обхід, але сам собою не гарантує зникнення адреси з видачі. А щоб побачити noindex, робот повинен мати можливість відкрити відповідний URL.
В інструменті «Перевірка URL» подивися, чи доступне сканування та, чи дозволена індексація. Якщо виявилася помилкова заборона, її зазвичай виправляють у CMS; за потреби залучають розробника. Потім протестуй опубліковану версію.
Крок 3: як прискорити індексацію нового сайту через XML-мапу
Якщо магазин додав сотню товарів, надсилати кожну картку вручну немає сенсу. Для цього існує sitemap.xml – список адрес, які власник пропонує пошуковій системі для обходу. Більшість систем керування сайтом створюють його автоматично.
Переконайся, що нові категорії та публікації з’явилися у списку, видалені позиції виключені, а фільтри та сортування не створюють десятки копій. У карті бажано залишати основні, доступні для індексування URL.
Відкрий у Search Console розділ «Файли Sitemap», надішли карту та переконайся, що файл прочитано. Якщо оптимізація сайту для пошукових систем ведеться постійно, головне – переконатися, що CMS оновлює список у міру появи новинок. Повторно надсилати незмінену карту щодня не потрібно.
Sitemap допомагає швидше повідомити про нові адреси, але не замінює подальшу перевірку їхньої доступності та якості.
Крок 4. Зроби нові розділи доступними за посиланнями
Пошуковий робот переходить з одного URL на інший. Тому важливі матеріали мають бути доступні не лише через карту, а й через перелінкування. Категорію розміщують у меню або каталозі, картку пов’язують із відповідною добіркою, а статтю – з послугою, про яку вона розповідає. У мобільній версії ці переходи теж повинні працювати.
Є й другий шлях: посилання з інших сайтів. Наприклад, компанія може представити нову послугу в галузевому виданні або домовитися з партнером про публікацію. Коли Google відвідає сторонній ресурс, він зможе перейти за цим посиланням. Розміщувати посилання де завгодно лише заради прискорення не варто – вибирай відповідні тематичні майданчики.
А як прискорити індексацію посилань, якщо оплачене розміщення саме не з’являється в пошуку? Через свій акаунт Search Console надіслати чужу статтю не можна. Попроси власника майданчика перевірити, чи відкривається публікація, чи ведуть до неї внутрішні переходи та чи можна запросити індексування.
Якщо просування сайту та контекстна реклама йдуть паралельно, нова категорія може отримувати платні кліки ще до появи у звичайних результатах пошуку. Але реклама сама собою не прискорює індексацію.
Крок 5. Розберися з дублями
Ще один спосіб, як покращити індексацію сайту – перевірити, чи немає зайвих копій сторінок. Припустімо, каталог взуття відкривається як звичайна добірка, із сортуванням за ціною та з фільтром за брендом. Вміст майже однаковий, а адреси різні. З таких варіантів Google зазвичай вибирає одну основну версію – канонічну (canonical).
Як перевірити, чи все гаразд:
- У Search Console відкрий «Індексування» → «Сторінки». Подивися причини виключення дублів: Alternate page with proper canonical tag, Duplicate without user-selected canonical, Duplicate, Google chose different canonical than user.
- Вибери кілька URL і відкрий «Перевірку URL». Порівняй канонічну адресу, зазначену на сайті, із варіантом, який вибрала пошукова система.
- Якщо фільтрів багато, вивантаж список адрес із CMS або через краулер. Так простіше знайти зайві комбінації на кшталт ?sort=price: Search Console показує лише частину прикладів.
Виправляти потрібно не кожен дубль. Якщо основним вибрано потрібний розділ, інші варіанти зазвичай не потребують втручання. Проблема – коли пріоритетний каталог поступається місцем версії з параметрами або коли тисячі однотипних адрес ускладнюють обхід нових товарів. Тоді SEO-спеціаліст аналізує canonical, перенаправлення, внутрішні зв’язки та карту сайту.
Чому це впливає на швидкість?
У пошукової системи обмежені ресурси на обхід – це називають краулінговим бюджетом. Для невеликого сайту послуг проблема зазвичай несуттєва. Але коли потрібне просування сайту інтернет-магазину з десятками тисяч товарів, зайві комбінації фільтрів можуть затримувати обхід новинок. А для сезонного асортименту швидка індексація в Гуглі особливо важлива: покупець має знаходити актуальні пропозиції.
Порівняй насамперед важливі категорії та товарні картки з тими, що вже є в пошуковій базі. Не потрібно домагатися потрапляння туди всіх технічних варіантів. Також не можна без розбору закривати дублі через robots.txt або noindex: ці інструменти розв’язують різні завдання, і помилка може приховати потрібну продукцію.
Крок 6. Перевір сервер і вміст
Навіть правильно налаштований ресурс може скануватися рідко, якщо сервер періодично не відповідає або повертає помилки 5xx. Швидкість і чутливість окремих сторінок оцінюють через PageSpeed Insights, проблеми з обходом – через Search Console, а періодичні збої виявляють за журналами сервера. Останнє краще доручити розробнику.
Буває й навпаки: технічно все доступно, але картки майже повністю повторюють одна одну, відрізняючись лише артикулом. Система може вважати їх дублями та залишити в індексі одну версію. У такій ситуації повторне надсилання не допоможе. Уточни реальні відмінності між товарами: характеристики, призначення, комплектацію, наявність, умови замовлення. Штучно переписувати однакові описи заради формальної унікальності не потрібно.
Крок 7: як прискорити індексацію сторінки після виправлень
Після публікації важливого матеріалу або усунення перешкоди повернися до Google Search Console → «Перевірка URL». Встав адресу, за потреби запусти перевірку опублікованої версії та натисни «Запросити індексування».
Одного запиту достатньо. Багаторазові натискання не змусять робота прийти швидше. Для масових оновлень зручніше підтримувати актуальну XML-карту та внутрішні переходи.
Чи допоможуть Indexing API та платні індексатори?
Indexing API – спосіб автоматично повідомляти Google про деякі оновлення. Офіційно він передбачений для сторінок вакансій і прямих трансляцій, а не для звичайних товарів, категорій і статей.
Платні індексатори обіцяють швидко проіндексувати сайт, але перш ніж платити, з’ясуй, що саме робить сервіс і як перевіряється результат. Гарантувати появу всіх адрес у пошуку він не може.
Індексація сайту в межах SEO-супроводу M. System
Контроль індексації – одне з регулярних завдань SEO-супроводу сайту. Він не закінчується після початкового аудиту: у процесі просування з’являються нові товари, категорії та статті, змінюється структура, оновлюються налаштування. Усе це може впливати на присутність сайту в Google.
Тому в M. System ми стежимо, щоб важливі для бізнесу сторінки потрапляли в пошук, а технічні зміни не призводили до втрати вже проіндексованих розділів. Якщо виникають проблеми, організовуємо їх усунення та перевіряємо результат.
Окремо замовляти прискорення індексації зазвичай не потрібно: ці завдання входять до комплексного SEO-супроводу проєкту. При цьому програмні доопрацювання, якщо вони необхідні, можуть розраховуватися окремо.