Новая категория уже опубликована, но в поиске ее нет? Прежде всего нужно помочь Google узнать о ней. Самый простой способ – сообщить о новинке через Search Console. Еще можно добавить переходы из других разделов своего сайта или разместить ссылку на внешнем ресурсе, который посещают поисковые роботы.
Однако обнаружить публикацию и включить ее в результаты поиска – не одно и то же. Если она долго отсутствует в выдаче, стоит проверить технические ограничения, доступность и содержание. Разберем, как ускорить индексацию сайта, что для этого делает сеошник в ходе продвижения web-сайтов и сколько нужно ждать.
Почему новые материалы не сразу попадают в поиск
После публикации происходит три вещи:
- Обнаружение. Поисковик узнает о новом адресе из XML-карты или ссылок на уже известных ресурсах.
- Сканирование. Робот Googlebot открывает URL и считывает содержимое. Этот процесс называют краулингом.
- Индексация. Система оценивает полученную информацию и решает, добавить ли ее в базу, из которой формируется выдача.
Между этими действиями бывает пауза. Более того, Google может посетить материал, но не включить его в индекс – например, если он почти полностью повторяет другую публикацию.
Сколько времени это занимает?
На конференции Search Central Live представитель Google Гэри Иллис приводил ориентиры: обнаружение нового URL – около 20 часов, обработка XML-карты – примерно сутки, непосредственно индексирование после обхода – около полутора часов. Повторного визита к известному адресу иногда приходится ждать до месяца.
Эти цифры не складываются в готовый срок. Одна категория появится в результатах быстро, другую бот долго не посетит, а третью сочтет ненужной для индекса. Если через пару дней новинки нет в выдаче, не спеши искать сбой: сначала выясни ее статус.
Шаг 1. Узнай статус URL через Search Console
Даже улучшение продающих качеств сайта – более удобный выбор товара, актуальные цены, понятная форма заказа, не дадут новых органических переходов на страницу, которой Google не показывает.
Чтобы узнать, на каком этапе – обнаружения сканирования, индексирования находится URL, открой Google Search Console, выбери инструмент «Проверка URL» и вставь полный адрес. Он покажет, известно ли содержимое поисковой системе и может ли она его индексировать. Для оценки всего ресурса есть отчет «Индексирование» → «Страницы».
|
Статус |
Что он означает и что делать |
|
URL есть в Google |
Материал уже включен в индекс. Если посетителей нет, причина может быть в позициях, а не в техническом доступе. |
|
Обнаружена, пока не проиндексирована |
Адрес известен, но обход еще не состоялся. Посмотри XML-карту, навигацию и состояние сервера. |
|
Просканирована, пока не проиндексирована |
Робот прочитал содержимое, но оно не попало в базу. Оцени пользу материала и сходство с другими URL. |
|
Заблокировано файлом robots.txt |
Правила закрывают обход. Убедись, что запрет действительно нужен. |
|
Исключено тегом noindex |
Для него задан прямой запрет на индексирование. |
|
Альтернативная страница с правильным canonical |
Google выбрал другую, основную версию. Если выбор верный, исправления не нужны. |
|
Копия: Google выбрал другой canonical / копия без выбранного canonical |
Сравни похожие варианты и проверь, какой из них должен участвовать в поиске. |
|
Страница с переадресацией / Не найдено (404) |
Ресурс перенаправлен или удален. Не обязательно ошибка, если это сделано намеренно. |
После исправлений можно нажать «Проверить опубликованную страницу» и убедиться, что изменения доступны роботу.
Шаг 2. Убери случайные запреты
Иногда причина отсутствия в выдаче – настройки, оставшиеся после разработки или обновления. Чтобы понять, как ускорить индексацию сайта Гуглом, различай два ограничения.
- robots.txt сообщает поисковым роботам, куда им разрешено заходить. В нем можно нечаянно закрыть важный раздел или весь ресурс. Проверь файл по адресу site.com/robots.txt.
- noindex просит не включать конкретный материал в результаты. Такая отметка уместна для служебных разделов, но не для карточки товара или страницы услуги, которую должны находить покупатели.
Разница важна: robots.txt запрещает обход, но сам по себе не гарантирует исчезновение адреса из выдачи. А чтобы увидеть noindex, робот должен иметь возможность открыть соответствующий URL.
В инструменте «Проверка URL» посмотри, доступно ли сканирование и разрешена ли индексация. Если обнаружился ошибочный запрет, его обычно исправляют в CMS; при необходимости подключают разработчика. Затем протестируй опубликованную версию.
Шаг 3: как ускорить индексацию нового сайта через XML-карту
Если магазин добавил сотню товаров, отправлять каждую карточку вручную нет смысла. Для этого существует sitemap.xml – список адресов, которые владелец предлагает поисковику для обхода. Большинство систем управления сайтом создают его автоматически.
Убедись, что новые категории и публикации появились в списке, удаленные позиции исключены, а фильтры и сортировки не создают десятки копий. В карте желательно оставлять основные, доступные для индексирования URL.
Открой в Search Console раздел «Файлы Sitemap», отправь карту и убедись, что файл прочитан. Если оптимизация сайта для поисковых систем ведется постоянно, главное – убедиться, что CMS обновляет список по мере появления новинок. Повторно отправлять карту без изменений каждый день не требуется.
Sitemap помогает быстрее сообщить о новых адресах, но не заменяет дальнейшую проверку их доступности и качества.
Шаг 4. Сделай новые разделы доступными по ссылкам
Поисковый робот переходит с одного URL на другой. Поэтому важные материалы должны быть доступны не только через карту, но и через перелинковку. Категорию размещают в меню или каталоге, карточку связывают с подходящей подборкой, а статью – с услугой, о которой она рассказывает. На мобильной версии эти переходы тоже должны работать.
Есть и второй путь: ссылки с других сайтов. Например, компания может представить новую услугу в отраслевом издании или договориться с партнером о публикации. Когда Google посетит сторонний ресурс, он сможет перейти по этой ссылке. Размещать ссылки где попало только ради ускорения не стоит – выбирай подходящие тематические площадки.
А как ускорить индексацию ссылок, если оплаченное размещение само не появляется в поиске? Через свой аккаунт Search Console отправить чужую статью нельзя. Попроси владельца площадки проверить, открывается ли публикация, ведут ли к ней внутренние переходы и можно ли запросить индексирование.
Если продвижение сайта и контекстная реклама идут параллельно, новая категория может получать платные клики еще до появления в обычных результатах поиска. Но реклама сама по себе не ускоряет индексацию.
Шаг 5. Разберись с дублями
Еще один способ, как улучшить индексацию сайта – проверить, нет ли лишних копий страниц. Допустим, каталог обуви открывается как обычная подборка, с сортировкой по цене и с фильтром по бренду. Содержание почти одинаковое, а адреса разные. Из таких вариантов Google обычно выбирает одну основную версию – каноническую (canonical).
Как проверить, все ли в порядке:
- В Search Console открой «Индексирование» → «Страницы». Посмотри причины исключения дублей: Alternate page with proper canonical tag, Duplicate without user-selected canonical, Duplicate, Google chose different canonical than user.
- Выбери несколько URL и открой «Проверку URL». Сравни канонический адрес, указанный на сайте, с вариантом, который выбрал поисковик.
- Если фильтров много, выгрузи список адресов из CMS или через краулер. Так проще найти лишние комбинации вроде ?sort=price: Search Console показывает лишь часть примеров.
Исправлять нужно не каждый дубль. Если основным выбран нужный раздел, остальные варианты обычно не требуют вмешательства. Проблема – когда приоритетный каталог уступает место версии с параметрами или когда тысячи однотипных адресов затрудняют обход новых товаров. Тогда SEO-специалист анализирует canonical, перенаправления, внутренние связи и карту сайта.
Почему это влияет на скорость?
У поисковика ограничены ресурсы на обход – это называют краулинговым бюджетом. Для небольшого сайта услуг проблема обычно несущественна. Но когда требуется продвижение сайта интернет-магазина с десятками тысяч товаров, лишние комбинации фильтров могут задерживать обход новинок. А для сезонного ассортимента быстрая индексация в Гугле особенно важна: покупатель должен находить актуальные предложения.
Сравни прежде всего важные категории и товарные карточки с теми, что уже есть в поисковой базе. Не нужно добиваться попадания туда всех технических вариантов. Также нельзя без разбора закрывать дубли через robots.txt или noindex: эти инструменты решают разные задачи, и ошибка может скрыть нужную продукцию.
Шаг 6. Проверь сервер и содержание
Даже правильно настроенный ресурс может сканироваться редко, если сервер периодически не отвечает или возвращает ошибки 5xx. Скорость и отзывчивость отдельных страниц оценивают через PageSpeed Insights, проблемы с обходом – через Search Console, а периодические сбои выявляют по журналам сервера. Последнее лучше поручить разработчику.
Бывает и обратное: технически все доступно, но карточки почти полностью повторяют друг друга, отличаясь только артикулом. Система может посчитать их дублями и оставить в индексе одну версию. В такой ситуации повторная отправка не поможет. Уточни реальные различия между товарами: характеристики, назначение, комплектацию, наличие, условия заказа. Искусственно переписывать одинаковые описания ради формальной уникальности не нужно.
Шаг 7: как ускорить индексацию страницы после исправлений
После публикации важного материала или устранения препятствия вернись в Google Search Console → «Проверка URL». Вставь адрес, при необходимости запусти проверку опубликованной версии и нажми «Запросить индексирование».
Одного запроса достаточно. Многократные нажатия не заставят робота прийти быстрее. Для массовых обновлений удобнее поддерживать актуальную XML-карту и внутренние переходы.
Помогут ли Indexing API и платные индексаторы?
Indexing API – способ автоматически уведомлять Google о некоторых обновлениях. Официально он предусмотрен для страниц вакансий и прямых трансляций, а не для обычных товаров, категорий и статей.
Платные индексаторы обещают быстро проиндексировать сайт, но прежде чем платить, выясни, что именно делает сервис и как проверяется результат. Гарантировать появление всех адресов в поиске он не может.
Индексация сайта в рамках SEO-сопровождения M. System
Контроль индексации – одна из регулярных задач SEO-сопровождения сайта. Она не заканчивается после первоначального аудита: в процессе продвижения появляются новые товары, категории и статьи, меняется структура, обновляются настройки. Все это может влиять на присутствие сайта в Google.
Поэтому в M. System мы следим, чтобы важные для бизнеса страницы попадали в поиск, а технические изменения не приводили к потере уже проиндексированных разделов. Если возникают проблемы, даем рекомендации по их устранению и проверяем результат.
Отдельно заказывать ускорение индексации обычно не нужно: эти задачи входят в комплексное SEO-сопровождение проекта. При этом программные доработки, если они необходимы, могут рассчитываться отдельно.