Индексация сайта — это сканирование страниц ботами Гугл и Яндекс для внесения его в свою базу. В этой базе поисковики и ищут результаты, отвечающие запросам пользователей.
Индексация занимает некоторое время: в Гугл около 2-3 дней, в Яндекс - еще дольше. В любом случае, в ваших интересах, чтобы боты обратили на вас внимание и внесли страницы вашего ресурса в индекс как можно быстрее. Почему:
- Сайт, который проиндексируется быстрее других, будет лучше ранжироваться как первоисточник. Даже если контент на странице позаимствован.
- Чем быстрее сайт пройдёт индексацию, тем раньше он станет видимым для аудитории.
- Скорость индексации косвенно влияет на позиции в выдаче.
Ускорить индексацию - в ваших силах. “Ловите” готовый чек-лист!
Добавить сайт в Яндекс Вебмастер и Google Search Console
Добавление опубликованного ресурса в Google Search Console и webmaster.yandex.ru позволит ускорить индексацию и приблизить час его появления в результатах поиска. После добавления и подтверждения прав сайт автоматически попадает в очередь на индексацию.
Кроме того, в этих сервисах можно проверить, занесена ли страница в индекс, а также вручную запустить переобход отдельно взятых страниц или групп страниц. Еще сервисы предлагают множество инструментов для анализа позиций сайта в поиске и оценки его технического состояния.
Правильное оформление Robots.txt
Robots.txt — это стандарт исключений для поисковых ботов, которым руководствуется большинство поисковиков. Файл в формате txt представляет собой набор инструкций для ботов, которые запрещают индексацию тех или иных страниц, файлов или каталогов сайта.
В SEO robots.txt нужен для исключения из индексации страниц, которые, в частности, не содержат полезный контент. Количество страниц, которые поисковый робот может обойти за один визит ограничено (понятие называется краулинговый бюджет). Правильно составленный robots.txt позволяет боту быстрее проиндексировать только важные страницы, обходя бесполезные.
Что конкретно нужно сделать:
- убедиться, что файл вообще существует. Он располагается в корневой папке сайта по адресу site.com.ua/robots.txt.
- убедиться, что страницы, подлежащие индексации не скрыты директивой Disallow и доступны для роботов. Если в файле прописана строка «Disallow: /», это значит, что ресурс полностью недоступен для индекса поисковиков.
- если файла robots.txt вовсе не существует — нужно создать его и настроить.
- что значит настроить: закрыть доступ ботов к файлам системы, архивам, страницам авторов, тегам, результатам поиска.
- Проверить правильность синтаксиса robots.txt.
Если все сделать правильно - бот будет индексировать только важный контент, избегая страниц, бесполезных для ранжирования.
Создать правильную карту сайта
Также важно внедрить грамотную структуру сайта. На основе структуры нужно сделать xml-карту, которая станет путеводителем для поисковых роботов по вашему сайту. Для этого в корне сайта создается файл sitemap.xml, который будет доступен по ссылке site.com.ua/sitemap.xml
В нем прописываются коды страниц для индекса даже с указанием относительного приоритета и частоты обновления страниц.
После, файл с картой отправляется в Google и Яндекс через те же Google Search Console и webmaster.yandex.ru.
Желательно, чтобы вложенность страниц в структуре не превышала трех кликов от главной страницы. Повторимся, количество страниц, которые поисковый бот обходит за раз, ограничено. Слишком широкая структура приведет к тому, что некоторые важные страницы просто останутся вне индекса. Вложенность в три клика позволит боту без усилия добраться до всех страниц.
А правильно составленная карта станет своеобразным навигатором для поисковых ботов.
Выстроить удобную систему перелинковки и навигации сайта
Внутренняя система ссылок ресурса строит своеобразные ссылочные мостики для роботов Гугл и Яндекс и указывает им нужный путь от одной страницы к следующей.
Первым делом боты, скорее всего, просканируют страницу с самым большим ссылочным весом и трафиком. Соответственно, страницы, на которые она ссылается, тоже будут проиндексированы быстрее.
Главное, чтобы внутренние ссылки были релевантными, т.е., уместными в контексте страницы.
Грамотно распределите вес между страницами, составьте систему перелинковки - и каждая страница гарантированно попадет в индекс.
Навигация также оказывает влияние на индексацию. Правила грамотной навигации:
- навигация должна быть логичной и последовательной;
- на сайте должны быть “хлебные крошки” (схема навигационной цепочки вверху страницы);
- старайтесь сохранять систему “три клика от главной страницы”;
- откажитесь от выезжающих и флэш меню, чтобы не усложнять сканирование.
В конечном счете, ваш сайт должен быть удобным и понятным для роботов и юзеров.
Собрать качественные обратные ссылки
Чем больше ресурсов ссылается на вас, тем больше причин у поисковых ботов скорее обратить на вас внимание. Но важно не только количество сайтов, но и их качество:
- поисковики чаще сканируют часто обновляющиеся, популярные, авторитетные ресурсы, а значит и страницы, на которые они ссылаются;
- большое количество “мусорных” страниц в ссылочном профиле может привести к санкциям алгоритма Google Penguin.
Покупайте ссылки только у качественных, лучше экспертных доноров в вашей тематике. Для поиска доноров используйте сервис ahrefs.com.
Это сервис для анализа ссылочной массы сайта, при помощи которого можно находить обратные ссылки ресурса и их данные, анализировать ссылочные портфели конкурентов, разрабатывать собственные стратегии внешней оптимизации.
Увеличить скорость загрузки сайта
И снова возвращаемся к краулинговому бюджету. Чем больше скорость загрузки сайта, тем меньше страниц бот просканирует в рамках одного визита.
Оцените скорость загрузки страниц при помощи инструмента PageSpeed Insights. Это бесплатный сервис, который проведет анализ параметров загрузки ресурса, оценит скорость по стобалльной шкале и даст рекомендации по принятию мер для увеличения скорости.
Регулярно публиковать и обновлять контент
Чем чаще на сайте появляется новый контент, чем больше поводов заглянуть на ваш сайт появляется у поискового робота.
Составьте план контентных работ и следуйте ему, придерживаясь таких правил:
- новая публикация как минимум раз в неделю;
- делайте перелинковку между старыми и новыми материалами;
- не забывайте обновлять, дополнять устаревший контент;
- публикуйте только качественный и уникальный контент.
Касательно последнего пункта: что такое качество и уникальность?
Качество - это интересные и полезные для пользователя материалы с минимальным количеством воды и бесполезной информации. Для анализа текстового контента и его соответствия требованиям SEO можно использовать сервис istio.com.
Уникальность - это значит, что контент на странице не является копипастом не только с других ресурсов, но и с вашего собственного. Много схожих материалов на страницах крайне негативно отразятся на индексации всего сайта. Уникальность сайта можно проверить при помощи сервиса “Антиплагиат” от 1.
Использовать пингование
Пингование - это технология оповещения ботов о размещении нового контента. Использование этой технологии возможно, если сервисы пингования встроены в CMS вашего сайта.
Если ваш движок предусматривает такую функцию - воспользуйтесь этим. Пингуйте только новый контент и важные обновления. Переусердствуете - и поисковик сочтет вас спамером.
Technical Lead SEO