Индексирование нового сайта: основные моменты, о которых неплохо бы знать

Если вы провели SEO-аудит, и не обнаружили у вашего сайта никаких смертельных болезней, время получить очередную дозу полезной информации на тему: «Как бы мне не поседеть, пока мой сайт начинает восхождение к вершинам?».

Ну, а проще говоря — ранжируется. ВНИМАНИЕ! Информация только для вебмастеров-практиков.

Для чего нужна настройка индексации?

Настройка индексации нужна для того, чтобы поисковые системы смогли легче добраться до важных страниц. Это например, могут быть страницы категорий или услуг.

Что сделать, чтобы поисковый робот попал на нужные страницы?

Необходимо избавиться от дублей страниц. Минимизировать лишнее «телодвижения» роботов поисковых систем по сайту.

Что для этого нужно настроить?

Robots.txt — закрыть не нужные пользователю разделы командой Disallow: / (Админка, служебные разделы для работы движка, которые не содержат картинки, стили ). Удалить дубли на страницах пагинации. Один из способов — это установить на них мет-тег rel=»canonical», дав поисковику понять, что это не основная версия страницы. Можно закрыть страницы вручную, разместив на них мета-теги noindex, follow пустые, ненужные для пользователя страницы: страницы регистрации, корзину и т.п.

Что еще необходимо настроить?

Про полезные тэги: опытным путем доказано — реальную пользу вам принесет только тэг rel=»сanonical» , и то — только для того, чтобы исключить из результатов поиска страницы пагинации.

Страницы фильтров и сортировки: Если сайта еще нет в индексе — страницы сортировок можно закрыть в robots.txt. Но это может быть неэффективно, т.к. в robots.txt мы лишь можем попросить бота не заходить на страницу. А Если он все-таки решит зайти, и на странице будет index, вместо noindex — бот может добавить страницу к себе в индекс. В итоге мы получим 2 дубля одной и той же страницы, либо, того хуже, нужная нам страница (ее правильная версия) вовсе выпадет из индекса, и в выдаче будет ее дубль.

Про канониклы: Если вы указываете тэг rel=»canonical», Яндекс рассматривает факторы с неканонической и канонической страницы одинаково.

Как удалить дубли страниц:

  • Настроить 301 редирект с неправильных версий на правильные.
  • Закрыть предварительно (до открытия сайта для поисковых систем) мета-тегами noindex, follow.

Еще немного про robots.txt : для нового сайта лучше запретить роботу переходить на страницы сортировок, фильтраций и пагинаций. Таким образом, больше шансов будет для того, чтобы в индекс не попали дубли страниц.

Выводы:

Конечно, всего не охватишь, и данные советы — только первоочередные помощники, которые помогут скорректировать жизненные силы сайта (но не создать его с нуля, не выдвинуть в топ-10 и не попасть в топ 100 самых влиятельных по версии Форбс).