Что такое индексация сайта и что о ней нужно знать

Время чтения: 5 мин.

Что такое индексация сайта

Качественная индексация сайта в поисковых системах, важный показатель от которого зависит, какой объём органического трафика получает ваш сайт.

Вначале давайте разведем два понятия которые используются в интернет-маркетинге, есть органический трафик – это пользователи, которые нашли ваш сайт «естественным путем», например, поисковые системы показывают ваш сайт при запросах, через справочники и информационные доски, по ссылкам на сторонних сайтах. И рекламный трафик – название говорит само за себя, пользователи попали на ваш сайт через рекламные объявления, баннера и т.д.

Большинство маркетологов стараются увеличить долю органического трафик, по очень простым причинам:

Пользователь с органического трафика больше мотивирован и готов к покупке не желе пользователь с рекламного. Это очевидно, если вы что-то целенаправленно ищите в интернете, например, запчасти или услуги по установки натяжных потолков, то вы точно настроены если не купить здесь и сейчас, то изучить рынок предложений. Показатель вовлеченности таких пользователей на сайте в большинстве случаев гораздо выше.
Пользователь с рекламного трафика может обходиться на много дороже, чем с органического. В некоторых сегментах бизнеса стоимость лида получаемого через рекламу может начинаться от 5000 тысяч и выше, а вот стоимость пользователя с органического трафика обходится значительно дешевле за счет относительно меньших вложений (в долгосрочной перспективе), но требует больше времени и качественного исполнения.

Индексация сайта - это внесение информации о вашем сайте в глобальную «библиотеку» поисковой системы. Умные поисковые алгоритмы без устали работают и анализируют огромное количество сайтов, переходят по ссылкам внутри сайта, они собирают необходимую информацию в глобальный реестр баз данных.

Индексация сайтов поисковыми системами происходит в несколько этапов:

Сбор информации о странице. Поисковые роботы отправляют запрос на указанный сайт и получают ответ в виде HTML-кода.
Анализ HTML-кода. Робот анализирует код страницы и находит ссылки на другие страницы.
Следование по ссылкам. Робот переходит по найденным ссылкам и повторяет процедуру анализа HTML-кода.
Сохранение информации. Поисковые системы сохраняют информацию о каждой странице, включая ее заголовок, текст, метаданные, ссылки и т.д., в свою базу данных.
Ранжирование страниц. Поисковая система анализирует собранную информацию и присваивает каждой странице ранг в соответствии с ее релевантностью и авторитетностью. Формул коммерческого ранжирования от Яндекса (с 2013 года): R = V * (2T+U+D+2S) где: V - это ассортимент продукции, 2T - доверие к компании или сайту, U - юзабилити сайта, D - качество дизайна сайта, 2S - сервис компании на сайте и офлайн. Важно! Что именно широкий ассортимент придает весь всему сайту, поэтому магазины или маркет плейсы практически всегда занимают верхнюю поисковую выдачу.

Показ результатов поиска. Когда пользователь вводит запрос, поисковая система выбирает из своей базы данных страницы, наиболее соответствующие по запросу, и отображает их в результатах поиска, упорядоченных по рангу.

По какому принципу ранжируются сайты

Результаты ранжирования, именно то, что определяет на каком месте будут показываться страницы вашего сайта в глобальной выдаче. Поэтому очень важно после создания сайта, регулярно проводить работы по его улучшению с учетом требований поисковых алгоритмов, которые стоит отметить, периодически изменяются, а также потребностей и ожиданий ваших пользователей повышая показатель вовлеченности последних.

Поисковая система присваивает сайту свой ранг на основе многих факторов, которые могут варьироваться в зависимости от конкретной поисковой системы, но обычно включают в себя следующие:

Качество и уникальность контента на сайте
Количество и качество ссылок на сайт из других ресурсов
Релевантность ключевых слов на сайте и их соответствие запросу пользователя
Удобство использования сайта и его навигация
Скорость загрузки страниц сайта
Наличие мобильной версии сайта и ее оптимизация
Наличие социального присутствия сайта
Частота обновления контента на сайте

Поисковая система алгоритмически обрабатывает эти факторы и выдает ранжирование сайтам по определенному ключевому слову или запросу пользователя.

Как проверить индексацию вашего сайта

Проверить как отображается ваш сайта в поисковых системах вы можете достаточно быстро и без привлечения SEO-специалиста, для этого можно использовать следующие команды:

site:[URL сайта] — увидите все проиндексированные страницы сайта;

cache:[адрес нужной страницы] — узнаете, когда страницу в последний раз сканировали роботы;

site:[адрес нужной страницы] — поймёте, индексировала ли поисковая система эту страницу.

Благодаря информации, полученной через запросы вы можете быстро определить, индексируется ваш сайта вообще, видят ли его поисковый робот. Количество проиндексированных страниц, если у вас на сайте их 10, а из полученной информации вы видите только 5, то нужно разобраться по каким причинам остальные страницы закрыты от «глаз» роботов. Как страницы вашего видят пользователи (заголовок, описание страницы, ссылки) и оценить на сколько она отвечает запросам.

Если ваш сайта добавлен в Яндекс-вебмастер или Google Search Console (но лучше в оба ресурса), то вы можете проверить это и без команд, перейдя в личный кабинет сервисов. Здесь у вас будет на много больше информации о проблемах на вашем сайте мешающих его индексации

Как закрыть сайт от индексации и в каких случаях это нужно

Закрыть сайт от индексации можно с помощью файла robots.txt или мета-тега noindex.

Файл robots.txt позволяет указать поисковым роботам на какие страницы сайта им нельзя производить индексацию. Этот метод может использоваться для скрытия от поисковиков страниц с конфиденциальной информацией, неактуальными или дублирующими контентом, а также для защиты от нежелательной индексации тестовых страниц или страниц, которые еще не закончены.

User-agent: *
Disallow: /

Мета-тег noindex также указывает на то, что страницу не нужно индексировать. Он может быть использован для временного или постоянного скрытия страницы от поисковых роботов.

<meta* name="robots" content="index,follow">

Необходимость закрыть сайт от индексации может возникнуть в следующих случаях:

конфиденциальная информация на страницах сайта;
на сайте присутствует дублирующий или некачественный контент;
у сайта есть временные или тестовые страницы, которые не должны быть показаны в результатах поиска;
сайт является разработкой или находится в стадии тестирования и не готов для публикации.

Как подняться вашему сайту в поисковой выдаче

Мы выделили несколько важных, на наш взгляд, способов, которыми сайт может попасть в топ поисковой выдачи:

Забыть о мысли «Сайт у нас не плохой, поэтому поисковики его поднимут». Не поднимут, а если совсем ничего не делать, то со временем и текущие позиции ваш сайт потеряет, так как конкуренты не дремлют, у пользователей появляются новы запросы и ожидания, а требования к сайту у поисковых алгоритмов периодически изменяются, все это требует регулярной работы с сайтом.
Оптимизация контента: создание высококачественного, уникального контента, соответствующего запросам пользователей и поисковым запросам, а также оптимизация ключевых слов и фраз для более точного соответствия запросам.
Техническая оптимизация: использование правильных тегов, заголовков страниц, мета-описаний, ускорение загрузки страниц, удобный дизайн и мобильная адаптивность.
Повышение авторитетности сайта: использование ссылок от внешних сайтов, участие в социальных сетях и активность в интернете.
Реклама: использование платной рекламы, такой как контекстная, таргетированная, социальная и баннерная.
Постоянный мониторинг показателей сайта и анализ результатов оптимизации с целью непрерывного улучшения показателей и поднятия сайта в топ поисковой выдачи.

Это далеко не исчерпывающий список, но качественная проработка рассматриваемых пунктов, существенно улучшить позиции сайта и позволит быстрее добиться результатов.