Продвигаем бизнес в Интернете с 2001 года

Индексация сайта в Google

Чтобы пользователи могли найти ваш сайт, поисковые системы должны его проиндексировать. После этого он будет доступен всем, кто введет в строку поиска соответствующий запрос. Рассказываем в статье более подробно о том, как добавить сайт в Google и избежать возможных ошибок.

08 июля 2017 года
Последнее обновление: 02 декабря 2020 года
1519

О чем статья:

  • Зачем поисковики индексируют сайты;

  • Почему это важно пользователям и компаниям;

  • Что влияет на индексацию;

  • Как проиндексировать сайт в Google;

  • Как проверить результат и избежать ошибок.

Индексация сайта: зачем она нужна и как выполняется

На конец 2020 года в интернете насчитывается около 2 миллиардов веб-сайтов. Из них активны примерно 400 миллионов. И каждый день создаются тысячи новых страниц. Чтобы пользователи могли легко и быстро находить в таком объеме данных именно то, что их интересует, поисковые системы четко структурируют информацию и размещают её в своих каталогах - в них хранятся сведения обо всех страницах всех сайтов в интернете.

Индексация сайтов – это, по сути, внесение всей имеющейся на страницах информации, включая изображения, тексты, ключевые фразы, ссылки, и видео, в каталог поисковика. Только после этого сайты могут попасть в поисковую выдачу.

Алгоритмы индексации

Индексацию выполняют поисковые роботы. Они в автоматизированном режиме проверяют обновление контента на сайте. Считается, что среди всех поисковых систем именно Google выполняет проверку новых ресурсов быстрее всего. Тем не менее, на скорость работы роботов также влияет посещаемость сайта и частота обновления информации. Например, на новостные порталы, где контент обновляется постоянно и через короткие промежутки времени, роботы заходят до нескольких раз в день. Если информация обновляется реже, то индексация может проводиться 1-2 раза в неделю. Если содержание страницы не обновлялось давно, робот будет заходить на нее, но не чаще раза в неделю.

За одно посещение робот индексирует 20-30 страниц, чтобы не перегружать сервер. Если на сайте больше страниц, робот зайдет на него несколько раз.
Каждый поисковик устанавливает глубину индексации – то есть, на сколько уровней робот может опуститься, переходя по ссылкам одного ресурса. Как правило, он изучает верхние уровни и при достижении определенной метки покидает сайт. Это означает, что при разветвленной структуре некоторые вложенные страницы могут остаться непроиндексированными. 

Ранжирование сайта после индексации

После того, как роботы закончат анализ страницы, они вносят всю информацию в базу данных каталога, ранжируют сайт и определяют его авторитетность. Показатели PageRank зависят от количества и качества ссылок, которые ведут на ресурс – чем больше ссылочная масса, тем выше рейтинг. Авторитетность страниц определяется по 10-балльной шкале. Если сайт набрал 4-5 баллов, то это хороший показатель. 


Требования к сайту для индексации

Есть три основных фактора, которые влияют на индексацию.

  • Посещаемость ресурса. Содержание страниц должно соответствовать запросам пользователей в поисковике. Для этого в текстах и метатегах необходимо размесить ключевые слова.

  • Качество контента. Контент должен быть уникальным и полезным, а тексты написаны без грамматических ошибок. Роботы отслеживают ошибки и снижают авторитетность сайтов. Желательно регулярно обновлять контент. О том, какой контент нравится Google, читайте в нашей статье.

  • Внутренняя оптимизация. Сайт должен иметь понятную и удобную для пользователей структуру. Необходимо, чтобы раздел контактов и обратной связи содержал релевантную информацию. Желательно размещать портфолио и отзывы. Все исходящие ссылки должны быть работающими. 

Как добавить сайт на индексацию в Google?

Для того чтобы сайт появился в результатах поиска Google, не обязательно предпринимать какие-либо действия. Рано или поздно поисковые роботы найдут его и проиндексируют. Но, как мы говорили выше, боты перемещаются по сайту, переходя по ссылкам, и если ссылочной массы, ведущей на страницу, недостаточно, то пройдет довольно много времени, прежде чем роботы попадут на неё.

Чтобы помочь поисковым алгоритмам быстрее понять, как организован контент на вашем сайте, и точнее проиндексировать его, Google предлагает бесплатный инструмент Search Console. С его помощью можно подавать запросы на индексирование, узнать, как роботы видят сайт, выявить и устранить проблемы. В Google Search Console можно получить информацию, которая поможет улучшить взаимодействие ресурса с системами и пользователями. 

Индексация сайта с помощью Search Console

Для индексации в Google, выполните следующие шаги:

  • Создайте Google-аккаунт, если у вас его еще нет, или авторизуйтесь в существующем.

  • Перейдите в раздел Инструменты веб-мастера по ссылке https://www.google.com/webmasters/tools/submit-url.

  • Введите адрес главной страницы сайта и пройдите проверку, что вы не робот.

  • Подтвердите свои права на сайт. В инструкции Google предлагает 8 вариантов подтверждения и напоминает, что лучше иметь несколько запасных на случай, если основной перестанет работать.

  • Создайте файл Sitemap.xml. Это карта сайта, в которой содержится информация о структуре и контенте ресурса – страницах, изображениях, видео и пр. В файле можно указать все дополнительные сведения: какие разделы важны, когда страница обновлялась последний раз, есть ли версии на других языках и другие. Также можно добавить специфические данные о видео и изображениях: продолжительность записи, возрастные ограничения, тип файла, условия лицензирования и т.д.

  • Проверьте, что в файле Sitemap.xml нет ошибок. В разделе Инструменты веб-мастера зайдите в панель управления сайтом. Нажмите кнопку «Сканирование» и выберите пункт «Файлы Sitemap». Перейдите в раздел «Добавление/проверка файла Sitemap» и укажите адрес файла. Выберите «Проверить Sitemap».

  • После проверки в этом же разделе нажмите на кнопку «Отправить файл Sitemap».

Теперь сайт индексируется в Google. Помните, что индексация материалов сайтов поисковиком не означает продвижение. Для того чтобы попасть в топ выдачи придется приложить гораздо больше усилий. Об эффективной поисковой оптимизации читайте в наших статьях с хештегом SEO.

Как проверить, что сайт проиндексирован

Базовый способ – посмотреть данные на обзорной странице Search Console. Там будут представлены все сводные данные на основе ключевых показателей, в том числе – статус индексирования. В Search Console также доступен Отчет об индексировании и Отчет о файлах Sitemap. Если вы видите рост количества ошибок, связанных с индексированием, своевременно исправляйте их, так как ошибки влияют на результаты поисковой оптимизации.

Второй вариант проверки – вручную с помощью поискового оператора «site:». Введите в поисковую строку команду: site:[url_сайта], чтобы получить данные о количестве проиндексированных страниц.

В автоматическом режиме можно выполнить проверку с помощь плагинов и букмарклетов – закладок браузера.

Также можно установить специальные сервисы для проверки индексации сайта


Возможные проблемы при индексации

Возможны две ситуации, при которых Google не проиндексирует ваш сайт:

  • В случае проблем с сервером. Вы увидите сообщение о том, что хостинг не отвечает на запросы системы, и не сможете выполнить процедуру. В этом случае повторите попытку позже, когда сайт снова заработает. Если проблемы с хостингом возникают систематически, подумайте о смене провайдера. Отсутствие ошибок на сайтах и стабильная их работа учитывается алгоритмами поисковых систем при ранжировании в выдаче. Кроме того, вряд ли вы захотите потерять клиентов из-за неработающего сайта.

  • При попадании под санкции Google. В этой ситуации появится сообщение о том, что адрес сайта запрещен к добавлению на индексацию. Санкции могут быть разными, и выданы по разным причинам. Если вы уверены, что не сделали ничего плохого за время владения сайтом, возможно, санкции были наложены в тот период, когда им управлял предыдущий собственник. Поэтому очень важно проверять сайты на бан поисковиков перед тем, как покупать их. Если вы узнали о санкциях по факту, можно попробовать узнать причину на форуме Google. Но для того, чтобы быстро пройти индексацию сайта, проще развивать проект на другом домене.

Быстрая индексация в Google


Чтобы не ждать, пока робот поисковой системы зайдет на сайт и проиндексирует новые страницы, можно ускорить процесс и прибегнуть к нескольким эффективным способам:
  • Через панель веб-мастера Google. В разделе «Сканировать» выберите пункт «Посмотреть как Googlebot». Вставьте адрес новой страницы в соответствующее поле без адреса самого сайта - то есть удалить из URL эту часть. Нажмите кнопку «Сканировать», а по завершении процесса – кнопку «Добавить в индекс». Появление сканированной страницы в индексе займет от нескольких минут до получаса. Единственный недостаток такого способа заключается в том, что его необходимо выполнять вручную. Если вам нужно проиндексировать в Google сразу несколько страниц, это потребует времени.

  • С использованием файла Sitemap.xml. Он определяет скорость индексации новых страниц, поэтому ссылки на них нужно добавлять сразу же. Так роботы будут находить их быстрее. Рекомендуем использовать динамический Sitemap.XML, а не обновлять его вручную после каждой корректировки сайта.

  • С помощью оптимизации файла robots.txt. Этот файл позволяет задать поисковым роботам Google директивы, в соответствии с которыми они могут проиндексировать содержимое сайта. На скорость процесса особенно влияет директива Disallow. Она определяет, какие файлы, веб-страницы и разделы не нужно индексировать и благодаря этому роботы быстрее доходят до новых страниц.

  • С помощью социальных сетей и RSS-канала. Можно ускорить индексацию сайта или нового контента, если опубликовать ссылки на него в социальных сетях. Добавьте на страницы кнопки соцсетей, чтобы посетители могли делиться вашими материалами в своих профилях и наращивать ссылочную массу. Создайте RSS-канал и добавляйте в него ссылки на новые страницы. С точки зрения пользователей, этот формат распространения информации устаревает, однако для поисковых систем он все еще является хорошим источником сведений о появлении нового материала на сайте.

Индексация сайта в Google – не самая сложная задача. Однако после индексации стоит заняться продвижением, а это уже требует комплексной и продолжительной работы.


Материал подготовила Светлана Сирвида-Льорентэ.

Теги:

Вам будет интересно

Хотите обсудить ваш проект?
Напишите нам о своих бизнес-задачах, и мы предложим проверенные решения.

Доставляем экспертный контент

Мы делимся с подписчиками экспертным контентом: отправляем полезные статьи, советы от специалистов, приглашаем на вебинары. Подпишитесь, чтобы узнать больше о продвижении бизнеса в Интернете, наших мероприятиях и репортажах с крупных отраслевых событий. Выберите наиболее удобную платформу для вас и наслаждайтесь контентом!

Нажимая на кнопку «Подписаться», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности

Спасибо за подписку!

Мы отправили вам проверочое письмо — пожалуйста, подтвердите адрес электронной почты, перейдя по ссылке внутри письма.

Произошла ошибка

Пожалуйста, попробуйте еще раз