Как проиндексировать сайт в Google и повысить его позиции в поиске

Время прочтения: 7 минут

Теги: SEO, Google

О чем статья:

• Что такое индексирование?
• Кому необходима индексация сайта в Google?
• Как улучшить индексацию сайта в Google: пошаговая инструкция
• Как ускорить индексацию сайта в Google?
• Выводы

Для кого эта статья?

• Для маркетологов
• Для SEO-специалистов
• Для директоров по развитию компаний
• Для владельцев бизнеса

Что такое индексирование?

На конец 2022 года в интернете насчитывалось около 1,97 миллиардов веб-сайтов. Из них были активны примерно 400 миллионов. Каждый день создаются тысячи новых страниц. Чтобы пользователи могли находить в таком объеме данных именно то, что их интересует, поисковые системы структурируют информацию и размещают её в своих каталогах. 

Индексация сайта – это сохранение и анализ всего имеющегося на странице контента, включая изображения тексты, ключевые фразы, ссылки, видео, в индексе поисковой системы, то есть в базе данных поисковика. Только после этого сайты могут попасть в поисковую выдачу. Без индексации их невозможно найти через поиск, хотя можно увидеть в рекламных объявлениях на поиске.

Кому необходима индексация сайта в Google?

Проиндексировать сайт в этой поисковой системе необходимо абсолютно любому бизнесу. Сайты созданы чтобы привлекать трафик, а без индексации этого не получится. К тому же с 2022 года рекламная платформа Google Ads в России не работает. Таким образом, поисковая выдача – единственный способ показать свои страницы пользователям Google и получить переходы. Но пока сайта нет в индексе, SEO-продвижение невозможно.

Алгоритмы индексации

Индексирование выполняют поисковые роботы, которые в автоматизированном режиме проверяют обновление контента.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

«Посещаемость и частота обновления информации почти не влияет на скорость работы поисковых роботов. Значительное влияние оказывают качество работы сервера, оптимизация размера отдельных изображений и видео на страницах, наличие или отсутствие ошибок во внутренней перелинковке таких как «битые» ссылки, редиректы».

Например, на популярные новостные порталы, где контент обновляется постоянно и через короткие промежутки времени, роботы заходят до нескольких раз в день. На менее известных и реже обновляемых индексация сайта может проводиться 1-2 раза в неделю.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

«Считается количество проиндексированных страниц в день, а не за один заход. Нигде нет информации как долго робот ходит по сайту и прерывает ли он свой поход на время. Количество проиндексированных страниц в день у всех сайтов разное и зависит от пунктов, перечисленных в предыдущем комментарии. Чем лучше сайт с точки зрения технической оптимизации, тем больше страниц в день робот проиндексирует».

На практике последние годы Google не так охотно индексирует все страницы подряд, как раньше. Он ежедневно сканирует миллиарды URL и может не успеть, не заметить новые адреса, на которые даже нет ссылок с других ресурсов. Если поисковый робот сочтет документ или весь сайт некачественным, он не добавит его в индекс и может больше не заходить на него. В этом случае продвижение сайта в Google не происходит.

Также при разветвленной структуре некоторые вложенные страницы могут остаться непроиндексированными, так как бот проверит верхние уровни и покинет сайт. Важное значение имеет перелинковка и распределение веса страниц. Если на документ не ведут внутренние ссылки, поисковый робот может счесть его незначимым и не посетить.

В итоге индексация новых или обновленных документов в этой поисковой системе, в отличие от Яндекса, требует более внимательного подхода. 

Как улучшить индексацию сайта в Google: пошаговая инструкция

Чтобы мотивировать Googlebot зайти на сайт и заставить его делать это регулярно, нужно сделать следующее:

• Проинформировать поисковую систему о существовании сайта;

• Регулярно мониторить и устранять технические ошибки, из-за которых Google сочтет ресурс некачественным;

• Заполнить проект полезным, экспертным, авторитетным контентом, чтобы привлечь пользователей и показать поисковику высокое качество сайта;

• Провести линкбилдинг, получив внешние ссылки с трастовых ресурсов;

• Проверять индексацию при помощи инструментов оптимизатора.

Как проинформировать поисковую систему о существовании сайта

Зайдите в Google Search Console. Если вы там впервые, кабинет сразу предложит вам подтвердить права на новый проект, как показано на скриншоте ниже. Либо нажмите вверху слева «Добавить ресурс» – появится такое же диалоговое окно.

Подтверждение прав на проект в Google Search Console

Подтвердить свои права вебмастера можно несколькими способами:

• Запись DNS (ТХТ или CNAME) доступна для любого типа ресурса.

• Для сайтов с протоколом безопасности HTTPS возможно также подтверждение через HTML-файл или мета тег HTML, а также через аккаунты Google Analytics или Google Диспетчер тегов (если они у вас есть).

В любом варианте – DNS или HTML-код – операция достаточно простая и доступна для вебмастера с минимальными навыками использования административной панели сайта. 

Чтобы облегчить роботу индексацию, создайте на хостинге XML-карту сайта – файл Sitemap.xml. Его можно написать вручную либо использовать соответствующий плагин вашей CMS. У вас должна быть хорошая скорость загрузки сайта.

Обычно карту размещают в корневом каталоге,например: www.domain.ru/sitemap.xml. И указывают ссылку на файл в служебном файле robots.txt, который тоже расположен в корневом каталоге, с помощью директивы: Sitemap: www.domain.ru/sitemap.xml.

После чего через Google Search Console сообщите роботу, где его ожидает карта сайта. Для этого в разделе меню «Индексирование» выберите «Файл Sitemap», добавьте адрес и отправьте.

Как сообщить роботу, где находится Sitemap.xml

Если в файле будут найдены ошибки, сообщение об этом появится ниже, в разделе «Файлы Sitemap на проверке». Их нужно будет исправить и подать заново.

Вот, собственно, и все: подтвердив право на ресурс, вы получили возможность анализировать и корректировать процесс индексации сайта.

Какие технические ошибки необходимо мониторить

Неработоспособность тех или иных элементов сообщает роботу о том, что ресурс некачественный, не стоит тратить на него время. Поэтому необходим регулярный аудит сайта. Проверяйте:

• Неработающие ссылки, качество навигации по сайту, юзабилити. Должны работать «хлебные крошки», категории, теги, которые облегчают пользователю поиск информации.

• Наличие статических, а не динамических URL.

• Присутствие ответа сервера 404 – на такие документы не должно быть ссылок и переходов.

• Редиректы 301, которые мешают индексации.

• Дублированные страницы.

• Скорость загрузки страниц. Для индексирования в Google это крайне важный параметр, медленно загружающиеся адреса не попадают в индекс и снижают частоту заходов бота на ресурс.

• Наличие и хорошая работа мобильной версии сайта. Так как в Google существует приоритет мобильного поиска, именно по ней поисковик судит о качестве и функционировании сайта.

• Создайте файл robots.txt, из которого Googlebot узнает, какие страницы и разделы сайта не надо посещать. 

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

«Без этого файла поисковому роботу по умолчанию разрешено индексировать всё, а приоритет индексации он строит по своим алгоритмам. Закройте от индексации адреса, которые являются служебными или неготовыми для показа пользователям. Убедитесь, что при этом вы не запретили роботу индексировать изображения, видео, стили, шрифты – иначе сайт в его представлении будет выглядеть некачественно».

В поиске ошибок поможет раздел «Обзор» Google Search Console – в нем можно увидеть, на каких страницах есть ошибки. Или платные инструменты для проверки сайта Screaming Frog, Rush Analytics. Скорость загрузки лучше всего оценивать при помощи бесплатного сервиса Google PageSpeed Insights.

Как создавать контент, который попадет в индекс

Для оценки качества наполнения ресурса Google использует алгоритм E-A-T (экспертиза – авторитетность – надежность), краткие характеристики которого отражены ниже.

Также для поисковой системы важен рейтинг низкого/высокого качества страниц Page Quality. Как он строится, схематично показано на картинке.

Здесь мы не будет детально разбирать эти критерии, так как подробно их рассмотрели в статье «Что такое алгоритм E-A-T и как делать контент, который полюбит Google?». Сейчас расскажем, что сделать на сайте, чтобы им соответствовать.

• Указывайте авторов статей с информацией, что они являются подтвержденными экспертами в данной нише. Идеально, если они представлены не только на сайте, но и на сторонних площадках, в соцсетях. Так Google поймет, что авторы – реальные люди, имеющие вес в тематике.

• Если в контенте приводятся цифры, факты, рекомендации со сторонних ресурсов – ставьте ссылки в подтверждение своих слов. Ссылайтесь на трастовые площадки, например, научные библиотеки, сайты производителей, официальные справки сервисом.

• Проверяйте уникальность, переспам, водность, стилистику текстов, например, при помощи сервиса «Тургенев». Не допускайте орфографических и грамматических ошибок, кликбейтных заголовков – все это понижает оценку Page Quality.

• Используйте видео, в том числе внедренное на сайт с Youtube – Google хорошо оценивает коллаборацию с его собственным видеохостингом.

• Добавляйте дополнительную информацию: дата публикации, время прочтения/просмотра, счетчик прочтений/просмотров, активное оглавление, для кого полезна статья.

• Каждая страница должна решать свою задачу – дать пользователю контент, который закроет его потребность. Доносите информацию доступным языком, делайте видеоинструкции, чтобы мотивировать пользователя остаться на сайте и дочитать или досмотреть полезный контент.

Как найти доверенные сайты для линкбилдинга

На данном этапе развития поискового продвижения хорошо работают только обратные ссылки с авторитетных доменов – в противном случае они никак не помогут сайту и его индексации.

• Ищите сайты, релевантные вашей тематике, демонстрирующие свою экспертизу в ней. Желательно, чтобы их возраст был от двух лет, чем старше тем лучше.

• Используйте анкоры с запросами, релевантными контенту, на который ведет ссылка.

• Обращайте внимание не только на сайт-донор в целом, но и на конкретную страницу, где будет размещена ссылка. Ее вес важнее, чем домена в целом. 

Как проверить, что индексация сайта в Google произошла

Это можно сделать тремя способами:

1. Через поисковую сроку с оператором;

2. Плагин браузера;
   

3. Через Google Search Console.

1. Введите в поисковую строку site:url_вашего_сайта, чтобы получить приблизительные данные о количестве проиндексированных страниц. 

2.  Плагин браузера следует найти в соответствующем магазине дополнений. Он представляет собой JavaScript, который надо один раз подключить. После чего достаточно перетащить ссылку, которую надо проверить, в закладку на контрольной панели. 

В Google Search Console в разделе «Обзор показано состояние индексирования для ваших страниц. Развернутый отчет находится на кнопке меню «Страницы» в разделе «Индексация».

Также можно использовать сервисы для SEO, которые позволяют проверять индекс: PR-CY, Serphunt Netpeak Spider и Netpeak Checker, и прочие.

Как ускорить индексацию сайта в Google?

Выше мы рассказали, что можно для этого сделать с точки зрения технического мониторинга, контента, ссылок. Если после внесения этих изменения на сайт Google все равно не хочет его индексировать, используйте бесплатный инструмент Google Indexing API.

Мнение эксперта

Алексей Губерман, руководитель отдела поисковой оптимизации «Ашманов и партнеры»:

« Это сервис, через который любой владелец ресурса может уведомить поисковую систему, что на его сайте появились новые страницы или удалены старые, изменился контент, поэтому поисковый робот должен заново выполнить сканирование. Это довольно бонусный уровень, не все оптимизаторы владеют этим инструментом».

Здесь есть ограничение на количество заявок в день, но его можно обойти, воспользовавшись пакетной отправкой запросов или запросив расширение квоты.

Google рекомендует использовать Google Indexing API вместо файла Sitemap, так как через API процесс индексации начинается быстрее, чем через карту сайта. Тем не менее, если бизнесу нужен полный охват контента на ресурсе, а сроками выполнения можно чуть-чуть поступиться, предпочтителен Sitemap. 

Выводы

• Продвижение сайта в Google предполагает, что ваш подрядчик проработает над всеми необходимыми параметрами ресурса.

• Для информирования поисковика о ваших новых страницах следует использовать Google Search Console или – на более сложном уровне – Google Indexing API.

• Для индексации, так же как и для ранжирования сайта, важна его техническая работоспособность.

• Постепенно, как при естественной генерации, получайте обратные ссылки для улучшения индексации.