Как решить проблемы с индексацией на сайтах от 1 до миллионов страниц

Время прочтения: 9 минут

Тэги: SEO, Optimization, Google

О чем статья:

Для кого статья:

Как решать проблемы с индексацией, какие ниши бизнеса они затрагивают и как получить максимум результата при минимуме ручного труда? Об этой и других проблемах с попаданием страниц в индекс поисковиков на конференции Optimization-2022 рассказал Захар Федоренко, SEO Team Lead в Rush Agency.

Какие основные проблемы возникают при индексации страниц

На момент написания статьи мы говорим о проблемах индексации применительно в основном к поисковой системе Google. Дело в том, что в другом популярном поисковике, Яндексе, такие проблемы на сегодня практически не возникают. А вот в Google очень многие сайты сталкиваются с тем, что:

1. Страницы не попадают в индекс;

2. Страницы очень долго попадают в индекс;

3. При изменении контента в индексе очень долго остается старая версия документа.

Чем это плохо для бизнеса:

• Если страниц нет в индексе, то они не приносят поисковый трафик

• Сайт получает низкий краулинговый бюджет, что, в свою очередь, снижает квоту на индексацию страниц.

Все это затрудняет поисковое продвижение сайта.

Мнение эксперта

Захар Федоренко, SEO Team Lead в Rush Agency:

«Многие говорят: SEO – это долго. На самом деле можно сделать так, чтобы в срок до четырех дней роботы узнали о ваших изменениях и ранжировали ваш сайт лучше».

Какие ниши бизнеса больше всего страдают от проблем с индексацией

В целом сложности индексации затрагивают все тематики. Приведем наиболее яркие примеры. 

1. Онлайн-магазины. Например, ecom-проект внедряет теговые категории, которые потенциально являются довольно крупными точками роста. Если они не попадают в индекс, они не дают профита, и бизнес теряет деньги, а SEO-специалисты не видят результат своей работы.

2. Информационные сайты. Здесь ситуация аналогична: отсутствие индексации новых блоков не позволяет страницам получать органический трафик.

Мнение эксперта

Захар Федоренко, SEO Team Lead в Rush Agency:

«Приведу пример: мы на сайте создали блог, сделали новые категории, постепенно заполняли их контентом. Робот Google один раз зашел, увидел, что блог пустоват, запомнил это. И, сколько мы далее не публиковали статьи, они не индексировались, пока я не активировал бота. Как – расскажу ниже».

3. Сайты услуг. Например, в нише онлайн-образования страница может долго не попадать в индекс или даже выпадать из него – такое наблюдалось весной-летом 2022 года после обновления поисковых алгоритмов Google. При этом, когда документы индексируются, они начинают приносить много трафика.

4. Лендинги. Google вообще скептически относится к сайтам, у которых мало страниц, поэтому плохо индексирует лендинги. Тем не менее возможно даже новый небольшой сайт проиндексировать достаточно быстро, за несколько дней, не тратя при этом дополнительный бюджет. 

Что мешает индексации сайта? 

Для начала проанализируем, почему робот не хочет заходить на проект.

Техническая оптимизация сайта – банальное требование, про которое знают все, тем не менее зачастую оно является причиной отказа в индексации. Проверьте, что у вас есть правильно настроенный файл robots.txt, карта сайта sitemap.xml, отсутствуют нерабочие ссылки, дубли страниц и метатегов. Так же важно, что все страницы, которые потенциально могут приносить трафик, давали ответ сервера 200 ОК. 

Также важна внутренняя перелинковка. Например, в онлайн-магазине желательны расширенные «хлебные крошки», сквозные ссылки, связывающие категории. В карточке товара нужен блок с похожими либо дополнительными товарами. На информационном сайте хорошо работают подборки «Похожие статьи», «Другие статьи автора» им подобные. 

На индексацию в Goоgle очень сильно влияет скорость загрузки сайта. Вопреки распространенному мнению, что улучшение скорости загрузки дает выгоду в виде повышения позиций, на многих проектах на практике на ранжировании скорость загрузки не отражается. Зато она сильно улучшает индексацию. Если сайт долго грузится, робот может просто уйти вместо перехода по нужным вам ссылкам и добавления их в индекс.

Мнение эксперта

Мнение эксперта: Захар Федоренко, SEO Team Lead в Rush Agency:

«Что можно сделать со скоростью загрузки? Обычно оптимизатор ставит ТЗ разработчику на ускорение загрузки сайта. Выглядят эти ТЗ достаточно однотипно: скриншот теста сайта из PageSpeed Insights с указанием, что этот и тот параметры надо улучшить. Это не мотивирует программиста. Советую взять несколько основных конкурентов помимо вашего сайта и проверить в PageSpeed Insights главные страницы, страницы категория, несколько карточек товаров. После чего сделайте табличку, в которой наглядно отразите ваши данные и показатели конкурентов. На этом основании вы можете аргументированно требовать определенных значений скорости загрузки вашего сайте». 

Алгоритмы поисковых систем охватывают весь мир. Google держит в индексе огромное количество адресов, и неудивительно, что случаются сбои. Например, у компании был не очень хороший сайт, поэтому были проведены работы по его улучшения, обновили качественным и полезным контентом. Но робот как запомнил один раз ресурс с низким качеством, так и перестал на него заходить. Ниже расскажем, как добиться, чтобы алгоритм совершил переобход страниц. 

Низкое качество страниц означает несоответствие сайта критериям Google Page Quality. Мы подробно рассказывали о них в статье «Что такое алгоритм E-A-T и как делать контент, который полюбит Google?». Добиться релевантности этим метрикам можно разными путями. Например, использовать конкурентный анализ. Откройте топ-10 в вашей тематике и просмотрите сайты конкурентов, выявляя, какие элементы есть у них на страницах, которых нет у вас. Некоторые блоки могут реально сильно влиять на ранжирование, например, онлайн-калькулятор ОСАГО в тематике страховых услуг. Попытайтесь себя внедрить подобный функционал у себя на сайте. 

Мнение эксперта

Захар Федоренко, SEO Team Lead в Rush Agency:

«Если вы действительно поработаете над сайтом, сделали аудит контента, подняли его качество, то, когда страница попадет в индекс, она может сразу получать поисковый трафик, соответственно, давать больше лидов и конверсий. При этом новые страницы, которые робот индексирует, могут положительно влиять на индексацию старых. Для этого не надо покупать ссылки, как советуют некоторые, они не способствуют ранжированию. Вам просто надо проинформировать Google о том, что надо проиндексировать или заново обойти такие-то страницы».

Как узнать, есть ли проблемы с индексацией у вашего сайта?

Существует множество инструментов, которые позволяют это сделать. Приведем несколько примеров. 

Google Search Console – бесплатный инструмент поисковика. Зайдите в настройки, раздел «Индексирование страниц» и увидите, сколько страниц просканировано роботом, но не проиндексировано.

Справа наверху указано общее количество таких документов. Если у вас довольно много адресов, которые не вошли в индекс, вам надо что-то предпринять по этому поводу. Google Search Console обновляет данные раз в четыре дня, поэтому, если вы хотите видеть результат раньше, вам понадобятся сторонние инструменты.

Rush Analytics – инструмент проверки индексации, куда можно загружать URL и смотреть динамику, графики, выгружать данные в формате для электронных таблиц, строить дашборды, отражающие различные сегменты. На скриншоте ниже можно видеть сравнение количества проиндексированных и не проиндексированных страниц в Google в виде круговой диаграммы. 

Также специалисты используют такие сервисы как Screaming Frog SEO Spider, A-Parser, SiteAnalyzer, Key Collector для проверки индексации страниц.

Как исправить проблему с индексацией

Допустим, вы увидели, что большое количество страниц с сайта не проиндексировано. Что делать? Расскажем пошагово.

1. Проверьте, корректно ли Google отображает сайт. Этому может препятствовать использование JavaScript или то, что в robots.txt закрыты некоторые скрипты, стили, изображения. Тогда робот видит сайт недооформленным и считает его некачественным. Попробуйте выключить JavaScript в браузере и посмотреть, корректно отображаются основные элементы на странице либо нет. Затем в Google Search Console введите адрес страниц, которые вас интересуют, и в режиме реального времени увидите, как поисковик видит вашу страницу. Также в кеше выдачи можно посмотреть сохраненную копию страницы, как она выглядела до внесения вами изменений.

2. Проработайте контент на неиндексируемых страницах. Возможно, он реально плох и поисковая система считает, что не стоит такое содержание заносить в индекс. Сделайте аудит содержания, сравните с конкурентами.

3. Проработайте структуру сайта и его внутреннюю перелинковку. Чем перелинковка лучше, тем больше вероятность, что страница попадет в индекс. Вероятно, используется фактор внутреннего веса страницы, и если документ оказывается в тупиковой зоне, робот может решить, что он не столько важен, чтобы его индексировать.

4. Проверьте корректность файла robots.txt. Проверьте, что не запрещены для индексации элементы, влияющие на внешний вид сайта.

5. Проверьте наличие и корректность sitemap.xml, и обязательно сделайте его доступным в Google Search Console. Иногда после этого добавления Google Search Console все равно показывает, что в индексе ноль URL. Часто причиной является низкая скорость загрузки страниц, когда sitemap генерируется при запросе и это занимает более 5 секунд. Тогда нужно сделать sitemap статическим и обновлять его не при каждом запросе, а с установленной периодичностью. Также полезно добавить в robots.txt ссылку на sitemap. Иногда после этого робот Google начинает обходить ссылки из карты сайта.

6. Отправьте адреса нужных страниц через Google Indexing API. Это инструмент поисковой системы, который позволяет, например, проиндексировать за 10 дней более 2,5 миллионов страниц – результат на скриншоте.

Многие думают, что через Google Indexing API можно проиндексировать небольшое количество страниц, так как слышали про лимит в 200 адресов в сутки. На самом деле можно сделать гораздо больше. При помощи этого инструмента многие вещи оптимизатор может делать сам, не делегируя программистам и не дожидаясь, пока у них будет время на задачи SEO.

Мнение эксперта

Захар Федоренко, SEO Team Lead в Rush Agency:

«Почему индексирование столь важно? Потому что после улучшения индексации можно наблюдать корреляцию с ростом органического трафика. Страницы, попадая в индекс, начинают ранжироваться по целевым запросам и улучшают видимость. У нас есть кейсы, где мы не делали ничего, кроме индексации, а документы сразу начинали приносить трафик, выросло число показов и кликов. Стоит отметить, что рост трафика помимо индексации зависит от SEO-оптимизации страниц, конкуренции и ниши, в которой находится ваш бизнес. Если с этим все в порядке, то, проиндексировав адреса, можно через день-два получить трафик».

Кейс 1

На скриншоте ниже показана динамика запросов, под которые были созданы страницы, не попавшие в индекс. После индексации виден резкий скачок, эти URL заняли топ-1, вошли в топ-10, топ-30.

Динамика запросов довольно резко возрастает после попадания в индекс.

Кейс 2

Был сделан срез запросов конкретно под те страницы проекта, которых не было в индексе Google, порядка 100 000 страниц, важных для сайта.  Их отправили на индексацию через Google Indexing API, через неделю сняли позиции, чтобы проследить корреляции. Результат на графике ниже.

Почти по всем запросам страницы начали ранжироваться, приносить трафик, позиции, лиды.

Как настроить Google Indexing API

Для работы требуется подключиться к Google Indexing API и настроить Json-ключ. Для этого:

• Создайте проект в Google Cloud Platform, а в нем – сервисный аккаунт, через который будут отправляться запросы по API.

• В колонке «Действия» сервисного аккаунта сгенерируйте Json-ключ, который автоматически скачается на ваш компьютер. 

• В строке поиска Google Cloud Platform введите Indexing API, перейдите на результат и включите эту функцию.

• Добавите созданный аккаунт (или аккаунты для крупных проектов) в Google Search Console как владельца домена в разделе «Пользователи и разрешения».

Чтобы не делать это вручную для каждого блока страниц, настройте скрипты для индексации в Google Indexing API. Более подробную инструкцию и ссылки на скрипты для небольших и крупных проектов, а также для удаления страниц из индекса можно посмотреть на Google Диске Захара Федоренко. Иногда необходимо удалять страницы, которые не должны быть в индексе, но попали в него. Также следует удалять документы низкого качества, чтобы не понижать общее качество сайта для Google.

Мнение эксперта

Мнение эксперта: Захар Федоренко, SEO Team Lead в Rush Agency:

«По умолчанию Google предоставляет 200 URL на один проект в день для работы через Google Indexing API. С большими сайтами этого явно недостаточно. Можно запросить увеличение квоты для проекта. Запрос отправляется через Google Search Console в разделе «Квоты» – «Изменить» – «Отправьте запрос на увеличение квоты». Важно: нельзя запрашивать увеличение лимита более чем в два раза за одно обращение.  То есть в первое обращение нужно запросить увеличение лимита с 200 до 400 на проект. Через несколько дней после одобрения можно отправлять следующий запрос – с 400 до 800. И так далее».

Могут ли быть проблемы с индексацией в Яндексе

На сегодня сложностей с индексацией в Яндексе в отличие от Google нет. Если вдруг у вас возникли такие  проблемы, нужно в Яндекс Вебмастере включить «Обход по счетчикам». Тогда при заходе пользователя на страницу Метрика будет генерировать запрос в Вебмастер, а тот добавлять адрес в индекс. Минус этого способа – могут генерироваться типа страниц, которых нет на сайте. Проверяйте Вебмастер регулярно и при необходимости склеивайте такие страницы в файла robots.txt директивами сlean-param. «Яндекса». 

Выводы

• Добавление страниц в индекс поисковых систем – часть работ по оптимизации. Если страницы не проиндексированы, они не приносят трафик, лиды и конверсии. Индексация новых страниц положительно сказывается на положении старых.

• От проблем с индексацией в Google более всего страдают интернет-магазины, инфосайты, сайты услуг, лендинги. В целом это сложность может затронуть любой сайт, лишая его трафика и позиций.

• Индексации сайта мешают технические ошибки на нем, некачественный контент и нюансы работы алгоритмов поиска.

• Для определения количества проиндексированных и не включенных в индекс страниц сайта используйте Google Search Console и любой аналогичный инструмент.

• Для исправления проблем с индексацией проверьте техническое и контентное качество ресурса, а также не стоит ли запрет на обход роботом элементов, необходимых для корректного отображения сайта. Затем используйте Google Indexing API, чтобы сообщить поисковику о наличии новых хороших страниц на сайте.