Как проверить и настроить индексацию сайта в Яндексе

Время прочтения: 9 минут

Тэги: SEO

О чем статья?

Для кого эта статья?

Индексация сайта простыми словами – это обход страниц сайта краулером, он же спайдер или поисковый робот. Он оценивает их качество и, если оно соответствует требованиям поисковика, отправляет адрес в базу данных. Когда пользователь вводит релевантный запрос в строку поиска, URL может быть извлечен из базы, проранжирован и показан в поисковой выдаче. Таким образом, индексация – основа для поискового продвижения страниц и сайтов в топ выдачи. Ниже проанализировали, как часто поисковый робот индексирует сайт, что мешает страницам попадать в индекс и как с ними работать, чтобы это исправить.

Как часто Яндекс робот заходит на сайт?

Своевременная индексация важна для разных ниш бизнеса: например, чем раньше страница окажется в поисковой выдаче e-commerce сайтов, тем скорее на нее могут прийти покупатели. В случае с инфопроектами задержка индексации может привести к тому, что контент на странице устареет либо будет уже опубликован конкурентами.

Практика показывает, что на частоту индексации сайта влияют следующие факторы:

• Техническое состояние сайта. Чем лучше будет настроена индексация ресурса, тем большее количество страниц сможет обойти поисковый робот.

• Насколько часто вы обновляете контент. Чем реже появляются новые публикации, тем реже краулеры будут заходить на сайт. Если обновления происходят чаще, бот будет заходить чаще.

Даты первого или последующего визита робота заранее никем не уточняется. Зато пользователям доступна статистика и история обходов. Проверить, когда и как часто робот делал обход страниц на вашем сайте, можно в Яндекс Вебмастере. В разделе «Индексирование» кликните на отчет «Статистика обхода». При необходимости переключите график на режим «История обхода».

Отчет «История обхода» отображает даты, страницы обхода и код ответа

Обратите внимание: у краулера есть лимиты. За один раз он обходит ограниченное количество страниц – это так называемый краулинговый бюджет сайта. Он формируется индивидуально для ресурса, но точные цифры бюджета неизвестны. Как правило, у небольших сайтов краулинговый бюджет включает в себя до 10 или 50 тысяч страниц – тут мнения оптимизаторов разнятся. Данного лимита достаточно, чтобы индексировать все новые страницы. А вот на больших ресурсах возникают проблемы: им необходимо самостоятельно указывать роботу на приоритетные для индексации адреса и закрывать малозначимые, чтобы не тратить краулинговый бюджет.

В чем заключаются основные проблемы с индексацией в Яндексе

Практика показывает, что основных проблем при индексации три.

1. Нужные страницы не попадают в индекс. Это происходит, например, если их индексация запрещена в HTML-коде, файле Robots.txt или  HTTP-заголовком X-Robots-Tag для данной страницы на сервере. Как это проверить – объясняем ниже.

2. В индекс попадает большое количестве технических и малозначимых страниц, например, страниц поиска по сайту, страниц с get-параметрами и подобных.

3. Индексация сайта происходит, но очень долго. Возможно, вы крайне редко обновляете контент, у ресурса мало посетителей, поэтому бот месяцами не заглядывает на домен. Часто оказывается, что на ресурсе много ошибок, некачественный контент, поэтому он не попадает в базу данных.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Чаще всего причина в наличии большого количества технических ошибок – например, 301 редиректов, дублей страниц, страниц с различными параметрами в url. Тратя ресурсы на индексацию малокачественных страниц, роботы не доходят до нужных». 

Исправить ошибки в индексации сайта можно в рамках работ по SEO-продвижению. Учитывайте, что эти работы могут затронуть и контент, и структуру сайта, и бизнес-процессы компании. Если вы хотите понять как происходит индексация сайта в Google, аналогичный аудит следует провести в Google Search Console.

Как решить проблемы с индексацией сайта

Перечислим примеры конкретных работ, которые следует проводить в рамках SEO-продвижения сайта, чтобы страницы сайта индексировались и попадали в поиск быстрее.

Для начала рекомендуем провести аудит, который выявит технические и прочие ошибки,  мешающие быстрой индексации сайта поисковиками. По его итогам вы получите рекомендации о том, что исправить и внедрить на сайте, как повысить его качество и успешно пройти индексацию. Ниже приводим примеры рекомендаций из наших аудитов 

1. Проверьте файл Robots.txt и Sitemap.xml

2. Исправьте ошибки в ответах сервера

3. Проработайте внутренние ссылки

4. Проверьте глубину вложенности

5. Повышайте качество контента

6. Устраните дубли

1. Проверьте файлы и директивы, которые указывают краулеру на приоритетные страницы

• Найдите на сайте файл Robots.txt. Он должен находиться в корневом каталоге по адресу вашсайт/robots.txt. Именно туда бот заходит в первую очередь. При отсутствии этого файла бот ходит по сайте на свое усмотрение, не учитывая приоритеты бизнеса. Поэтому  Robots.txt придется создать и настроить.

Если он есть, проверьте на ошибки и запреты индексации в Вебмастере в разделе «Инструменты» –> «Анализ robots.txt». 

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Запрет в Robots.txt можно проверить в Вебмастере с помощью инструмента «Анализ robots.txt». Вы можете указать любой URL и посмотреть, разрешена ли индексация страницы, и если нет, то какое правило мешает».

На скриншоте ниже показали, как выглядят результаты анализа. В пункте «Используемые секции» странице присвоена директива Disallow, то есть индексация запрещена. Соответственно, ниже в списке «Разрешены ли URL?» ее нет.

Инструмент показывает строки Robots.txt, которые относятся к введенному URL

Если перейти на список ошибок, вы увидите их перечень и сможете просмотреть подробнее проблемные строки, как показано на следующем скриншоте.

Показаны все строки, где есть ошибки, и указан тип ошибки

• Создайте или проверьте файл Sitemap.xml. Для робота это дорожная карта, которая показывает, где что на сайте находится, какие страницы надо индексировать в первую очередь. С помощью такой карты сайта вы можете сообщать краулеру о новых страницах, попадание которых в поиск для вас приоритетно. Чтобы не делать это вручную каждый раз, настройте плагин для автоматической генерации динамического Sitemap.xml. В этом случае файл будет регулярно обновляться с заданной периодичностью (например, 1 раз в сутки). Не забудьте в Robots.txt внести путь к Sitemap.xml. Проверить корректность карты можно опять-таки в Яндекс Вебмастере при помощи инструмента «Анализ файлов Sitemap».

• Если не индексируется конкретная страница, проверьте наличие HTTP-заголовка X-Robots-Tag для данной страницы на сервере. Узнать о нем можно опять-таки в Вебмастере с помощью инструмента «Проверка ответа сервера». Если на сервере стоит блокировка индексации, ответ будет следующим:

HTTP/1.1 200 OK

Date: Tue, 25 May 2010 21:42:43 GMT

X-Robots-Tag: noindex 

2. Исправьте ошибки в ответах сервера

Если на сайте многие страницы отдают поисковому роботу код 404 («страница не существует»), Яндекс не только не индексирует их, но и в принципе сочтет сайт некачественным. Если это нужные страницы, то верните их в доступ, наполните контентом, либо настройте редирект 301. В противном случае удалите внутренние, а лучше и внешние ссылки, по которым краулер попадает на несуществующие адреса. Иногда ответ 404 получается из-за ошибки в написании URL (например, со слешем в конце или без него). Полностью избавиться от ответа 404, как правило, не получается, но минимизировать его необходимо.

Ответ сервера 302 («страница временно перемещена») также понижает шансы на корректную индексацию сайта. Яндекс бот по этому редиректу переходит на новую страницу, но не индексирует ее, так как в базе остается старый адрес. Поэтому настраивайте редирект 301 («страница перемещена навсегда»), тогда URL в базе обновится и робот перестанет заходить на старый.

Какие коды краулер получает от сервера, можно увидеть в Вебмастере в разделе «Индексирование» –> «Статистика обхода». 

История ответов сервера в отчете «Статистика обхода» по датам

Отдельные страницы можно протестировать инструментом Вебмастера «Проверка ответа сервера». Например, на скриншоте выше первый списке документ отдает код 404. Перейдя по нему, мы увидели, что страница отключена администратором. Исправив ошибку, в «Статистике обхода» сразу результат не увидели, потому что робот еще не заходил по адресу. Использовали инструмент «Проверка ответа сервера».

Проверив, видим код и время ответа сервера, кодировку, размер страницы

Как видите, теперь сервер дает правильный ответ 200, и когда краулер вновь зайдет на страницу, он добавит ее в индекс.

3. Проработайте внутренние и внешние ссылки

Роботы Яндекса чаще заходят на страницы, на которые ссылаются другие ресурсы. Мотивируйте Яндекс бота зайти на новую страницу, сделав перелинковку с уже проиндексированных адресов с хорошей посещаемостью. Выбирайте контент и особенно якоря, которые релевантны той странице, куда перенаправляет вас ссылка. Можно использовать следующие приемы:

• Используйте все возможности получить обратные ссылки с качественных релевантных ресурсов, которые хорошо ранжируются. Покупая ссылки, тщательно относитесь к качеству доноров.

• Мотивируйте пользователей делиться вашим контентом в социальных сетях, блогах, тематических форумах.

• Предлагайте владельцам релевантных качественных сайтов создать для них контент, дизайн в обмен на обратную ссылку.

• Одна из наиболее посещаемых страниц на сайте – главная. Сделайте там блок «новости» или «новинки» и публикуйте внутренние ссылки на новые статьи или товары с кратким анонсом.

• В интернет-магазинах используйте подборки «Похожие/Рекомендованные товары», «С этим товаром покупают», которые позволяют в карточки товаров добавлять релевантные ссылки.

• По такому же принципу в популярных статьях или других посещаемых разделах создайте блоки «Новые публикации», «Читать по теме» и подобные им разделы, которые позволяют включать.

4. Проверьте глубину вложенности

На страницы, расположенные дальше трех-четырех кликов в глубину от главной, робот доходит очень долго. Может и вообще не дойти до них, так как считает приоритетной главную страницу: чем ближе к ней – тем важнее. Структурируйте сайт так, чтобы страницы, которые должны приносить трафик и конвертировать его, находились на втором-третьем уровнях вложенности.

5. Повышайте качество контента

Рерайт, в котором мало экспертизы и уникальности, считается в Яндекс и Google, низкокачественным. Поэтому робот их проиндексирует, посчитает малоценными и исключит их поиска: они не попадут ни в Яндекс Поиск, ни в Google Search.

Общую оценку качества вашего сайта можно увидеть в Вебмастере в меню «Качество сайта» –> отчет «Показатель качества». Здесь есть так называемый ИКС (индекс качества сайта), который отражает востребованность сайта пользователями. Ниже Яндекс дает рекомендации по его повышению:

Контент страниц – весь, не только текстовый – должен соответствовать двум метрикам качества, которые использует поисковая система.

• Проксима — метрика качества страниц. Она учитывает релевантность страницы запросу, закрытие потребности пользователя на данном ресурсе, авторитетность и экспертность контента, другие критерии. 

• Профицит — метрика полезности выдачи: успешно ли пользователи решают свои задачу на сайте.

Как сделать старые и новые страницы соответствующими этим критериям? В целом следует делать их полезными для пользователя и показывать экспертизу бренда.

Например, в интернет-магазине карточки товара должны содержать подробное описание, фотографии продукта с разные сторон, при необходимости – фото 3D, видео, инструкцию в графическом или видеоформате. В статьях привлекайте авторов-специалистов в своей области, цитируйте экспертов, давайте профессиональные оценки, которые не могут предложить конкуренты.

Обновляйте ассортимент и информацию регулярно, хотя бы 1-2 раза в неделю. В отсутствие новостей и новинок актуализируйте информацию на уже проиндексированных страницах. На них следует настроить теги заголовков Last-Modified и If-Modified-Since, тогда после внесения изменений робот заново их обойдет.

Такой контент будет вызывать доверие у пользователей и поисковых систем, и краулер охотнее будет индексировать новые страницы. 

6. Устраните дубли

Одинаковое содержание или URL страниц, дубли метаданных в тегах Title, H1, Description для Яндекса – сигналы о некачественном сайте, который не стремится помочь пользователю оперативно решить его проблему.

На крупных ресурсах дубли появляются довольно часто из-за большого количества страниц. URL дублируются с WWW в начале и без него, со слешем / в конце и без него. Также повторы возникают из-за создания страниц с комментариями, пагинации. Часто используют одинаковое описание для товаров, различающихся лишь цветом, размером и т.п., но расположенных в разных карточках. Все эти повторы надо устранять. 

Как их выявить?

• Повторяющиеся метатеги можно найти, зайдя в Вебмастере в меню «Индексирование» в отчет «Заголовки и описания». Чтобы избавиться от них, прописывайте вручную оригинальные Title, H1, Description для приоритетных страниц и настройте автоматическую генерацию метаданных через плагин для остальных.

• Дублированные страницы можно увидеть через «Индексирование» –> «Страницы в поиске» –> «Исключенные». Перед вами появится наглядный график. Нажмите значок «Статус и URL» и выберите «Статус», «Удалено: Дубль».

Выявление дублей в Яндекс Вебмастере

Для избавления от дублей в индексации следует настроить редирект 301 либо назначить основную страницу через атрибут rel="canonical".

Если робот счел две страницы дублями из-за контента, необходимо уникализировать контент: измените текст, добавьте возможность комментирования, отзывы и так далее. Имейте в виду, что Яндекс сравнивает текст, и, например, только замена фотографий или добавление видео на страницу не решит проблему дублирования.

Можно также закрывать от индексации системные файлы, результаты поисков, архивы – все адреса, которые не будут конвертировать трафик, приходящий из поиска. 

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Не стоит закрывать на сайте важные для пользователя блоки и важную информацию, особенно меню. Раньше подобное рекомендовали, потому что служебная информация, повторяющаяся на всех страницах сайта, якобы снижает уникальность. На самом деле здесь только два решения. Первое: если страницы действительно признаны дублями, то нужно от них избавляться. Второе: если страницы признаны дублями, но на самом деле такими не являются, то нужно по возможности уникализировать контент».

Как ускорить индексацию страниц

Итак, вы провели необходимые работы и подготовили сайт или отдельные его страницы к индексированию. Какими методами можно ускорить процесс?

1. Отправьте обновленные страницы в Яндекс на переобход

2. Отправьте страницы на переиндексацию при помощи протокола IndexNow

3. Включите инструмент «Обход по счетчикам»

4. Получите внешние ссылки с трастовых ресурсов

1. Отправьте обновленные страницы в Яндекс на переобход

Используйте инструмент Вебмастер «Переобход страниц», который находится в меню «Индексирование». Правда, здесь есть лимит на количество адресов в сутки. Если сайт большой и изменено много страниц, придется использовать инструмент несколько раз по мере внесения изменений.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Через этот инструмент можно отправить на переобход только конкретные страницы сайта. Учитывайте, что дневной лимит на переобход увеличивается в зависимости от размеров сайта».

Вставьте в поле URL, на которые робот должен зайти, и кликните «Отправить». Если все в порядке, информация в поисковой базе обновится в течение двух недель, в противном случае Вебмастер сообщит об ошибке. 

2. Отправьте страницы на переиндексацию при помощи протокола IndexNow

IndexNow – это независимый инструмент, который с помощью API сообщает об изменениях на сайте напрямую в Яндекс без привлечения собственного краулера поисковика. Правда, индексация сайта через сторонний протокол не гарантирована, предупреждает Яндекс в своей справке. Практика показала, что есть смысл использовать IndexNow для отправки новых страниц, так как лимиты у него выше, чем у Переобхода Вебмастера –10000 страниц в день.

3. Включите инструмент «Обход по счетчикам»

Включите инструмент«Обход по счётчикам», который позволяет роботу Яндекса узнавать о новых страницах вашего сайта из данных Метрики. Счетчик сообщает краулеру о появлении новых страниц даже если они не включены в Sitemap.xml и не указаны в Robots.txt. Создайте счётчик и привяжите его к сайту в Вебмастере. Для этого в меню «Индексирование» перейдите в «Обход по счетчикам» и выполните пошаговую инструкцию.

Как настроить счетчик Метрики, чтобы ускорить индексирование

Учтите, что данный метод не работает с индексацией Турбо-страниц, так как их обходит другой робот.

4. Получите внешние ссылки с трастовых ресурсов

Создайте профиль компании в Яндекс Бизнесе, отметьте ее на Яндекс Картах и не забывайте регулярно актуализировать информацию. Публикуйте анонсы со ссылками на новые статьи и товары в ваших страничках в соцсетях.

Затем попробуйте договориться с вебмастерами релевантных ресурсов, которые давно проиндексированы и имеют хороший ИКС, о размещении ссылок на ваш сайт. Могут подойти сервисы вопросов и ответов, справочные порталы, форумы, СМИ, блоги. 

Аутрич должен выглядеть естественно и не спамно. Самое главное – сайты, разместившие вашу ссылку, должны пользоваться доверием Яндекса. Выбирайте площадки для размещения из топа выдачи по релевантным запросам, по которым вы не будете с ними конкурировать.

Выводы

• Индексация сайта и страниц в Яндексе – не быстрый процесс. Его скорость зависит от технического состояния сайта, частоты обновления контента на сайте, поведенческих факторов и качества контента.

• Если индексирование задерживается, надо проверить, не закрыт ли ваш ресурс или отдельные URL от индексирования.

• Проверьте технические ошибки на страницах и качество оптимизации. Используйте инструменты Яндекс Вебмастера для аудита ошибок.

• После исправления проблем сообщите поисковой системе о необходимости переиндексировать страницы при помощи Вебмастера, Яндекс Метрики или стороннего протокола.

• Нарабатывайте внешние ссылки с авторитетных площадок, чтобы выглядеть трастово для поискового робота.