Что такое IndexNow и как его использовать? Исследование с примерами

Время прочтения: 9 минут

Тэги: SEO, Яндекс, Optimization,

О чем статья?

• Для чего предназначен IndexNow, как он работает;
• Эксперимент по оценке работы IndexNow с Яндексом;
• Сравнение с инструментом «Переобход страниц» Яндекс.Вебмастера;
• Рекомендации по эффективному использованию инструмента.

Для кого эта статья?

• Оптимизаторов;
• Редакторов сайтов;
• Владельцев малого бизнеса, которые сами занимаются продвижением сайта.

Материал подготовлен на основании доклада Сергея Кокшарова на конференции Optimization-2021. Приобрести запись выступления Сергея Кокшарова на Optimization-2021 можно по ссылке, бесплатно скачать презентацию выступления — здесь.

Новые страницы сайта и обновления старых не сразу появляются в поисковом индексе, потому что поисковые системы не узнают о них моментально. Поисковые роботы просто не успевают так часто заходить на сайты, чтобы немедленно узнавать об обновлениях. Считается, что требуется от нескольких дней до нескольких недель, чтобы робот вновь зашел на уже проиндексированный сайт. Чтобы быстрее актуализировать информацию в поисковиках, SEO-специалисты пользуются различными инструментами самих поисковых систем.

Недавно стал доступен еще один инструмент информирования поисковиков об изменениях на сайте — IndexNow.org. По заявлениям его создателей, он быстро сообщает поисковым системам об обновлениях существующих URL-адресов и появлении новых. После этого поисковики меняют приоритеты обхода этих URL-адресов и быстрее, чем при обычном органическом обходе, обнаруживают новый контент на сайте.

Ожидания от IndexNow

IndexNow.org по сути — независимый протокол проверки связи, который не принадлежит кому-либо из поисковиков, но открыт для сотрудничества с любым из них, кто «имеет заметное присутствие хотя бы на одном рынке» (Источник цитаты — IndexNow.org).

Протокол позволяет отправлять в поисковые системы сразу до 10000 страниц, сообщая им, что эти изменения следует добавить в индекс. По информации на официальном сайте инструмента, поисковые системы моментально узнают об изменениях, в том время как ожидание захода поискового робота обычным порядком может затянуться на несколько дней. На момент написания статьи IndexNow работает с Яндекс и Microsoft Bing. 

Мнение эксперта

Сергей Кокшаров:

«Насколько мне известно, Google, также как Яндекс и Bing, получал предложение работать с IndexNow, но отказался. Причины отказа не сообщались. Возможно, дело в том, что у Google есть свой инструмент Indexing API, который, правда, пока работает не со всеми типами контента. Впрочем, у Яндекса и Bing также есть свои инструменты – Переобход страниц и URL Submission API соответственно. Возможно, их заинтересованность в сотрудничестве связана с тем, что ожидается внедрение IndexNow в CMS. Тогда урлы будут автоматически отправляться в поисковики на сканирование прямо из панелей CMS, исчезнет необходимость в ручном добавлении страниц через панель Яндекс.Вебмастера и аналогичных кабинетов в поисковых системах».

Кроме того, на IndexNow.org заявлено требование интеграции: поисковые системы, использующие данный инструмент, должны немедленно делиться всеми отправленными им URL-адресами со всеми другими поисковыми системами, имеющими API IndexNow. То есть в идеале отправил страницу в  один поисковик = отправил сразу во все.

Но до идеала пока далеко.

Как отправлять страницы на индексацию через IndexNow

Порядок действия для работы с протоколом следующий:

1. Создать файл ключа для подтверждения права собственности на сайт;

2. Разместить файл на сайте одним из двух способов (подробности ниже);

3. Отправить одну страницу или несколько в поисковые системы по методам GET или POST;

4. Дождаться появления страниц в индексе.

1. Нужно верифицировать, что вы являетесь владельцем сайта, для которого отправляете адреса. (Такое же требование существует и в поисковых системах для отправки через их собственные инструменты). Для этого на сайте размещают текстовый файл-ключ определенного формата и передают его в каждом запросе к API.

Название файла ключа должно содержать от 8 до 128 шестнадцатеричных символов, выбранных из следующего перечня: строчные и прописные латинские буквы, цифры и тире. Эти же символы в кодировке UTF-8 составляют текст файла. При каждом получении адресов через IndexNow, поисковик сначала проверит наличие ключа, затем выполнит обход сайта.

2. Разместить файл ключа можно двумя способами:

• Поместить в корневой каталог сайта (предпочтительный способ). 

• Поместить файл ключа в другой каталог. Тогда в каждом уведомлении для поисковиков нужно указывать это местоположение при помощи переменной keyLocation. 

3.1 Для отправки одного URL применяют метод GET:

3.2 Для множественной отправки адресов, в том числе http и https в одном наборе, используют метод POST:

Мнение эксперта

Сергей Кокшаров:

«Работая с продвижением в Яндексе, можно использовать IndexNow вместо инструмента Переобход страниц или вместе с ним. Однако надо понимать, что поисковики не дают гарантий, что страницы сразу пересканируются, попадут в поиск или обновятся в поиске. Яндекс обещает, что постарается скорее посмотреть поданные URL. Сам IndexNow гарантирует только, что сообщит об изменениях на сайте в поисковые системы. В целом, никаких гарантий попадания в индекс нет».

Исследование: насколько эффективен на самом деле IndexNow?

Сергей Кокшаров использовал свой сайт devaka.ru, чтобы исследовать, как именно работает IndexNow. Результаты эксперимента были представлены во второй день конференции Optimization-2021. 

Цель исследования — получить ответы на следующие вопросы:

• Насколько быстро Яндекс сканирует страницы после отправки через IndexNow?
• Насколько быстро эти страницы будут проиндексированы в Яндексе?
• Можно ли при помощи IndexNow быстро удалить страницы из индекса?
• Различаются ли результаты работы IndexNow и Переобхода страниц Яндекс.Вебмастера?
• Как ведет себя бот Яндекса при разных запросах IndexNow?

Методы исследования:

• Отправка запросов через IndexNow для вновь созданных и отредактированных страниц;
• Анализ серверных логов — прямого источника информации о том, как происходит взаимодействие IndexNow с поисковой системой Яндекс;
• Анализ выдачи Яндекса;
• Сравнение работы IndexNow и Переобхода страниц.

Результаты исследования:

• Выводы и рекомендации по использованию IndexNow;
• Ответ на часто возникающий вопрос «зачем нужен IndexNow, если есть Переобход страниц?»

Ход исследования

Сначала был создан ключ devakatalk для подтверждения прав на сайт devaka.ru. Его  разместили в одноименный txt-файл в корневом каталоге сайта (предпочтительный способ). 

Ключ желательно иметь уникальный, хотя не запрещено использовать любые ключи.

1 Переиндексация старых страниц

Сначала проверили, насколько эффективно проходит пересканирование уже имеющихся на сайте страниц. Для этого отправили на переиндексацию 35 страниц, которые уже были в индексе поисковика, но на них был изменен контент. На рисунках представим логи сервера.

Сразу после отправки поисковик проверил ключ и получил подтверждение (HTTP-код 200). То есть поисковая система видит, что ему отправили адреса на переиндексацию, и проверяет, владелец ли это сделал. А вот далее — тишина. Ни через 10 минут, ни через 7 часов робот на страницы не зашел. Что, безусловно, расстраивает.

Тогда отправили эти же страницы через инструмент Переобход страниц из панели управления Яндекс.Вебмастера. Лог сервера показал, что в течение минуты все 35 страниц были пересканированы.

Итог: IndexNow проиграл Переобходу страниц 0:1

Мнение эксперта

Сергей Кокшаров:

«Таким образом, IndexNow для переиндексации старых страниц за 7 часов не дал видимого эффекта. Возможно, изменился приоритет сканирования этих страниц где-то в базе данных Яндекса, но это всего лишь предположение. Инструмент Переобход страниц сработал намного быстрее».

2. Сканирование новых страниц

Было отправлено 887 новых страниц, ранее не известных Яндексу, через IndexNox. Видим, что проверился ключ и сразу же начинают сканироваться страницы.

В отличие от предыдущего случая, новые страницы Яндексбот начал проверять сразу. Однако через 10 минут процесс остановился, несмотря на то, что было отсканировано только 90% отправленных страниц. Очевидно, присутствует лимит 10 минут на проверку вне зависимости от того, сколько адресов отправлено. В FAQ на Indexnow.org можно найти косвенное подтверждение этому временному лимиту: «Если страницы редактируются часто, то желательно подождать 10 минут между изменениями, прежде чем уведомлять поисковые системы». 

Очевидно, что, сколько вы успеете отправить страниц за 10 минут, столько и будет просканировано. Значит, многое зависит от скорости вашего сервера. Чтобы успеть проверить заявленный IndexNow максимум в 10000 URL, сервер должен отдавать больше 16 страниц в секунду.

Для сравнения отправили 100 дополнительно сгенерированных новых страниц через Переобход страниц. Все 100 адресов были просканированы Яндексом за 1 минуту.

Итог: IndexNow оказался равен Переобходу страниц, общий счет 1:2.

Мнение эксперта

Сергей Кокшаров:

«Трудно сказать, какой инструмент лучше сработал. Очевидно, что новые страницы через IndexNow сканируются охотней, чем старые, по умолчанию получают более высокий приоритет. Переобход страниц также просканировал страницы быстро, но в этом инструменте имеются лимиты на количество адресов на отправку. Лимиты устанавливает сам Яндекс автоматически, исходя из размера вашего сайта. В целом чем больше сайт, чем выше лимит, но иногда этого недостаточно, и это ограничивает возможности этого инструмента».

3. Индексация новой страницы

Попробовали не отсканировать, а добавить в индекс совершенно новую, специально созданную страницу.

Не дождавшись индексации при помощи IndexNow, отправили адрес через Переобход страниц. Результат на рисунке.

Обратите внимание, что страница проиндексирована с пометкой «57 минут назад». То есть поисковик узнал о ней еще при первой отправке через IndexNow и сохранил себе в базу, пометив время. Но в индекс он ее добавил только после использования инструмента Яндекс Вебмастера.

Ситуация выглядит так, как будто на индексацию повлиял Переобход страниц, а не IndexNow. Перепроверили, поменяв последовательность использования инструментов: начали с Переобхода страниц.

Страница, отправленная на индексацию через Переобход, сразу же была просканирована, но не проиндексирована. Через 16 минут после этого подали ее через в IndexNow. Поисковик страницей не заинтересовался. Однако через 9 минут после второго запроса, через 24 минуты после первого страница была добавлена в индекс

Так как имело место малое время ожидания, была проведена еще одна проверка. Была создана еще одна совершенно новая страница, которую отправляли на Переобход каждые 2 минуты.

Оказалось, что Яндекс не заходит на страничку после каждой отправки через Переобход! Робот переобошел страницу всего 2 раза, хотя подана она было 4, и второй раз зашел только через 6 минут после первого. При этом страница оказалась в индексе за рекордное время 9 минут.

Еще одна проверка была проведена для того, чтобы установить, появится ли страница в индексе в течение нескольких часов за счет инструмента IndexNow.

Опять мы видим, что страница индексируется только после отправки через инструмент самого Яндекса, хотя узнал о ней поисковик еще 2 часа назад при помощи IndexNow.

Итог: IndexNow опять проиграл Переобходу страниц, счет 1:3.

4. Удаление из индекса

Хотя уже стало ясно, что старые страницы при подаче через IndexNow поисковик пересканирует неохотно, попробуем проверить, можно ли с его помощью убрать адрес из индекса.

За 36 минут после отправки через IndexNow страница даже не была пересканирована и по-прежнему присутствовала в индексе. Через 12 минут после отправки через Переобход (50 минут после IndexNow) страница удалена из индекса.

Итог: и здесь IndexNow работает хуже, итог 1:4 в пользу Переобхода.

Итоги исследования

Сравнение IndexNow с Переобходом страниц показывает, что в целом инструмент Яндекс.Вебмастера на данный момент эффективнее выполняет поставленные задачи. 

В Яндексе для сканирования старых адресов предпочтительнее использовать инструмент Переобход страниц. В ходе исследования такие страницы через IndexNow так и не просканировались. Индексирования страницы при подаче через IndexNow также дождаться не удалось. Переобход для этой же страницы дал рекордный результат в 9 минут. Аналогичная проблема с удалением старой страницы из индекса: от IndexNow результата не было, а Переобход решил проблему на за 13 минут.

При этом можно рекомендовать IndexNow для отправки новых URL на сканирование, так как лимиты здесь выше, чем у Переобхода. Однако в этом случае вам все равно придется долго ждать индексации. Для маленьких сайтов IndexNow применять не стоит — поисковик сам обойдет их. Инструмент может быть полезен для больших порталов, интернет-магазинов, сайтов-агрегаторов и т.п. 

Мнение эксперта

Сергей Кокшаров:

«Лайфхак: так как IndexNow охотно сканирует новые адреса, вы можете быстро пересканировать старые, создав новые URL и настроив редирект их на старые. Известные конструкция 301-> 200 или 301->404 позволит превратить минусы IndexNow в плюсы. Пока не очень понятно, нужно ли это делать. Но если протокол будет внедрен в CMS, то при большом количестве новых страниц будет целесообразно использовать IndexNow».

Выводы

• IndexNow — независимый инструмент для информирования поисковых систем об изменениях страниц на сайте, в настоящее время работает с Яндекс и Microsoft Bing.

• Для отправки страниц в поисковики необходимо подтвердить права на сайт и затем использовать один из двух способов отправки. Подробные инструкции есть как на официальном сайте инструмента, так и на сайтах аффилированных поисковых систем.

• При исследовании работы IndexNow с Яндексом было выявлено, что поисковая система не спешит сканировать старые страницы и индексировать любые страницы, поданные через этот инструмент.

• Использование Переобхода страниц Яндекс.Вебмастера позволяет быстрее просканировать страницы с изменениями и добавить страницы в индекс. На отправку новых страниц в поисковик в Переобходе есть автоматические лимиты, но обычно их достаточно.

• Имеет смысл использовать IndexNow для отправки новых страниц. Для пересканирования старых можно использовать редирект.

• IndexNow — перспективный инструмент для сканирования и индексации страниц, однако в настоящий момент он серьезно уступает Переобходу страниц Яндекс.Вебмастера.