Продвигаем бизнес в Интернете с 2001 года
В октябре 2021 Яндекс анонсировал IndexNow — новый способ оперативно проинформировать поисковые системы о новых страницах на сайте. О возможностях и преимуществах инструмента рассказал SEO-аналитик Сергей Кокшаров (Devaka.ru, Devaka Talk).
Время прочтения: 9 минут
Тэги: SEO, Яндекс, Optimization,
О чем статья?
Для кого эта статья?
Материал подготовлен на основании доклада Сергея Кокшарова на конференции Optimization-2021. Приобрести запись выступления Сергея Кокшарова на Optimization-2021 можно по ссылке, бесплатно скачать презентацию выступления — здесь.
Новые страницы сайта и обновления старых не сразу появляются в поисковом индексе, потому что поисковые системы не узнают о них моментально. Поисковые роботы просто не успевают так часто заходить на сайты, чтобы немедленно узнавать об обновлениях. Считается, что требуется от нескольких дней до нескольких недель, чтобы робот вновь зашел на уже проиндексированный сайт. Чтобы быстрее актуализировать информацию в поисковиках, SEO-специалисты пользуются различными инструментами самих поисковых систем.
Недавно стал доступен еще один инструмент информирования поисковиков об изменениях на сайте — IndexNow.org. По заявлениям его создателей, он быстро сообщает поисковым системам об обновлениях существующих URL-адресов и появлении новых. После этого поисковики меняют приоритеты обхода этих URL-адресов и быстрее, чем при обычном органическом обходе, обнаруживают новый контент на сайте.
IndexNow.org по сути — независимый протокол проверки связи, который не принадлежит кому-либо из поисковиков, но открыт для сотрудничества с любым из них, кто «имеет заметное присутствие хотя бы на одном рынке» (Источник цитаты — IndexNow.org).
Протокол позволяет отправлять в поисковые системы сразу до 10000 страниц, сообщая им, что эти изменения следует добавить в индекс. По информации на официальном сайте инструмента, поисковые системы моментально узнают об изменениях, в том время как ожидание захода поискового робота обычным порядком может затянуться на несколько дней. На момент написания статьи IndexNow работает с Яндекс и Microsoft Bing.
«Насколько мне известно, Google, также как Яндекс и Bing, получал предложение работать с IndexNow, но отказался. Причины отказа не сообщались. Возможно, дело в том, что у Google есть свой инструмент Indexing API, который, правда, пока работает не со всеми типами контента. Впрочем, у Яндекса и Bing также есть свои инструменты – Переобход страниц и URL Submission API соответственно. Возможно, их заинтересованность в сотрудничестве связана с тем, что ожидается внедрение IndexNow в CMS. Тогда урлы будут автоматически отправляться в поисковики на сканирование прямо из панелей CMS, исчезнет необходимость в ручном добавлении страниц через панель Яндекс.Вебмастера и аналогичных кабинетов в поисковых системах».Кроме того, на IndexNow.org заявлено требование интеграции: поисковые системы, использующие данный инструмент, должны немедленно делиться всеми отправленными им URL-адресами со всеми другими поисковыми системами, имеющими API IndexNow. То есть в идеале отправил страницу в один поисковик = отправил сразу во все.
Но до идеала пока далеко.
Порядок действия для работы с протоколом следующий:
Создать файл ключа для подтверждения права собственности на сайт;
Разместить файл на сайте одним из двух способов (подробности ниже);
Отправить одну страницу или несколько в поисковые системы по методам GET или POST;
Дождаться появления страниц в индексе.
1. Нужно верифицировать, что вы являетесь владельцем сайта, для которого отправляете адреса. (Такое же требование существует и в поисковых системах для отправки через их собственные инструменты). Для этого на сайте размещают текстовый файл-ключ определенного формата и передают его в каждом запросе к API.
Название файла ключа должно содержать от 8 до 128 шестнадцатеричных символов, выбранных из следующего перечня: строчные и прописные латинские буквы, цифры и тире. Эти же символы в кодировке UTF-8 составляют текст файла. При каждом получении адресов через IndexNow, поисковик сначала проверит наличие ключа, затем выполнит обход сайта.
2. Разместить файл ключа можно двумя способами:
Поместить в корневой каталог сайта (предпочтительный способ).
Пример с IndexNow.org:
https://www.example.org/fbf52ef4708d4ed48a4d1c8e4522f1d6.txt (в теле файла содержится ключ fbf52ef4708d4ed48a4d1c8e4522f1d6)
Поместить файл ключа в другой каталог. Тогда в каждом уведомлении для поисковиков нужно указывать это местоположение при помощи переменной keyLocation.
Пример с IndexNow.org:
https://<searchengine>/indexnow?
url=http://www.example.org/product.html&
key=fbf52ef4708d4ed48a4d1c8e4522f1d6&
keyLocation=http://www.example.org/myIndexNowKey63638.txt
3.1 Для отправки одного URL применяют метод GET:
https://<searchengine>/indexnow?url=url-changed&key=your-key
searchengine — поисковая система
url-changed — адрес страницы, на которую должен зайти поисковый робот, потому что она добавлена или изменена;
your-key — файл ключа, подтверждающий право собственности на сайт.
3.2 Для множественной отправки адресов, в том числе http и https в одном наборе, используют метод POST:
POST /IndexNow HTTP/1.1 Content-Type: application/json; charset=utf-8 Host:
{
"host": "www.example.org&quot;, "key": "fbf52ef4708d4ed48a4d1c8e4522f1d6", "urlList": [
"https://www.example.org/url1, "https://www.example.org/folder/url2, "https://www.example.org/url3;
]
}
«Работая с продвижением в Яндексе, можно использовать IndexNow вместо инструмента Переобход страниц или вместе с ним. Однако надо понимать, что поисковики не дают гарантий, что страницы сразу пересканируются, попадут в поиск или обновятся в поиске. Яндекс обещает, что постарается скорее посмотреть поданные URL. Сам IndexNow гарантирует только, что сообщит об изменениях на сайте в поисковые системы. В целом, никаких гарантий попадания в индекс нет». Сергей Кокшаров использовал свой сайт devaka.ru, чтобы исследовать, как именно работает IndexNow. Результаты эксперимента были представлены во второй день конференции Optimization-2021.
Цель исследования — получить ответы на следующие вопросы:
Методы исследования:
Результаты исследования:
Сначала был создан ключ devakatalk для подтверждения прав на сайт devaka.ru. Его разместили в одноименный txt-файл в корневом каталоге сайта (предпочтительный способ).
Пример отправки по методу GET для сайта devaka.ru выглядит так: https://yandex.ru/indexnow?url=https://devaka.ru/articles/indexnow&amp;amp;amp;key=devakatalk.
Ключ желательно иметь уникальный, хотя не запрещено использовать любые ключи.
Сначала проверили, насколько эффективно проходит пересканирование уже имеющихся на сайте страниц. Для этого отправили на переиндексацию 35 страниц, которые уже были в индексе поисковика, но на них был изменен контент. На рисунках представим логи сервера.
Сразу после отправки поисковик проверил ключ и получил подтверждение (HTTP-код 200). То есть поисковая система видит, что ему отправили адреса на переиндексацию, и проверяет, владелец ли это сделал. А вот далее — тишина. Ни через 10 минут, ни через 7 часов робот на страницы не зашел. Что, безусловно, расстраивает.
Тогда отправили эти же страницы через инструмент Переобход страниц из панели управления Яндекс.Вебмастера. Лог сервера показал, что в течение минуты все 35 страниц были пересканированы.
Итог: IndexNow проиграл Переобходу страниц 0:1
Было отправлено 887 новых страниц, ранее не известных Яндексу, через IndexNox. Видим, что проверился ключ и сразу же начинают сканироваться страницы.
В отличие от предыдущего случая, новые страницы Яндексбот начал проверять сразу. Однако через 10 минут процесс остановился, несмотря на то, что было отсканировано только 90% отправленных страниц. Очевидно, присутствует лимит 10 минут на проверку вне зависимости от того, сколько адресов отправлено. В FAQ на Indexnow.org можно найти косвенное подтверждение этому временному лимиту: «Если страницы редактируются часто, то желательно подождать 10 минут между изменениями, прежде чем уведомлять поисковые системы».
Очевидно, что, сколько вы успеете отправить страниц за 10 минут, столько и будет просканировано. Значит, многое зависит от скорости вашего сервера. Чтобы успеть проверить заявленный IndexNow максимум в 10000 URL, сервер должен отдавать больше 16 страниц в секунду.
Для сравнения отправили 100 дополнительно сгенерированных новых страниц через Переобход страниц. Все 100 адресов были просканированы Яндексом за 1 минуту.
Итог: IndexNow оказался равен Переобходу страниц, общий счет 1:2.
«Трудно сказать, какой инструмент лучше сработал. Очевидно, что новые страницы через IndexNow сканируются охотней, чем старые, по умолчанию получают более высокий приоритет. Переобход страниц также просканировал страницы быстро, но в этом инструменте имеются лимиты на количество адресов на отправку. Лимиты устанавливает сам Яндекс автоматически, исходя из размера вашего сайта. В целом чем больше сайт, чем выше лимит, но иногда этого недостаточно, и это ограничивает возможности этого инструмента».Попробовали не отсканировать, а добавить в индекс совершенно новую, специально созданную страницу.
>
Не дождавшись индексации при помощи IndexNow, отправили адрес через Переобход страниц. Результат на рисунке.
Обратите внимание, что страница проиндексирована с пометкой «57 минут назад». То есть поисковик узнал о ней еще при первой отправке через IndexNow и сохранил себе в базу, пометив время. Но в индекс он ее добавил только после использования инструмента Яндекс Вебмастера.
Ситуация выглядит так, как будто на индексацию повлиял Переобход страниц, а не IndexNow. Перепроверили, поменяв последовательность использования инструментов: начали с Переобхода страниц.
Страница, отправленная на индексацию через Переобход, сразу же была просканирована, но не проиндексирована. Через 16 минут после этого подали ее через в IndexNow. Поисковик страницей не заинтересовался. Однако через 9 минут после второго запроса, через 24 минуты после первого страница была добавлена в индекс
Так как имело место малое время ожидания, была проведена еще одна проверка. Была создана еще одна совершенно новая страница, которую отправляли на Переобход каждые 2 минуты.
Оказалось, что Яндекс не заходит на страничку после каждой отправки через Переобход! Робот переобошел страницу всего 2 раза, хотя подана она было 4, и второй раз зашел только через 6 минут после первого. При этом страница оказалась в индексе за рекордное время 9 минут.
Еще одна проверка была проведена для того, чтобы установить, появится ли страница в индексе в течение нескольких часов за счет инструмента IndexNow.
Опять мы видим, что страница индексируется только после отправки через инструмент самого Яндекса, хотя узнал о ней поисковик еще 2 часа назад при помощи IndexNow.
Итог: IndexNow опять проиграл Переобходу страниц, счет 1:3.
Хотя уже стало ясно, что старые страницы при подаче через IndexNow поисковик пересканирует неохотно, попробуем проверить, можно ли с его помощью убрать адрес из индекса.
За 36 минут после отправки через IndexNow страница даже не была пересканирована и по-прежнему присутствовала в индексе. Через 12 минут после отправки через Переобход (50 минут после IndexNow) страница удалена из индекса.
Итог: и здесь IndexNow работает хуже, итог 1:4 в пользу Переобхода.
Сравнение IndexNow с Переобходом страниц показывает, что в целом инструмент Яндекс.Вебмастера на данный момент эффективнее выполняет поставленные задачи.
В Яндексе для сканирования старых адресов предпочтительнее использовать инструмент Переобход страниц. В ходе исследования такие страницы через IndexNow так и не просканировались. Индексирования страницы при подаче через IndexNow также дождаться не удалось. Переобход для этой же страницы дал рекордный результат в 9 минут. Аналогичная проблема с удалением старой страницы из индекса: от IndexNow результата не было, а Переобход решил проблему на за 13 минут.
При этом можно рекомендовать IndexNow для отправки новых URL на сканирование, так как лимиты здесь выше, чем у Переобхода. Однако в этом случае вам все равно придется долго ждать индексации. Для маленьких сайтов IndexNow применять не стоит — поисковик сам обойдет их. Инструмент может быть полезен для больших порталов, интернет-магазинов, сайтов-агрегаторов и т.п.
IndexNow — независимый инструмент для информирования поисковых систем об изменениях страниц на сайте, в настоящее время работает с Яндекс и Microsoft Bing.
Для отправки страниц в поисковики необходимо подтвердить права на сайт и затем использовать один из двух способов отправки. Подробные инструкции есть как на официальном сайте инструмента, так и на сайтах аффилированных поисковых систем.
При исследовании работы IndexNow с Яндексом было выявлено, что поисковая система не спешит сканировать старые страницы и индексировать любые страницы, поданные через этот инструмент.
Использование Переобхода страниц Яндекс.Вебмастера позволяет быстрее просканировать страницы с изменениями и добавить страницы в индекс. На отправку новых страниц в поисковик в Переобходе есть автоматические лимиты, но обычно их достаточно.
Имеет смысл использовать IndexNow для отправки новых страниц. Для пересканирования старых можно использовать редирект.
IndexNow — перспективный инструмент для сканирования и индексации страниц, однако в настоящий момент он серьезно уступает Переобходу страниц Яндекс.Вебмастера.
Статью подготовила Татьяна Минина. Профессиональный журналист, копирайтер, член Союза Журналистов России. Увлечения: журналистика, текст, SEO, спорт.
Вам будет интересно
Доставляем экспертный контент
Мы делимся с подписчиками экспертным контентом: отправляем полезные статьи, советы от специалистов, приглашаем на вебинары. Подпишитесь, чтобы узнать больше о продвижении бизнеса в Интернете, наших мероприятиях и репортажах с крупных отраслевых событий. Выберите наиболее удобную платформу для вас и наслаждайтесь контентом!
Нажимая на кнопку «Подписаться», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности
Мы отправили вам проверочое письмо — пожалуйста, подтвердите адрес электронной почты, перейдя по ссылке внутри письма.
Пожалуйста, попробуйте еще раз