Анализатор качества поиска Яндекса

Продолжаем начатый ранее разговор об анализе апдейтов поисковых машин (см. аналитический выпуск ?2).

В конце декабря 2006 года случилось событие, обсуждение которого сообществом оптимизаторов растянулось почти на две недели - технический сбой в работе Яндекса, который не удалось быстро исправить. Яндекс не перестал выдавать результаты поиска, но выглядели они, по меньшей мере, странно. Алекс Экслер в своем блоге назвал их "чушью какой-то несусветной" и сменил слоган Яндекса "Найдется все" на "Не найдешь ничего".

Смех смехом, но у этой истории есть более глубокий смысл. Впервые качество поиска пытались оценивать не его разработчики, а пользователи поисковой машины, причем, в открытом обсуждении. Всем было ясно, что "что-то не то", но до 10 января шли дебаты, является ли "не такая" выдача следствием ошибки Яндекса и будет исправлена, либо это давно обещанный новый алгоритм, который вдруг показал неожиданные результаты.

Релевантность праздничной выдачи не ухудшилась (в ответ на запрос "анекдоты" показывались ссылки на сайты с анекдотами). Но из результатов поиска пропали ссылки на наиболее известные и любимые сайты Рунета, которые, по мнению пользователей, должны легко находиться по соответствющим запросам.

Например, пользователи ожидают, что в ответ на вопрос "автомобили" поисковик обязательно должен показать наверху ссылку на сайт Михаила Рогальского auto.ru, так как это наиболее известный и авторитетный проект Рунета по автотематике. "Анекдоты" ассоциируются с сайтом Дмитрия Вернера anekdot.ru. "Библиотека" - lib.ru, проект Максима Мошкова. "Президент" - kremlin.ru (Президент России | Сведения о статусе Президента России, его конституционных правах и обязанностях. Персональная информация о Президенте, его супруге, протоколе, транспорте...).

Таким образом, для некоторых поисковых запросов существуют сайты, которые просто обязаны быть в результатах поиска, если поисковая система претендует на отзывы пользователей, что у нее "хороший поиск". И, соответственно, если эти сайты не находятся на первой странице результатов, поиск, по мнению пользователей, однозначно, "плохой".

Эта идея легла в основу нового автоматического онлайн-сервиса - анализатора качества поисковой выдачи. Как он работает.

Каждый день анализатор вводит в Яндекс, Рамблер, Google запросы, для которых определены сайты-маркеры качества. Подсчитывается два параметра:

• сколько сайтов-маркеров не найдено в Тор10 результатов поиска. В идеале, должны быть найдены все, поэтому лучший показатель = 0;
• какова средняя позиция в выдаче сайта-маркера. Определяется как сумма позиций всех найденных в Тор10 сайтов-маркеров деленная на их количество.

Смысл второго показателя необходимо пояснить. Если пользователи ожидают увидеть в результатах поиска какой-то конкретный сайт, то чем выше он находится, тем оправданнее ожидания пользователей. Соответственно, тем выше пользовательская оценка качества поиска и поисковика. Поэтому идеальная позиция маркера - первая. Если бы все сайты-маркеры были на первых позициях, средняя позиция, естественно, тоже была бы первой. А лучший показатель анализатора качества поиска - 0 | 1 : все маркеры найдены, средняя позиция сайта-маркера - первая. Чем больше цифра средней позиции, тем ниже качество. А уж если хотя бы 5% сайтов-маркеров вообще не найдено... это либо технический сбой, либо что-то не в порядке с алгоритмом ранжирования.

Анализатор будет обновлять данные ежедневно. И в случае апдейта поисковой системы одного взгляда на индикатор качества достаточно, чтобы получить общее представление о ситуации и сделать прогнозы о ее устойчивости.

• Кнопка-индикатор нового анализатора находится на главной странице форума SEOChase.com
• Таблица динамики показателей по дням -
  http://seo-tools.ashmanov.com/se_quality/quality.htm
• Обсуждение на форуме - см. тему Анализатор качества результатов поиска

С 21 января будет использоваться набор из 21 маркера, вот список пар:

auto.ru - автомобили
anekdot.ru - анекдоты
exler.ru - экслер
rambler.ru - поисковая система
sotovik.ru - сотовые телефоны
job.ru - работа
marketing.spb.ru - маркетинг
lenta.ru - новости
holodilnik.ru - холодильник
mosokna.ru - московские окна
yellowpages.ru - желтые страницы
afisha.ru - афиша
mamba.ru - знакомства
ozon.ru - книги
cbr.ru - банк
pogoda.ru - погода
kremlin.ru - президент
cska-football.ru - цска
lib.ru - библиотека
artlebedev.ru - лебедев
amik.ru - квн