Откуда берутся советы по оптимизации

Почему исследования поисковиков - единственный достоверный источник информации

На протяжении недолгой, но бурной эволюции Интернета исторически сложился некоторый зазор между аналитикой поисковых систем как наукой, и оптимизацией сайтов как искусством. Большинство представителей оптимизаторского цеха черпают свои профессиональные знания из всевозможных информационно-познавательных ресурсов, очень часто не вдаваясь в подробности - а откуда, собственно, ресурс получил публикуемую информацию. Порою на очередном форуме, посвященном вопросам оптимизации, можно стать свидетелем горячих споров о ключевых моментах работы алгоритмов поисковых систем, однако не всегда в этих спорах рождается истина.

Конечно, не обязательно знать, как функционирует система, чтобы пользоваться результатами ее работы. Так, современный автолюбитель может даже не догадываться, каким образом устроен двигатель внутреннего сгорания. Главное - иметь представление о правилах дорожного движения и немного разбираться в принципах управления автомобилем. Однако, по всей видимости, совсем недостаточно знать общие правила оптимизации и написания html-документов, чтобы быть оптимизатором.

Без знаний о принципах работы алгоритмов поисковых систем нельзя обойтись хотя бы потому, что эти принципы меняются практически постоянно. При этом, полагаясь исключительно на общую информацию, часто не имеющую ничего общего с объективной реальностью, оптимизатор в лучшем случае потеряет время и доверие потенциальных клиентов.

Знание принципов функционирования алгоритмов поисковых систем должно основываться на объективной и достоверной информации. Разработчики поисковиков эту информацию предоставлять не будут по вполне понятным соображениям - на следующий день после опубликования алгоритма все страницы, подвергшиеся оптимизации в соответствии с правилами определения релевантности, должны оказаться на первом месте. Но только канадские фигуристы могут быть вторыми олимпийскими чемпионами - двух первых мест в списке ответов поисковой машины, к большому сожалению, не бывает.

Следовательно, остается единственный путь - применить к поисковым алгоритмам методологию изучения сложных систем.

Многовековая история развития методов научного познания показывает, что существует всего два подхода к познанию принципов функционирования закрытых (т.е. таких, которые мы не можем разложить на составляющие и провести их анализ) систем - наблюдение и эксперимент.

Первый методологический подход опирается на мощный и хорошо разработанный инструментарий статистики. Суть его такова: если долго и тщательно наблюдать за работой системы, то можно обнаружить некие закономерности в ее функционировании, по которым мы можем судить о ее устройстве. Аналитики поисковых систем довольно часто используют статистический анализ. Однако, в большинстве случаев, полученные результаты имеют очень высокий показатель вероятности статистической ошибки. Перечислим причины вероятных ошибок:

• всегда неудовлетворительно малый размер выборки. Вся суть статистического метода состоит в отображении на ограниченном количестве частных случаев законов функционирования гораздо больших явлений. Чем больше размер выборки, тем меньше вероятность каких-либо неучтенных отклонений, тем точнее результат наблюдений. В настоящее время количество индексируемых поисковиками документов в Интернете не позволяет рассчитывать на хоть какую-то более или менее приемлемую достоверность статистической выборки для изучения принципов функционирования поисковых систем. Какой бы большой не была выборка анализируемых документов, она не сможет отразить закономерности и принципы работы поискового алгоритма. Мой первый пост на оптимизаторском форуме - "О значении ключевого слова в доменном имени: результат анализа 10 тысяч доменов" - с треском провалился. Более опытные коллеги привели мне десятки примеров, которые напрочь опровергали сделанные мною выводы;
• невозможность учтения всех параметров поискового алгоритма. Еще большей проблемой при использовании статистики в аналитике поисковых систем является недостаточность информации о количестве и качестве параметров, принимающих участие в работе алгоритма поисковой системы. Даже если истории о шести сотнях параметров отнести к категории оптимизаторских страшилок, мы никогда не узнаем хотя бы приблизительный перечень факторов, по которым оценивается релевантность документа. Весьма неопределенным остается процесс определения формул, по которым вычисляется тот или иной параметр. И уже совсем пессимистичной выглядит перспектива познания комбинации всех параметров, а также вычисления их веса в общей формуле определения релевантности. Как бы искусно не владел оптимизатор приемами многофакторного анализа, он просто не сможет учесть в своих расчетах всех параметров, используемых поисковыми машинами. А если в анализе не будут использованы все наиболее значимые параметры, мы всегда будем получать искаженные результаты.

Простое наблюдение результатов работы алгоритмов является весьма несовершенным методом аналитики поисковых систем. Альтернативой этому подходу может служить эксперимент. Суть экспериментального подхода состоит в том, что, создавая страницы с контролируемыми исследователем параметрами, можно получать ответы поискового алгоритма, на основании которых можно будет подтвердить или опровергнуть ту или иную гипотезу. Далее, используя тот же многофакторный анализ, представляется возможным оценить вес и оптимальные значения параметров. Что и является конечной целью всей аналитики поисковых систем.

Метод уникальных ключевых слов

Так как поисковый алгоритм оценивает соответствие страницы запросу, состоящему из одного или нескольких слов, то и большинство настраничных параметров текста относится к характеристикам слов. К основным настраничным параметрам принадлежат:

• вес ключевого слова в тексте - доля ключевого слова относительно суммы всех слов текста, выраженная в процентах;
• положение ключевого слова в тексте - принято считать, что чем ближе ключевое слово к началу текста, тем оно более значимо, потому что о важном пишут в начале (если Вы, конечно, не пишете любовное послание, или годовой отчет для инвестора);
• положение слов ключевой фразы - чем ближе располагаются слова ключевой фразы относительно друг друга, тем более текст соответствует поисковому запросу.

Итак, оперируя настраничными параметрами, можно создавать тексты, которые в списках ответов поисковых машин выстраивались бы в той последовательности, которая или подтверждала бы предположения о степени влияния того или иного параметра, или опровергала бы их.

Дело остается за малым - выбрать ключевые слова для эксперимента. Здесь мы сразу сталкиваемся с проблемой, т.к. какие бы мы слова для эксперимента не выбрали, кроме наших страниц поисковик возвратит в списке ответов и большое число других страниц. Таким образом, мы не сможем добиться чистоты эксперимента, а выводы, сделанные на основании полученных результатов, будут страдать той же низкой степенью достоверности, как и в случае применения статистического анализа.

Однако, выход из этого затруднения есть. Он заключается в создании уникальных, ранее не существовавших ключевых слов. Так как ни одному поисковику вновь созданные слова неизвестны, он будет возвращать по их запросу только экспериментальные страницы.

Как генерировать уникальные ключевые слова - дело вкуса исследователя. Можно просто хаотично стучать по клавиатуре, получая что-то наподобие "жфшщымтфю", но можно поступить и более изысканно, прибегнув к услугам многочисленных сервисов по созданию благозвучных и хорошо запоминающихся паролей.

Метод уникальных ключевых слов имеет бесспорные достоинства:

• он избавляет исследователя от написания больших и сложных скриптов автоматических запросов для сбора огромных массивов статистики, что, к тому же, еще и является запрещенным приемом по отношению к поисковым машинам. Для каждого эксперимента достаточно создать десяток страниц с уникальным ключевым словом, чтобы получить достоверный ответ на злободневный вопрос оптимизации;
• поисковые машины не могут блокировать исследования с использованием уникальных ключевых слов, так как для их алгоритмов все слова равны;
• метод прост в применении. Если для организации исследований взаимного влияния параметров нужны, как минимум, знания методов многофакторного анализа, то для экспериментов, отвечающих на вопросы качественного характера достаточно знания самых простых правил проведения научных экспериментов.

Нами пока не обнаружены более или менее серьезные недостатки метода. Даже такие сложные вопросы аналитики поисковых систем, как индексирование поисковиками динамических страниц, способность поисковых роботов переходить по динамически генерируемым ссылкам, влияние входящих ссылок на оценку релевантности страницы - все эти вопросы с успехом решаются с помощью предложенного метода.

Более или менее серьезным замечанием может быть предположение об оценке поисковыми системами значимости слова. В оптимизаторской среде есть понятие "денежных слов" - некий список очень популярных поисковых запросов, к которым поисковики применяют дополнительные фильтры, с целью получения прибыли за рекламу по данным запросам. В таком случае эксперименты с уникальными ключевыми словами, и реально существующими словами могут давать различные результаты. Пока подтвердить это предположение нам не удалось. Поэтому мы будем искренне признательны тем читателям, которые выскажут соображения по поводу возможных недостатков метода.

Что исследовать в первую очередь

Спектр вопросов, которые можно разрешить с помощью метода уникальных ключевых слов, достаточно широк. При разработке метода мы начинали с выяснения вопросов качественного характера:

• какие тэги html-страниц индексируются поисковыми системами;
• какие символы являются для поисковиков разделителями слов.

Затем варианты экспериментов все более усложнялись, и на данный момент разработаны такие вопросы, как:

• какой объем информации на странице индексируется поисковыми системами;
• действительно ли поисковые системы способны обезвреживать всевозможные приемы искусственного завышения веса ключевых слов;
• как поисковые системы индексируют страницы, на которых используются flash-технологии;
• индексируют ли поисковики содержание java-скриптов, и выполняются ли скрипты поисковыми роботами.

В целом, метод уникальных ключевых слов в той или иной степени применим к большинству вопросов аналитики поисковых систем - от вопроса оптимального веса ключевого слова, до проблем индексации динамических сайтов. Мы надеемся, что в ближайшем будущем появятся интересные публикации, раскрывающие особенности функционирования алгоритмов поисковых систем, исследованные с помощью метода уникальных ключевых слов.

Как формируются оптимизационные рекомендации Web CEO

Ранее уже говорилось, что практика оптимизации невозможна без теории аналитики поисковых систем. Сейчас пришло время рассмотреть вопрос - а как применяются полученные знания на практике.

Очевидно, что удовлетворение научного любопытства и яркие впечатления руководства компании от глубины и размаха деятельности отдела аналитики поисковых систем - не конечная цель исследовательской работы. Аналитик всегда должен руководствоваться незаслуженно забытым заветом Владимира Ильича Ленина: "В любой политической ситуации задавайте вопрос: кому это выгодно".

Информация о принципах работы алгоритмов поисковых систем в компании Web CEO отражается в рекомендациях для оптимизаторов. Инструмент Web CEO Optimization построен по принципу эмуляции поисковой системы. Программа рассматривает оптимизируемую страницу с точки зрения поисковой машины и выдает советы по ее усовершенствованию. Этим качеством данный инструмент превосходит конкурентов, которые для всех страниц выдают стандартные оптимизационные советы, или вообще ограничиваются предоставлением никак не интерпретируемых параметров.

Незнание принципов работы поисковых систем приводит к таким казусам, как анализ веса ключевого слова в комментариях или мета-тэгах, реализованный в плагине "Tор-10 Optimizer" программы IBP, тогда как эти параметры, как показано нами, не только не принимаются в расчет поисковиками, но даже сами тэги игнорируются поисковыми роботами.

Отделом аналитики поисковых систем компании Web CEO налажен автоматический мониторинг поисковых алгоритмов, и любые изменения сразу же отображаются в инструменте Web CEO Optimization. Таким образом, клиенты Web CEO получают самые свежие и наиболее объективные данные о принципах работы поисковых систем, выраженные в конкретных советах по оптимизации.

Как можно воспользоваться свежими результатами профессиональных исследований, не проводя их постоянно самостоятельно

Любая теоретическая разработка не имеет ценности, если она неприменима на практике. Кроме оригинальности и простоты исполнения, использование методов изучения поисковых алгоритмов должно быть экономически оправдано. Однако, большие затраты времени и сил на разработку, постановку и анализ экспериментов, могут отрицательно сказаться на и без того загруженном рабочем графике оптимизатора.

Ответ - в использовании программного обеспечения, которое уже предоставляет рекомендации на основе результатов регулярно проводимых исследований - такого, как Web CEO. В этом случае, получая от программы совет "вес ключевой фразы в тэге TITLE должен достигать 33%", вы можете быть уверены, что эта цифра была не "содрана" с очередного форума, а выведена в результате скрупулезного изучения реакции поисковика на изменения в экспериментальных веб-страницах.

28.01.2006