Клоакинг — часто задаваемые вопросы

Не так давно я попросил Дэна Крамера из KloakIt дать мне интервью, в котором бы были ответы на вопросы, касающиеся клоакинга, которые мне довольно часто задают, и он согласился.

Как работает клоакинг?

Для того чтобы это объяснить, нужно вначале понять, что такое клоакинг. Клоакинг - это процесс показа разного контента разным посетителям в зависимости от определенных критериев, как-то: является посетитель поисковым ботом или же человеком или, например, в какой стране находится посетитель.

Клоакинг программа/скрипт обрабатывает несколько параметров, чтобы идентифицировать посетителя: IP адрес; User-Agent браузера; URL, по которому пришел посетитель. Все эти параметры содержаться в HTTP запросе к серверу. Основываясь на этих данных скрипт принимает решение, какой контент предоставить посетителю.

В оптимизации, клоакинг используется для того, чтобы предоставить поисковому боту оптимизированный контент, и скрыть его от обычных посетителей.

Насколько рискованно использование клоакинга?
Для каких типов сайтов применим клоакинг?

Многие поисковики не одобряют использование клоакинга. Они угрожают различными наказаниями и даже банном тем сайтам, которые будут уличены в клоакинге, поэтому, необходимо быть осторожным при планировании клоакинг кампании. Мой совет вебмастерам, которые хотят попробовать клоакинг - разместить клоакинг-сайты на разных доменах. В этом случае, даже если какой-то из сайтов будет пойман на клоакинге и наказан или забанен - это не повлияет на позиции основного сайта.

Типы сайтов, для которых применим клоакинг, делятся на две категории. К первой принадлежат сайты, нацеленные на широкий список запросов, чаще всего это партнерские сайты и им подобные. Для них, как правило, используется различный софт для клоакинга, который позволяет легко создавать тысячи оптимизированных страниц, которые хорошо ранжируются. В этом случае, ключевой фактор - количество.

Далее, мы имеем сайты, которые плохо индексируются поисковиками. Некоторые владельцы флеш-сайтов хотят, чтобы поисковики индексировали текстовую версию сайта, в то время как обычным пользователям предоставляется флеш версия по тому же URL.

Чем отличается IP-доставка от клоакинга?

IP доставка - это разновидность клоакинга. Я уже говорил, что существует несколько критериев, по которым скрипт идентифицирует посетителя. Одним из самых важных критериев является IP адрес посетителя.

Каждый компьютер в интернете имеет собственный IP адрес. Существуют специальные списки IP адресов поисковых машин. Когда посетитель заходит на сайт, клоакинг скрипт сравнивает его IP адрес с имеющимся списком IP адресов поисковиков. Если он обнаруживает совпадение, то он предоставляет оптимизированную версию страницы (сайта). Если же совпадений не найдено, он выдает страницу, предназначенную человеку. Так как для принятия решения используются данные об IP адресе, то это называется IP доставкой.

IP доставка - считается лучшим способом клоакинга, так как подделать IP адрес очень сложно. Существуют и другие методы клоакинга, такие как определение User-Agent, который не так безопасен. При клоакинге через User-Agent, последний определяется через HTTP запрос и сравнивается со списком User-Agent поисковиков. Примером поискового User-Agent является - "Googlebot/2.1 (+http://www.googlebot.com/bot.html)".

Проблема с клоакингом через User-Agent заключается в том, что его очень легко подделать, и ваши конкуренты могут запросто это сделать, что позволит им обнаружить клоак страницы и настучать на вас.

Насколько сложно поддерживать базу IP адресов в актуальном состоянии? Где можно раздобыть свежие IP адреса?

Обычный вебмастер вряд ли справится с этой задачей. Все время появляются новые IP адреса, которые нужно учитывать (хорошие программы делают это автоматически), и это бесконечный процесс. Прежде всего, необходимо установить сеть ловушек для ботов, с помощью которой можно будет получать данные о новых ботах, когда они посетят один из ваших сайтов. Это можно сделать с помощью CGI скрипта, который также может проверять IP адреса сравнивая их с уже имеющимся списком. После этого список подозрительных IP адресов нужно вручную проверить на принадлежность к поисковым машинам. Кроме того, нужно следить за появлением новых поисковиков Вы не поверите мне, если я скажу, сколько новых поисковиков появляется каждый месяц.

Вместо того, чтобы делать это все самому, вы можете взять списки IP адресов (уже готовые), которые выложены в сети. Я веду бесплатный список IP адресов поисковиков. Есть также несколько коммерческих ресурсов на эту тему (я не являюсь их партнером). В дополнение к этим ресурсам свежую информацию по теме можно найти на Search Engine Spider Identification Forum.

Этичен ли клоакинг? Или как это часто бывает в оптимизации,
слово этика - понятие растяжимое?

Кто-то скажет, что клоакинг вполне этичен, кто-то не согласится с этим. Мое личное мнение таково - я считаю, что вы можете делать на сайте все, что вы считаете нужным (если, конечно же, сайт принадлежит вам), до тех пор, пока вы не нарушаете закон. Вы имеете право выбирать какой контент, какому пользователю отображать. Клоакинг в оптимизации применятся с целью увеличить соответствие сайта поисковым запросам... кто же захочет, чтобы посетители принадлежали к нецелевой аудитории?