Зачем Яндексу англоязычный индекс и как Google воспринимает партнерские ссылки

Как говорил в недавнем интервью Аркадий Волож, поиск по англоязычным документам разрабатывается не для захвата иностранных поисковых рынков, а для того, чтобы отечественные пользователи могли что-то искать и находить по англоязычным запросам. Интересно, для чего тогда Яндексу нужна англоязычная страница yandex.com, не уступающая в аскетизме главной странице Google и имеющая ссылку на англоязычный раздел 'О компании'?

Англоязычные запросы могут быть очень разными. Если это название популярной группы или имя поп-звезды, то имеет смысл пользователям из России показывать все равно русскоязычные страницы. Как же Яндекс определяет запросы, по которым надо выдавать англоязычные страницы?

Некоторые данные можно найти в интервью Елены Колмановской от 30 января 2009 года:

Когда человек задает запрос целиком из английских слов, трудно догадаться, что он хотел увидеть русскую выдачу. К тому же по этому запросу ничего особо качественного в русской выдаче не находится.

Сейчас в Интернете все больше пользователей, все больше из них знают другие языки или знают достаточно, чтобы сориентироваться, когда они ищут софт, кино и так далее.

Таким образом, у Яндекса, во-первых, есть представление о тематиках, к которым часто относятся англоязычные вопросы, а во-вторых английский индекс нужен тогда, когда в русском слишком мало находится. Наш источник в Яндексе рассказал, что запросов с латиницей - около 15%, и все они 'подключают' зарубежный индекс.

Для оптимизаторов увеличение англоязычного (запросы на других языках пока дают в основном ссылки на русские и английские страницы) индекса - это, с одной стороны, обострение конкуренции за посетителя. Если страница вашего сайта релевантна запросу на английском языке, ее в выдаче могут заметно 'подвинуть'.

С другой стороны, плюсом для вебмастеров может стать то, что Яндекс приучит своих пользователей обращаться с англоязычными запросами к нему же, а не идти в google.com, Bing или Yahoo!

Скорее всего, англоязычных запросов к Яндексу пока немного. Но если их количество будет расти, появится смысл в создании англоязычных разделов на сайтах, перевода уже имеющегося контента, и в конце концов продвижения по англоязычным запросам.

Интервью с Мэттом Каттсом про индексацию, ссылки, PageRank

Эрик Эндж взял очень большое интервью у Мэтта Каттса, руководителя отдела борьбы с поисковым спамом в Google. Мы предлагаем 'выжимки' самой интересной и ценной информации

Matt Cutts: There is also not a hard limit on our crawl. The best way to think about it is that the number of pages that we crawl is roughly proportional to your PageRank

Не существует для индексирующего бота жестко заданного лимита. Количество страниц, которые обойдет бот, довольно-таки сильно зависит от вашего PageRank

(связь индексации с PR достаточно очевидная - количество входящих ссылок на страницу)

Кроме того, глубина и интенсивность индексации зависит от того, какую нагрузку может выдержать сайт. Здесь же встает вопрос дублированного контента. Одинаковые страницы с разными URL надо обрабатывать с помощью 301 редиректа или rel=canonical (кстати, это, по словам Каттса - не директива, а 'подсказка'. Директивам поисковик обязан строго следовать, а в данном случае это не так - 'чтобы сайтовладелец не смог сам себе навредить').

Matt Cutts: What we try to do is merge pages, rather than dropping them completely. If you link to three pages that are duplicates, a search engine might be able to realize that those three pages are duplicates and transfer the incoming link juice to those merged pages.

(В случае с дублирующимися страницами) мы пытаемся их склеить, а не просто выбросить дубликаты из индекса. Если страница ссылается на три другие страницы, и все они дубликаты - есть шанс, что поисковик поймет это и отдаст PageRank от входящей ссылки объединению этих страниц. То есть, PR не 'уйдет впустую' на дубликаты. Но полагаться на способность и желание поисковика объединить страницы нельзя, надо самостоятельно бороться с дублями

Идентификаторы сессий Каттс рекомендует вообще не использовать. Это еще и вопрос юзабилити, пользователи охотнее переходят по 'красивым' ссылкам и лучше их запоминают.

О партнерских ссылках. Matt Cutts: There is some classic SEO advice out there, which says that what you really should do is let them put their parameter on their URL, but when users click on that link to get to your site, you 301 redirect them to the page without that parameter, and drop the parameter in a cookie.

Классический совет оптимизаторам - если у вас партнерская программа, разрешите партнерские ссылки, которые создаются путем добавления параметра, но когда пользователь кликает по такой ссылке - отправляйте его 301 редиректом на страницу без параметра, а параметр отправляйте в cookie

Этот совет - для тех, кто для наилучшего отслеживания путей по сайту пользователей, привлеченных партнером, создает страницы-дубликаты с параметром, соответствующим партнерской ссылке. По тому же принципу часто делают Landing Pages для рекламных кампаний

Eric Enge: Let's say you move from one domain to another and you write yourself a nice little statement that basically instructs the search engine and, any user agent on how to remap from one domain to the other. In a scenario like this, is there some loss in PageRank that can take place simply because the user who originally implemented a link to the site didn't link to it on the new domain?

Matt Cutts: That's a good question, and I am not 100 percent sure about the answer. I can certainly see how there could be some loss of PageRank. I am not 100 percent sure whether the crawling and indexing team has implemented that sort of natural PageRank decay, so I will have to go and check on that specific case. (Note: in a follow on email, Matt confirmed that this is in fact the case. There is some loss of PR through a 301).

- Допустим, вы переезжаете на другой домен, оставляете поисковым ботам и другим юзер-агентам соответствующую инструкцию: есть ли вероятность потери PR просто потому, что пользователь когда-то сослался на ваш сайт на старом домене и не поменял ссылку на новый?

- Я не уверен на 100%... я уточню (позже Мэтт прислал email, где подтвердил, что такая потеря PR может иметь место. Некоторая часть PR теряется при использовании 301 редиректа).

Eric Enge: If Googlebot sees an affiliate link out there, does it treat that link as an endorsement or an ad?

Matt Cutts: A lot of the time, that means that the link is essentially driving people for money, so we usually would not count those as an endorsement.

- Если бот Google видит партнерскую ссылку, он ее воспринимает как 'голосующую' ссылку или как рекламную?

- Обычно это ссылки ради денег, так что 'голосующими' мы их чаще всего не хотим считатьМэтт и Эрик обсудили PageRank Sculpting. Так называют стратегию внутренней оптимизации сайта, направленную на распределение PR по наиболее важным страницам. Это делается с помощью тега nofollow, закрытия страниц от индексации, убирания ссылок в Javascript и iframe и прочих подобных методов.

Мэтт считает, что 'это не лучший способ потратить время'. Лучше выстроить архитектуру сайта, поменять навигацию, и получить побольше обратных ссылок, чтобы и пользователи шли на нужные страницы, и PR у них увеличивался естественным образом, чем манипулировать iFrame или encoded JavaScript. Google не то чтобы считает такую активность спаммерской, но полагает, что это попытка устроить разную навигацию для пользователей и для ботов, отправить поисковую систему не по тем путям, по которым ходят пользователи.

Eric Enge: With the new JavaScript processing, what actually are you doing there? Are you actually executing JavaScript?

Matt Cutts: For a while, we were scanning within JavaScript, and we were looking for links. Google has gotten smarter about JavaScript and can execute some JavaScript. I wouldn't say that we execute all JavaScript, so there are some conditions in which we don't execute JavaScript. Certainly there are some common, well-known JavaScript things like Google Analytics, which you wouldn't even want to execute because you wouldn't want to try to generate phantom visits from Googlebot into your Google Analytics.

- Новый процессинг Jav * aScript: что именно вы делаете? Исполняете скрипт?

- Мы сканируем его и ищем ссылки. Некоторые скрипты Google может исполнять. Некоторые не исполняет - например, чтобы не генерировать фантомные посещения, которые будут фиксироваться Google Analytics и искажать статистику сайта. Nofollow для ссылок внутри яваскрипта работает. Так что если на сайте есть такая реклама - ссылки надо закрывать от индексации.

Оригинал интервью