Интервью с Мэттом Каттсом, инженером Google

Мое увлечение поисковыми технологиями началось в 1999 году. В то время, я работал над степенью доктора, в университете Северной Каролины в Чапел Хил. Факультет компьютерных технологий в этом университете предлагает на выбор две специальности, я избрал - информация и библиотечное дело, то, что касается поисковых машин и технологий поиска. Оказалось, что поисковые машины - это по настоящему интересная штука: частота употребления слов относительно частоте встречаемости документов и прочее… Занятия шли своим чередом, а я попутно активно экспериментировал в этой области - ничего серьезного, но меня это действительно увлекло.

Всякая ли оптимизация - это спам?

Совсем нет - наверно стоит написать об этом как-нибудь на своем блоге… Очень многие из методов оптимизации, те которые используют "белые" технологии - совсем не являются спамом. Если люди оптимизируют сайты, делая их более "дружелюбными" для поисковых машин, меняют содержание на сайте, чтобы люди легче находили нужную им информацию (товары, услуги), или придумывают что-то действительно уникальное, что заставляет других ссылаться на их сайт - все это замечательно и совсем не является спамом. Для меня (и для Google) спам - это технологии оптимизации, которые мы не рекомендуем к использованию: скрытый текст, скрытые ссылки, дорвеи и т. д.

Лично у меня есть теория, что некоторые спамеры, хотят, чтобы люди, которые используют нормальные методы оптимизации, думали, что о ни используют какие-то "черные" технологии или что вообще все, кто занимается оптимизацией - спамеры. Разве я становлюсь спамером оттого, что, поменял слово "howto" на словосочетание "how to" потому что второе - более популярный запрос? Конечно же, нет! Примерно такая же теория у меня есть и насчет спам репортов. Почему если кто-то заявляет, что они будут использовать все доступные методы, затем вдруг начинает агитировать людей не делать спам репорты? Два этих утверждения ("Я сделаю все, что угодно, чтобы подняться в результатах поиска" и "Не стучите на конкурентов, если они используют спам технологии") не очень-то согласовываются между собой. Здесь еще полно всяких нюансов, о которых можно поговорить, но пока я просто хотел бы, чтобы люди задумались над этими двумя...

Что вы думаете о помидорах? Вас когда-нибудь спамили, предлагая помидоры?

Здесь очевидно, необходимо объяснить кое-что. Последний раз, когда я и Аарон вместе обедали, нам подали помидоры, которых мы не заказывали. Это случилось в Новом Орлеане на конференции WMW. Оказалось, что пара вебмастеров послали их нам в качестве аперитива. Довольно интересная мысль, но немного сюрреалистичная. В связи с этим, я бы хотел сказать еще вот что, если вы посылаете запрос на повторное включение, пожалуйста, не посылайте нам печенье, шоколад, ручки и прочее. Это не так уж часто случается, но, тем не менее… Мы бы не хотели производить впечатление компании, которая может помочь, если вы нам что-то подарите, тем более, что шутки типа "Ты действительно думаешь, что это съедобно?" - уже немного поднадоели.

Некоторые из уверенных в себе оптимизаторов гарантируют первые позиции в Google. Может ли вообще кто-то гарантировать такое?

Только не в Google. Никто не может этого гарантировать, даже Google, так как наш алгоритм довольно часто обновляется. Я видел спамеров, которые на самом деле просто покупали рекламное место и ов, которые использовали специальный софт, так что в браузере клиента его сайт отображался на первом месте. Также есть люди, которые гарантируют первое место по запросам, состоящим из 5-6 слов, но дело в том, что никто не использует такие запросы. Есть люди, которые гарантируют, что они попытаются вывести сайт на первую позицию, а если не получится, то они попробуют снова. Уверенность в таких вещах настораживает, если честно. Я бы относился к таким предложениям скептически и внимательно бы изучил предложения подобного рода, прежде чем начинать работу с такими оптимизаторами.

Как специалист, который знает работу алгоритма изнутри, по каким критериям вы бы выбирали компанию для оптимизации?

Скорее всего, я бы навел справки, просмотрел бы рекомендации. Хорошее портфолио, клиенты, которые говорят о своих результатах. Усиленное внимание к архитектуре сайта и его хорошей совместимости с поисковиками - это плюс. Опыт работы, как в области оптимизации, так и в области РРС. Знание специфики и личные контакты. Опыт работы с компанией средней руки или с какой-нибудь большой компанией, чтобы убедится в том, что они понимают маркетинг, PR. Креативность, которая помогла их клиентам стать популярными в блогосфере. Если они на рынке (впрочем, как и в блогосфере) уже некоторое время - это тоже плюс. Открытость - они должны уметь понятно объяснить, что именно они собираются делать. На самом деле есть очень много хороших оптимизаторских компаний, но если бы я лично нуждался в подобного рода услугах - я бы предпочел консервативный подход.

Как вы считаете, наступит ли когда-нибудь такое время, когда Google будет предлагать определенные услуги по оптимизации (или рекомендовать услуги третьих компаний), не считая AdWords?

Я не исключаю такой возможности, но вряд ли это произойдет в ближайшем будущем. Для того чтобы стать сертифицированным специалистом в области рекламы в Google Advertising Professional (GAP), необходимо придерживаться наших рекомендаций в обычной оптимизаторской практике. Я думаю, что программа GAP развивается достаточно неплохо. Но так как отследить деятельность отдельно взятой компании довольно сложно, не думаю, что мы будем рекомендовать кого-то в ближайшее время. Как можно нормально сотрудничать с кем-то, когда люди находят в твоих словах столько значений, сколько это вообще возможно, а иногда и больше, когда даже их собака, оказывается, пишет о поисковых технологиях?..

Правда заключается в том, что сейчас я гораздо больше думаю, о том, как будут интерпретированы мои слова и заявления. Я понял, что ни в коем случае не стоит писать, когда я злой или давать обещания по поводу того, когда будет (или не будет) запущен тот или иной сервис - тоже глупо. Иногда, я все же даю обещания, но теперь я точно знаю, когда именно я веду себя глупо. Мне нравится писать в блоге, так что каждый раз когда Ред Херринг прикапывается к какой-нибудь моей цитате, я могу объяснить, что я имею в виду.

Майк Грехам как-то написал статью о том, что богатые становятся только богаче, имея ввиду, возможную договоренность между сайтами, которые находятся на топовых позициях, по удержанию этих позиций. Google как-нибудь препятствует этому? Если да, то как?

Мы пытаемся. Далеко не малая часть нашего времени уходит на придумывание способа как выдавать именно те сайты, которые соответствуют запросам и маленькие сайты являются частью этого. Это по настоящему сложно, когда такие сайты имеют всего лишь пару (а часто и ни одной!) входящих ссылок. Поэтому каждый раз, когда я оказываюсь на улице и встречаю там кого-то, кто пытается заявить о себе (уличные художники, музыканты и пр.), дело заканчивается тем, что я записываю три четыре URL, чтобы потом проверить их позиции. Я всегда ношу с собой маленький блокнот специально для этих целей.

Не думаете ли вы, что роль оракула, которую фактически выполняют поисковики, пассивно (а с персонализацией услуг по поиску все более активно) влияет на формирование мировоззрения общества, тем самым не помогая ему, а наоборот?

Возможно, влияет, но только в той степени, в которой мы сами на это влияем, я считаю, что Google News - это хорошая штука, так как предоставляет информацию из многих (разных!) источников. Я считаю, что разнообразие настолько же важно и при поиске информации. На самом деле, вопрос заключается не в том, как изменяется мировоззрение и кто на это имеет влияние, а то, как люди оперируют информацией. Задайте поиск по [computer scientist as toolsmith]. В свое время мне повезло, и я некоторое время общался с Фредом Бруксом в университете Северной Каролины и мои взгляды были во многом сформированы под влиянием его речи произнесенной на SIGGRAPH несколько лет назад. Если вам понравилась его книга "Загадочный человеко-месяц" (The Mythical Man Month) вы обязательно должны прочитать эту статью (read the article [PDF]). Вот одна из замечательных цитат оттуда: "Успех к разработчику приходит только тогда, когда успех приходит к тем, кто использует его разработки". Я считаю, что вера в то, лучший доступ к информации обеспечит лучшее развитие человеческого интеллекта и человечества в целом, должна быть фундаментальной.

Когда вы (Google) изменяете бизнес модель, по которой вы работаете или вдруг начинаете ориентироваться на другую целевую аудиторию это обычно ощутимо влияет на эффективность бизнес моделей в Интернете. Какие наибольшие изменения в сети в связи с изменениями в работе вашего алгоритма вам приходилось наблюдать?

За последние несколько лет одним из самых больших изменений стала возможность писать и публиковать написанное теми людьми, которые имеют какое-то интересное увлечение. Хотя на самом деле, удивляться здесь особенно нечему - при создании AdSense мы стремились к этому, к тому чтобы обеспечить возможность создания качественного контента и извлечения из этого контента прибыли. Что удивило меня, так это стенд на конференции Web 2.0 "13 новичков за 90 минут". Я был просто поражен тем, сколько маленьких компаний установило у себя на сайтах AdSense для того чтобы оплатить свои расходы.... Это был огромный сюрприз для меня и я думаю, что это потрясающе. Если с помощью AdSense все больше компаний могут выйти на рынок, то я думаю, от этого выигрывают все.

Когда вы запускаете в работу новые алгоритмы, фильтры или патчи, некоторые по-настоящему хорошие сайты попадают в фильтр вместе с плохими. Тестируете ли вы предварительно все изменения? Как вы узнаете, как жестко должны работать фильтры? По умолчанию, настроены ли они в какую-нибудь сторону, так что вам приходится их потом перенастраивать?

Конечно, мы тестируем все изменения в алгоритмах перед запуском их в работу. Нам также часто приходится адаптироваться по дороге. Если кто-то не из Google замечает какую-то неполадку или проблему уже после запуска, которую не заметили мы, очень важно сразу же все исправить, а также изменить механизм тестирования, чтобы следующее изменение было протестировано с учетом предыдущих недочетов. Обычно, мы с довольно большой вероятностью, можем предсказать, какое влияние окажет то или иное изменение в работе алгоритма. Но совсем избежать последствий невозможно. Примером может служить значительное изменение в цепочке крлулинг-индексация-выдача. Мы постоянно работаем над улучшениями в этой области. Иногда последствия изменений не могут пройти незамеченными. Fritz апдейт в 2003 году - яркий пример подобного рода изменений. Нельзя стать поисковиком, который вначале ориентировался в результатах выдачи на базу данных, а потом стал формировать результаты на лету. Отвечая на ваш последний вопрос, могу сказать, что я сторонник мягкого фильтра при первом запуске, не стоит без надобности усложнять жизнь вебмастерам. Но иногда, как я уже говорил, просто невозможно произвести все изменения безболезненно и незаметно.

Как вебмастеру, как мне избежать ситуации, при которой мой сайт просто выкинет из индекса при очередном апдейте?

Нужно сделать по-настоящему хороший сайт и добиться определенной популярности, чтобы получить естественные (а не купленные или полученные по обмену) ссылки на него. Для того чтобы быть уверенным в этом попросите абсолютно незнакомого человека оценить ваш сайт - иногда, его мнение может вас удивить… Если Google в результатах выдачи не показывает хороший, заслуживающий доверия сайт, тогда мы выясним почему это происходит и исправим ситуацию.

Теория графов, социальная сеть или базз-маркетинг, что, по вашему мнению, является наиболее важным? Какие материалы вы бы порекомендовали для изучения каждого из этих трех направлений?

Будь я вебмастером, я бы занялся изучением базз-маркетинга. Если вам удастся стать фаворитом - то вам больше не надо будет думать о теории графов. Плюс, если вы не дай бог узнаете, что такое 'клик' в теории графов, вы уже никогда не сможете избавиться от этого знания. Вместо того чтобы думать, имеет ли эта ссылка какую-то пользу для моих пользователей, вы будете думать насколько близко вы к клику - а это уже ненормально. Возможно, кто-то мог бы дать вам лучший список источников, для того чтобы изучить все это, но мне кажется, что The Tipping Point и Freakonomics стоят того чтобы их прочесть.

С чего бы вы посоветовали начать человеку, который хотел бы заняться информационным поиском?

Я бы начал с:

• Modern Information Retrieval
• Managing Gigabytes
• Readings in Information Retrieval
• плюс Google papers о PageRank, The Anatomy of a Large-Scale Hypertextual Web Search Engine [PDF], Mapreduce, работа с цифровыми изображениями GFS.

Но главное, и как бы безумно это ни прозвучало, попробуйте сами написать поисковик. Достаньте CD с материалами SIGGRAPH или IEEE или скачайте ODP, конвертируйте PDF в текст, обработайте материалы, так чтобы узнать частоту встречаемости каждого слова, а затем попробуйте написать счетчик. Google предоставлял CD с тоннами.edu информации для одного из наших недавних конкурсов. Найдите этот CD и напишите свой собственный поисковик. Начните с чего-нибудь маленького, но напишите хоть какой-нибудь поиск, поиграйте с ним и и через пару месяцев вы станете гуру в этом деле и узнаете как писать релевантные тексты. Затем напишите кроулер. Это довольно трудно, но никакой магии в этом нет.

В "The Anatomy of a Large-Scale Hypertextual Web Search Engine" есть такое место: "Ожидается, что поисковики, основным источником доходов, которых является реклама, в скором времени станут полностью зависящими от рекламодателей и перестанут брать в расчет интересы потребителей". Что вы сделали, для того чтобы минимизировать влияние рекламодателей?

У нас реклама четко отделяется от основных результатов. У нас невозможно получить место в результатах поиска за деньги. И даже если рекламодатель активно нас спамит, мы все равно реагируем, невзирая, на то, что он покупает у нас рекламу.

Я вначале начал с того, что продавал свои услуги на основном сайте, затем переключился на блог… Это интервью скорее всего будет опубликовано на основном сайте и скорее всего получит большое количество ссылок, но мой блог тем не менее более популярен, чем сайт. Такое разделение контента как-то негативно повлияет на мое место в ранжировании?

Я не думаю, что это как-то значительно повлияет на ваши позиции. Всегда найдутся люди, которые поставят ссылку на ваш сайт, и люди которые поставят ссылку на блог или конкретный пост в этом блоге, а также найдутся и те, которые поставят две ссылки, потому что это два разных URL, в конце концов. Так что исключать основное предложение с главной страницы, может иногда сыграть позитивную роль. Я думаю, что количество входящих ссылок будет примерно одинаковым, а это уже ваше дело как расставить внутренние ссылки.

Каким образом лучше всего интегрировать индекс цитирования для сайта?

Я думаю, что если на основном сайте разместить, что-то вроде блога, то это должно хорошо сказаться на общих результатах. Если вы ведете блог, то стоит некоторое время потратить на то, чтобы получить для каждого из постов отдельный URL (широкоизвестная permalink). На своем собственном сайте я не очень-то об этом забочусь... но если бы я зарабатывал блогом на жизнь, я бы определенно потратил бы на это гораздо больше времени, чтобы устроить все как нужно.

Когда имеет смысл держать один и тот же сайт на нескольких доменах?

Если вы придерживаетесь белых методов оптимизации, я бы вообще не рекомендовал такого делать. Заниматься раскруткой нескольких сайтов отдельно друг от друга - это скорее вызов, чем нормальный способ заработка.

В свое время я подкинул вам шуточную идею создать базу данных, о том, что касается запросов о торговле ценными бумагами, заказами и пр. И все-таки, что удерживает вас от этого?

Это довольно распространенная тема для шуток. Все что мы делаем, продиктовано необходимостью защищать личную информацию наших пользователей, которую они предоставляют о себе, как описано в нашем порядке работы с конфиденциальной информацией. Плюс, есть еще очень много вещей, которые необходимо сделать: поиск по новым видам типов данных, способы создания/организации/использования информации нашими пользователями. Все эти проекты значительно помогут им (по-моему, мнению, по крайней мере).

Если индустрия поиска все больше превращается в игру с одним победителем, и похоже, что Google далеко обогнал своих конкурентов, как можно избежать негативных последствий этого в будущем, когда ни вас, ни Mr. Page, Mr. Brin, и Mr. Schmidt уже не будет?

Я думаю, что нам надо лучше интегрировать наши базовые ценности в наше корпоративное ДНК. Необходимо быть уверенным в том, что каждый новый работник Google осознает роль, которую играет доверие к нам наших пользователей. В идеале, Google мог бы делать публичные заявления (Google не использует поп-апы), которые бы служили свое рода программой на будущее. Необходимо прислушиваться к мнению наших пользователей. Последнее можно даже улучшить: это довольно ресурсоемко, но очень важно.

Ваша миссия заключается в том, чтобы: "Организовать информацию во всем мире, делая ее универсально доступной и полезной". Вы уже очень много сделали для того чтобы обеспечить ваших пользователей практически неисчерпаемым местом в Интернет (Gmail & Blogger). Возможно ли что Google когда-нибудь начнет предлагать бесплатный доступ к информации (бесплатный доступ в Интернет)?

Понятия не имею. Я работаю над улучшением поиска всего лишь. Об этом вам надо поговорить с кем-то из менеджеров, а не с инженером.

В случае если я куплю домен, который уже находится в DMOZ и как будто с хорошей и чистой историей, но вдруг обнаружится, что он забанен в Google, что мне делать?

Нужно направить запрос на повторное включение. Вообще DMOZ следит за чистотой в своей директории...

Если мой сайт забанен Google, как происходит повторное включение?

Мы сделали пилотную рассылку некоторым владельцам сайтов, которые были забанены Google со следующей информацией: "Если вы хотите повторно включить ваш сайт в наш индекс, пожалуйста исправьте или удалите все страницы на вашем сайте, которые не соответствуют нашим рекомендациям. Когда это будет сделано, пожалуйста заполните заявку на повторное включение вашего сайта в наш индекс http://www.google.com/support/bin/request.py Вы должны выбрать "Запрос вебмастера по поводу своего сайта" ("I'm a webmaster inquiring about my website" ), а затем "Почему мой сайт был исключен из результатов поиска или понижен в ранжировании" ("Why my site disappeared from the search results or dropped in ranking"), затем выберите продолжить и не забудьте написать в теме послания "Запрос на повторное включение" ("Re inclusion Request")."

Большинство сайтов, которые подают запрос на повторное включение, попадают в ваш индекс снова? Если нет, то какая самая распространенная ошибка?

Мы не обсуждаем коэффициент повторного включения, но если вы поддерживаете единственный сайт, а не несколько и не занимаетесь оптимизацией профессионально, я бы на вашем месте подал заявку на повторное включение. Но обязательно сделайте спам проверку перед тем как подавать заявку! Просмотрите, нет ли скрытого текста на главной странице. Проверьте, как работает сайт. Если вы используете какую-то странную систему ссылок - откажитесь от этого. Самая большая проблема - это то, что сайт на самом деле не вычищен как следует.

Представим себе, что когда-нибудь оптимизация станет настолько сложной, что заниматься этим станет достаточно сложно, и это перестанет быть прибыльным бизнесом для большинства оптимизаторов. Зная то, что вы знаете об оптимизации, в каких областях мог бы пригодится подобный опыт? Чем бы вы посоветовали заняться этим экс-оптимизаторам?

Если вы достаточно креативны займитесь маркетингом (buzz-маркетингом). Человек, который соображает в маркетинге, как правило, знает, как общаться с людьми для достижения нужного эффекта. Если ваши таланты находятся в области поддержки и выполнения работы не связанной с общением, то вы можете присоединится к любой из начинающих компаний, сейчас их очень много и довольно хороших. 2-3 человека с разными способностями могут отлично сработаться в какой-нибудь компании. Если лучшее из того, что вы делаете - это умение нажимать на кнопки, я бы посоветовал отыскать в себе еще таланты. ;)

Какие большие изменения в оптимизации ожидают нас в следующем году? ;)

Если вы используете "белые", (рекомендуемые) методы оптимизации, то все останется по прежнему: сделайте классный сайт (релевантная, я имею ввиду полезная, информация или полезные услуги - и то, и другое подойдет) и придумайте по-настоящему оригинальный способ, как дать знать о нем людям. Что касается спама, то его количество уменьшиться в следующие полгода-год. Ведь даже те спам методы, которые используются сейчас, значительно отличаются от тех, которые использовались год или 15 месяцев назад. Я думаю, что период, который спам-сайты будут держаться в результатах будет продолжать сокращаться.

Что из того, что Google когда либо делал, является самым плохим?

О, прятали гранату для последнего вопроса, да? Хитро, хитро. :) На самом деле я не соглашаюсь с каждым решением и действием Google, но, в общем, я думаю, что благодаря Google, мир стал немного лучше. Я думаю, что все эти рассуждения о плохо и хорошо, на самом деле происходят из-за того, что люди сравнивают нас с идеалом (которого не существует), а не с нашими конкурентами. Иногда, это довольно неприятно, когда нас ругают за то, что не является только Google проблемой, но с другой стороны, это хорошо, потому что заставляет нас самих поднимать планку еще выше. Я горжусь, тем, что мы уже сделали, но, если исходить из точки зрения наших пользователей, то этого все еще недостаточно. Неужели это звучит плохо?

Блиц-интервью с Сергеем Людкевичем

Блог Searchengines.ru со ссылкой на Fathom Online публикуетрезультаты исследования динамики роста стоимости контекстной рекламы. Сообщается, что наиболее стремительный рост за последний годнаблюдается в сфере потребительских услуг (таких как развлечения и образование) - 78% (с 54 до 96 центов) и в сфере продуктов розничнойторговли - 44% (с 32 до 46 центов).

Прокомментировать эти цифры мы попросили Сергея Людкевича - руководителя департамента Интернет-маркетинга Маркетинговой группы"Текарт".

- Сергей, как бы Вы оценили динамику развития стоимости контекстной рекламы в Рунете? Каким Вам видится этот рынок, скажем, через год, ожидают ли нас какие-нибудь резкие изменения?

- Я думаю, что стоимость контекстной рекламы будет расти в коммерческих нишах, но резких скачков, думаю, не будет. Будутпоявляться новые игроки, которые будут привлекать новые рекламныебюджеты, конкуренция будет расти, стоимость клика, соответственнотоже.