Google встал на защиту авторских прав

Google решительно встал на защиту авторских прав, своих и чужих. Поисковый гигант сначала во всеуслышание назвал Microsoft плагиаторами, на что те сильно обиделись, затем Google убрал из саджестов все словосочетания, связанные с торрентами, на что уже обиделись многие компании типа BitTorrent и RapidShare, которые незаслуженно попали "под раздачу".

Google объявил войну "контентным фермам" и торрент-трекерам

Главный инженер Google Мэтт Каттс (Matt Cutts) написал в своем блоге, что поисковик усилил работу по избавлению пользователей от поискового спама, который создают так называемые "контентные фермы" ("Контентные фермы" (англ. content farms) - это сайты, наполненные неоригинальным, либо автоматически сгенерированным содержимым). Каттс отметил, что несмотря на активную борьбу команды Google со спамом, за последний месяц его количество заметно увеличилось. Ну а так как доля "чистого веб-спама" со временем уменьшается, Google решил сосредоточиться на борьбе с "контентными фермами". "В 2010 году, мы внесли два значительных изменения в алгоритмы, сфокусированные на низкосортных сайтах, - пишет Каттс. - Тем не менее, мы до сих пор слышим громкие просьбы усилить противодействие сайтам, содержащим преимущественно спам и низкокачественный контент". В Google вновь изменили алгоритм поиска, в результате чего понизилось ранжирование сайтов, копирующих чужой контент. Позднее в своем блоге Каттс написал, что изменения в алгоритме коснутся не более 2% запросов. "Общий эффект состоит в том, что пользователи с большей вероятностью увидят сайты с оригинальным контентом, а не сайты, собирающие или копирующие контент с сайтов-оригиналов", - отметил он.

К сожалению, главный инженер Google не стал уточнять, каким образом поисковик будет определять уникальность контента, как отнесется к "зеркалам" с сайтов и что будет с крупными трастовыми сайтами, если те копируют содержимое небольших блогов.

Изменения в поисковом алгоритме Google активно обсуждаются в Интернете. Например, на Хабрахабре рассказывают, что под новый фильтр попадают не только "контентные фермы", но и интернет-магазины, нарушающие правила поискового сервиса, а также "взломанные" нормальные сайты. В целом инициатива Google встречена положительно, так как сайты-пустышки и "контентные фермы" последнее время сильно засорили Интернет. С другой стороны, некоторые комментаторы считают, что борьба с "контентными фермами" заранее обречена на провал, так как любой может скопировать, например, содержание Википедии, убрать посторонние ссылки (которые в текстах Вики встречаются повсеместно) и выложить на свой сайт. По-идее, такая страница будет выглядеть для поискового робота лучше, чем оригинал. Кроме того, до сих пор непонятно, каким образом Google будет определять первоисточник информации, копирайтеры беспокоятся, что в случае, если крупный портал с высоким PR станет копировать информацию с небольших сайтов или блогов, то поисковик именно его будет считать сайтом с оригинальной информацией.

Напомним, у Google и ранее работали фильтры, призванные пресечь деятельность "контентных ферм".

Duplicate Content Filter накладывается на сайты, заподозренные в краже чужого контента. Как правило, подобные сайты находятся на низких позициях в выдаче, а их содержание относится к дополнительным результатам поиска (supplementary results).

Omitted Results Filter обращает внимание на страницы, содержание которых в точности (включая теги title, description и т.д.) совпадает с контентом страниц оригинального сайта. В принципе, эти страницы могут попасть в выдачу, если пользователь при запросе активирует опцию расширенного поиска "show omitted results".

Google для защиты интеллектуальной собственности объявил борьбу не только "контентным фермам", но и файлообменным сервисам и торрент-трекерам . Google удалил из саджестов и мгновенных результатов поиска Instant Search термины, которые напрямую ассоциируются с торрентами, в первую очередь это словосочетания, содержащие слова “torrent”, “BitTorrent”, “RapidShare” и их производные.

Нововведение вызвало неоднозначную реакцию в Интернете: с одной стороны, борьба за авторские права только приветствуется, а удаление из саджестов словосочетаний, связанных с торрентами, можно считать реверансом Google в сторону правообладателей. С другой стороны, пока непонятно, будет ли какая-нибудь польза от нововведения поисковика. Дело в том, что с введением запрета из мгновенных результатов поиска исчезли и вполне легальные сайты, имеющие в своих названиях "torrent", в то время как названия множества нелегальных торрент-трекеров продолжают открываться в саджестах. Кроме того, хотя ряд сайтов исчез из подсказок, это вряд ли помешает желающим что-то скачать, так как результаты поиска по вышеназванным словосочетаниям ничуть не изменились.

Копирует ли BING поисковую выдачу Google?

Не так давно Google открыто заявил, что Microsoft занимается плагиатом поисковых результатов. В качестве доказательства были приведены результата эксперимента, проведенного летом 2010 года. Команда Google сформировала список из сотни бессмысленных запросов, с каждым из которых была искусственно связана веб-страница, затем они с помощью браузера Internet Explorer 8 с активированной функцией Suggested Sites и тулбаром Bing начали вводить эти запросы через домашнюю страницу Google. В результате поисковик выводил заведомо нерелевантные результаты, прописанные заранее. Примерно через две недели Bing начал выдавать в поисковой выдаче по этим запросам абсолютно идентичные результаты, что, по мнению сотрудников Google, является доказательством плагиата со стороны Microsoft.

Компания Microsoft отмела обвинения, заявив, что поисковая система Bing использует различные технологии улучшения поисковых результатов, но не занимается плагиатом. В данной ситуации, ввиду того, что Bing не нашел реально связанных с бессмысленными запросами результатов, он вполне мог воспользоваться вариантами, ранее полученными пользователями через Google.

Старший вице-президент Microsoft Юсуф Мехди заявил: "Мы не копируем результаты у конкурентов. И точка. На нас работают одни из лучших умов на планете, мы постоянно занимаемся повышением качества поиска, так что обвинения конкурентов в плагиате просто оскорбительны".

Позднее Юсуф Мехди в интервью газете USA Today рассказал, что эксперимент Google был сфальсифицирован и, таким образом, ничего не доказывает. Вице-президент Microsoft сравнил команду Google с киберпреступниками, использующими "фальшивые клики" (click froud). Директор проекта Bing Стефан Вейтс (Stefan Weitz) в том же интервью сказал, что обвинения Google были "интеллектуально нечестными", так как нельзя называть плагиатом использование данных, автоматически собранных Microsoft для улучшения поиска.

Между тем, в Интернете продолжаются споры на тему того, действительно ли Bing ворует поисковую выдачу Google. В LiveJournal свое мнение по этому поводу написал старший разработчик компании "Яндекс" Андрей Плахов. По его словам, Google фактически доказал не плагиат со стороны Bing, а то что данные о переходах с других поисковиков напрямую влияют не только на ранжирование, но и на полноту индекса Bing.

В своем блоге Игорь Ашманов написал, что согласно данным анализаторов компании, Bing не производит массового копирования результатов поиска Google. Однако буквальное совпадение результатов поиска по большому количеству запросов – действительно повод задуматься о копировании, заимствовании или использовании одного и того же движка. Тем более что похожесть страниц результатов поиска (SERP) по одним и тем же запросам у разных поисковиков встречается довольно редко. "Мы массово сравнивали, например, результаты поиска Яндекса и Гугла, так вот там совпадение страниц в первой-второй десятке примерно на 30-40%, то есть выдача по одинаковым запросам принципиально разная. Похоже, и индексная база у поисковиков тоже сильно отличается (меньше, чем результаты, но заметно) – то есть поисковики индексируют существенно разные множества сайтов и страниц", - пишет Ашманов.

Что показал эксперимент, проведенный Google? Несомненно, Microsoft через браузер IE, так или иначе, собирает и использует данные о поведении пользователя и посещаемых им сайтах. Bing, скорее всего, подлатывает "дыры" в своем поиске за счет кликабельных результатов из выдачи конкурентов, если собственная выдача плохая. Тем не менее, пока что сложно судить, кто выйдет из конфликта Google с Microsoft победителем. Скорее всего, дело затянется и выльется в многочисленные взаимные судебные иски.

Статья

Выпуск от 10.11.2011. Ответы экспертов на вопросы читателей

#wikipedia

Как работает anti-adult фильтр Яндекса?

После выхода anti-adult фильтра Яндекса, многие сайты, не содержащие "взрослого" контента, неожиданно пропали из результатов поисковой выдачи. Отдел веб-поиска Яндекса следующим образом прокомментировал проблему: "Яндекс старается не показывать сайты, содержащие контент "для взрослых", по запросам, в которых явно не выражен интерес к такому контенту. Однако мы видим, что пользователи одинаково жалуются как на порно-ресурсы, так и на сайты, содержащие порно-рекламу. Поэтому мы внедрили специальный алгоритм, который позволяет с высокой степенью вероятности определять документы, содержащие рекламу "для взрослых". Многие рекламные системы позволяют владельцам сайтов в настройках запретить размещение рекламы "для взрослых" на своём сайте. Однако нередки случаи, когда подобная реклама обманными способами обходит эти фильтры и всё же прорывается на "невинный" сайт. В этом случае он автоматически подпадает под действие нашего специального алгоритма. Если "взрослые" материалы были убраны с сайта, и еще некоторое время их там нет, сайт возвращается в выдачу по нейтральным запросам. Точных сроков назвать не можем, так как это время периодически меняется – мы работаем над тем, чтобы его минимизировать".

Действие фильтра заключается в пессимизации страниц adult-сайта по всем запросам, которые не относятся к "взрослой" тематике, при этом никакие посторонние факторы (ссылки, уникальный контент, высокая посещаемость) не влияют на его действие. Благодаря новому фильтру "подозрительные" сайты теперь будут ранжироваться исключительно по "взрослым" запросам, даже если под эту тему отдана небольшая часть сайта. Кроме того, сайт попадает под фильтр, если на нем есть реклама порно-содержания с ссылкой на ресурс соответствующей тематики. Таким образом нежелательный контент должен полностью пропасть из выдачи по нейтральным запросам.

Что нужно сделать владельцам сайтов, чтобы не попасть под anti-adult фильтра Яндекса? Во-первых, необходимо убрать со страниц весь контент, так или иначе связанный со "взрослой" тематикой, будь то тексты, фотографии или даже просто "подозрительные" слова в обычных статьях. Во-вторых, убрать тизеры, баннеры и вообще любую рекламу, содержащую ссылки на "взрослые" сайты.

Что касается оценки действенности нового фильтра, тот тут может помочь новый анализатор от компании "Ашманов и партнеры, который оценивает количество контента "для взрослых" в результатах поиска при включенном семейном фильтре. По поводу анализатора, а также качества семейного фильтра от Яндекса высказался руководитель проекта Analyzethis.ru компании "Ашманов и партнеры" Михаил Волович.

У нашей компании есть анализатор, оценивающий количество порнографии в результатах поиска, он создан на основе технологии "Семантическое зеркало". Для этого анализатора мы специально отобрали "двусмысленные" запросы - такие как [гимнастки], [наручники], [скрытая камера]. При помощи таких запросов часто ищут порнографию, однако могут искать и вполне невинную информацию или товары, причем некоторые из таких запросов могут исходить и от детей (ср. [комиксы], [детское видео]). В Яндексе количество порнографии в результатах поиска по таким запросам "двойного назначения" невелико - менее 10%. Этот показатель - один из лучших среди всех поисковиков - у других поисковых машин он может достигать 25%.

Как показывают наши данные , Яндекс старается минимизировать количество сайтов для взрослых в "обычной" выдаче с июля 2009 года, судя по всему, сейчас у них дошли руки и до порнорекламы. Что ж, давно пора! Порнобаннеры, порнотизеры, порнокликандеры действительно очень раздражают, их особенно много на развлекательных сайтах и на сайтах, предлагающих скачать видео, софт и т. п. Понятно, что значительную часть аудитории таких сайтов составляют несовершеннолетние. Если Яндексу удастся сделать размещение порнорекламы на сайтах невыгодным, Рунет от этого только выиграет.

Кстати, наша компания сейчас как раз разрабатывает анализатор, который будет проверять сайты в поисковой выдаче на "загруженность" порнорекламой. А в начале февраля мы выпустили анализатор, оценивающий качество семейного фильтра у разных поисковых систем. Надо сказать, что здесь Яндекс - безусловный лидер: даже по "двусмысленным" запросам он отфильтровывает до 100% "взрослого" контента. (Для сравнения: в выдаче Google при включенном семейном фильтре остается до полутора процентов эротики, а в выдаче Bing -- более 20%).