Зеркало сайта

Тэги:  SEO, интернет-маркетинг

О чем статья?

• Как возникают зеркала сайта?
• Какие проблемы можно решить с их помощью?
• Какие риски возникают, если настройка происходит автоматически?
• Как правильно настроить главное зеркало при помощи инструментов Яндекса и Google или без них?

• Для маркетологов.
• Для контент-редакторов.
• Для администраторов сайта.
• Для владельцев сайта.

Подключая по требованию поисковиков расширение HTTPS, переезжая с бесплатного домена на платный, владельцы зачастую забывают о такой функции, как создать зеркало сайта.

Как сделать основное зеркало сайта и откуда оно возникает, если вы его не создавали?

Поисковые системы склеивают — считают зеркалами — любые страницы с одинаковыми относительными адресами, на которых размещен одинаковый контент. Сравните: www.ashmanov.com/education/ и ashmanov.com/education/ — домены различаются, относительный адрес одинаков. Обратите внимание: «зеркальность» определяется не дизайном, а именно содержанием — страницами, текстом, иллюстрациями, видео. Если кто-то скопирует ваш контент и разместит у себя с тем же относительным адресом, пусть с совершенно другой версткой, это будет считаться зеркалом. По мнению некоторых экспертов, достаточно даже не 100%, а всего 80% совпадения по страницам. Различающиеся мета теги роли не играют.

Количество зеркал не ограничено, но главное зеркало сайта всегда будет единственным.

Зеркало в интернете появляется обычно не как чей-то злой умысел. У многих владельцев сайт доступен по URL с www и без этой приставки, по простому протоколу HTTP и защищенному HTTPS. Некоторые вебмастера покупают сразу несколько сходных доменов или одно имя в разных доменных зонах, и везде размещают одинаковое наполнение.

Например, крупные бренды используют в качестве адреса сайта не только основное написание, но и неправильный текст, исходя из того, как наиболее часто пользователи коверкают адрес при написании (в поиске написаний Яндекс.Wordstat в помощь). Например, набрав samsung.ru, вы все равно попадете на https://www.samsung.com/ru/. Для пользователей это один и тот же сайт, а для поисковых систем – разные. Если вы переезжаете на новый домен, то также происходит добавление копии и настройка нового главного зеркала.

И – внимание! — если владелец не счел нужным выбрать основной домен, то поисковая система сама назначит один из сайтов на роль основного зеркала. И далеко не всегда это решение будет правильным с точки зрения продвижения.

Зеркальные риски

Отсутствие настройки зеркал  может негативно повлиять на SEO-продвижение сайтов. Помимо понижения в поиске, это дает простор для злоупотребления третьей стороне.

• Специалисты, использующие «черные» методы, могут скопировать наполнение с популярного сайта. Поисковый робот посчитает их страницу основной и будет выдавать ее в поиске выше исходного. Скрипты, защищающие контент от копирования, к сожалению, можно обойти.
• Недобросовестный исполнитель, получив от владельца доступ в Яндекс.Вебмастер для анализа метрик или проведения работ по продвижению, может прописать любой сайт как главное зеркало прямо в панели управления. Для этого сначала создается зеркало домена, при этом дизайн не столь важен. Должен совпадать контент, который либо парсят, либо копируют, если есть доступ к файлам. Затем в панели Вебмастера прописывают новый домен как главный. Сайты склеиваются, прежний убирается из индексации, и весь трафик перенаправляется на новое зеркало. Для такой замены не требуется предоставление паспорта как при смене владельца домена. Уведомление на почту или телефон владельца легко отключить.

В последнем случае получаем сразу две проблемы. Первая – владелец может долго гадать, почему трафик на сайте резко упал, но не узнает о случившемся, пока не зайдет в Вебмастер и не увидит, что его сайт давно не главный. Вторая проблема в том, что техподдержка Яндекса ничем не может помочь: раз контент на странице совпадает, происходит склейка.

Поменять текст, фотографии, видео на ресурсе мошенника владелец первого сайта, конечно, не может. Он может только создать новое наполнение и новые URL, увы, полностью выкинув старое.

Чаще всего такие мошенники предлагают себя как исполнителей работ по сайту за символическую цену или бесплатно, мотивируя это тем, кто он студент или начинающий фрилансер, и ему нужно портфолио и положительные отзывы. Получив от вас доступ, он прописывает собственный домен как главное зеркало и фактически «угоняет» ваш трафик и посетителей. Советуем обращаться только к проверенным исполнителям, о которых есть реальные отзывы в течение нескольких лет, или доверять пароли от Вебмастера только инхауз-сотрудникам.

Зачем сами владельцы создают несколько зеркал сайтов?

Несмотря на риски, часто ситуация требует создать не одно зеркало в интернете.

Например, компания имеет сайт на определенном домене, но происходит слияние с другой фирмой. Адрес и наименования текстом меняются, покупается новый домен, сайт постепенно переедет туда. Тогда зеркалом назначают новый домен, и автоматический перенос сайта туда сохранит поисковый трафик и адрес в закладках у пользователей.

Другой вариант, как мы уже говорили — бронь идентификаторов, сходных с вашим (например, velosipedy.ru, velocipedy.ru, velosipedi.ru). Обычно это делают, чтобы не дать конкурентам возможность купить сходные домены. Если не указать главное зеркало, можно получить описанные выше потери в трафике и позициях.

Иногда зеркала используются для продвижения в разных странах. Имя домена может быть одно, но в разных доменных зонах (ru, by, ua).

Также зеркала используют для сайтов с очень высокой загруженностью, чтобы распределить нагрузку на разные серверы. Это поможет и в случае атаки на основной сервер или его перегрузки.

Наконец, с помощью зеркала можно выйти из-под фильтров Яндекса или блокировки Роскомнадзора. Владельцы копируют контент на новый домен, делают редирект и вновь попадают в выдачу.

Как узнать, где главное зеркало вашего сайта?

Самый простой способ: ввести в поисковую строку запрос site: (не забудьте двоеточие!) и ваш домен (никаких пробелов!) Главное зеркало будет первым в поиске, сразу после рекламных объявлений.

Также зеркала можно посмотреть в Яндекс.Вебмастер или Google Searсh Console, если у вас есть техническая возможность войти в аккаунт, в который добавлены ваши домены. Некоторые владельцы настолько отдают сайты на откуп администраторам, что даже не берут у них доступ и пароль, лучше этим не пренебрегать.

Настраиваем главное зеркало сайта самостоятельно

Это можно сделать несколькими способами. Рассмотрим все, которые работают.

Через Google Search Console и Яндекс.Вебмастер

Вам нужно иметь аккаунты в этих инструментах, добавить туда свои домены и получить подтверждение от сервиса.

Последовательность действий в Яндекс.Вебмастер отражена на схеме.

Google Search Console теперь не позволяет настраивать изменение главного зеркала вручную. Он требует https-версию со всех сайтов и автоматически объявляет ее основной. Чтобы изменить эту установку, произведите одно из следующих действий:

• Включите всем страницам в HTML-тег head строчку . Учтите, что это увеличит размер страниц и не подходит для размещенных файлов.
• Используйте атрибут rel=canonical в HTTP-заголовке. Это должно выглядеть как Link: <адрес главного зеркала>; rel="canonical". Такой способ не увеличивает размер страничек, но требует больше времени на работу.
• Укажите URL главного зеркала в файлах Sitemap. Правда, справка Google Searсh Concole предупреждает, что нет гарантий, что URL в файле Sitemap будут всегда рассматриваться как основные.
• Задайте серверный редирект с HTTP-кодом 301 со старого ресурса на новый. Ниже покажем, как это можно сделать.

Создание зеркала сайта без использования инструментов поисковиков

Эта операция с 2018 года не предполагает использование директивы host и файла robot.txt! Это устаревшие способы, Яндекс и Google их теперь не воспринимают. Нужно просто настроить редирект с кодом 301.

Если зеркала различаются только www, то зайдите в корневую папку сайта на своем хостинге и откройте оттуда файл «.htaccess». (Если там нет такого файла — создайте в Блокноте или аналогичном приложении и загрузите на сервер). Если основным будет новый домен, то ищите .htaccess файл у того домена, на который переносите зеркало.

Доменная зона указывается ваша, ru приведен в качестве примера. Если новый домен является кириллическим, переведите его набор латинских символов при помощи любого онлайн-конвертера.

Если впоследствии вы захотите расклеить зеркала, удалите из .htaccess приведенные выше строки. Либо у вас всегда остается вариант заменить контент более чем на 80%, тогда поиск откажется считать его зеркалом, несмотря на указания в файле .htaccess.

При создании зеркала путем редиректа некоторые специалисты все равно рекомендуют прописывать директиву host в файле robots.txt — он тоже находится в корне сайта. Здесь указываем, какое зеркало теперь основное.

Учтите, что на пару недель посещаемость сайта и позиции упадут. Дело в том, что редирект ведет к тому, что страницы бывшего главного зеркала постепенно исключаются из поиска, а новые вводятся так же постепенно. Обычно процесс не затягивается, и полноценное главное зеркало возвращает свои позиции, когда перенаправление полностью закончится.

Важно: не склеивайте странички с различающимся контентом — роботы на это не согласятся. Исходя из этого, задуманный переход на новый домен осуществляйте в несколько этапов.

Выводы

• Зеркалами, по мнению поисковиков, являются сайты с контентом, совпадающим на 80 и более процентов. Их может быть сколько угодно много. Владелец имеет возможность назначить главное зеркало в Яндекс.Вебмастер либо вручную, иначе эту работу автоматически сделают за него поисковые роботы.
• Автоматический выбор зеркала может повлечь за собой проседание позиций и потерю траффика. В Google главным зеркалом всегда назначается адрес с https, и чтобы это изменить, придется повозиться.
• Для смены зеркал используйте Яндекс.Вебмастер, теги rel=canonical для Google или 301 редирект. Последний метод предпочтителен, работает во всех поисковиках. Указания в файле robots.txt роботами игнорируются, хотя мастера по-прежнему их там прописывают.
• Тщательно отбирайте исполнителей, которым доверяете пароль и доступы в Яндекс.Вебмастер и корень сайта. Недобросовестные подрядчики могут украсть трафик у компаний через копию их страниц. В этом случае для расклейки вам придется полностью заменить свой контент.
• Не переносите сайт на новый домен без подготовки. Сначала скопируйте прежний вариант и пропишите его как основное зеркало. Когда поисковые системы переварят эти перемены и трафик перейдет на новое зеркало, начинайте работы по редизайну и замене контента.
• При прописывании редиректа будьте готовы к понижению трафика и выпадению страниц из индексации. Только после полного переезда посещаемость и прочие параметры восстановятся.
• Настраивайте редирект постранично, не пытайтесь склеить все страницы одного сайта с главной страницей другого.