Здравствуйте, мы принимаем звонки по будням, 09:00–20:00
Технические ошибки способны свести на нет результаты всех работ по улучшению сайта. Как найти их при помощи технического аудита, что исправлять, рассказали в статье.
Время прочтения: 11 минут
Тэги: SEO
О чем статья?
Для кого эта статья?
Технический аудит сайта – это анализ технической работоспособности ресурса в целом и его отдельных страниц. Он является важным этапом SEO-аудита. Технические ошибки мешают получить хорошие результаты от комплексной оптимизации и улучшения страниц, так как усложняют индексацию сайта, поэтому все дальнейшие изменения могут индексироваться медленнее.
Отсутствие ошибок ускоряет индексацию сайта: новые страницы быстрее попадают в индекс поисковых систем,, поэтому быстрее учитываются все изменения. Таким образом, поиск, исправление ошибок, техническая оптимизация сайта помогают бизнесу быстрее показывать пользователям актуальные страницы.
Технический аудит рекомендуется проводить при запуске проекта, после внедрения важных или масштабных изменений на сайте, или же в качестве регулярного мониторинга. Объем работ по проверке различается в зависимости от задачи.
Таким образом, может быть установлена следующая частота проверок технической оптимизации:
Мониторинг работоспособности сайта в ежедневном режиме при помощи автоматических инструментов.
Полный технический аудит раз в квартал или при значительных изменениях на сайте.
Основных инструментов для анализа сайта два – это сервисы поисковиков Яндекс Вебмастер и Google Search Console, которые предоставляются бесплатно. Использовать необходимо оба инструмента, потому что у поисковых роботов Яндекс и Google разные подходы и способы индексации, и сервисы могут выявлять разные ошибки.
Существуют также сторонние программы для комплексного анализа сайта и подготовки его к продвижению, которые сканируют ошибки. Подробнее на них мы рассказывали ранее в статье «Программы и сервисы для продвижения сайта».
Анализировать информацию в сервисах должен специалист-оптимизатор, который может оценить важность и критичность ошибок, а затем дать рекомендации по их исправлению.
Что анализировать в ходе технического аудита?
Качество индексации ресурса в поисковых системах.
Коды ответов сервера в логах сайта.
Ссылки на сайте на несуществующие страницы.
Дубли страницы, мета-тегов, наличие малоценных или пустых страниц.
Качество выгрузки информации из базы данных в каталог на сайте (если есть интеграция между ними).
Скорость и качество загрузки страниц.
Настройка файла Robots.txt и Sitemap.xml.
Валидация HTML и CSS.
Микроразметка страниц и ошибки в ней.
Расскажем детально о каждом пункте.
Необходимо посмотреть, какие страницы попадают или не попадают в индекс поисковых систем и почему. А также проверить сохраненные копии страниц, чтобы понимать, какие части страниц могли не увидеть поисковые роботы.
Данный анализ делается в Яндекс Вебмастере и Google Search Console.
В Яндекс Вебмастере откройте пункт меню «Индексирование» –> «Страницы в поиске», как показано на скриншоте ниже.
Так выглядит график страниц в поиске
Здесь вы увидите, сколько ваших страниц попало в индекс поисковой системы, сколько удалено. Справа вверху выбирайте вкладку «Исключенные», чтобы видеть, какие URL бот Яндекса не добавил в индекс или исключил из него.
В Google Search Console также есть отчет «Индексирование» (слева в меню на скриншоте ниже).
Узнайте количество проиндексированных и непроиндексированных в Google страниц
Прокрутив экран вниз, вы увидите, почему страницы не удалось проиндексировать и почему они не появляются в результатах поиска.
.
Google Search Console показывает причины отказа робота индексировать страницы
Некоторые страницы могут быть закрыты для индексации или являться копией. В этом случае надо проанализировать, дублем какого URL она является. Возможно, как раз ту страницу, которую вы хотите отправить в индекс, робот счел дублем, а старая версия доступна в поиске.
Проверить статус конкретной страницы в поиске поможет «Проверить статус URL» Google Search Console.
Проверка статуса URL только для поисковой системы Google
В Вебмастере есть инструмент с аналогичным названием, а также более новый «Проверка страницы», который показывает, как отображаются страницы сайта с исполнением JavaScript и без него.
Актуальную информацию можно получить при сканировании сайта специальным сервисом, например, Screaming Frog. Также посмотреть данные по конкретным URL в Вебмастере можно в правом верхнем меню «Инструменты» –>«Проверка ответа сервера» или в Search Console «Настройки» – > «Статистика сканирования».
200 ОК – ответ, который должны отдавать все актуальные существующие страницы сайта.
301 – редирект, который используется для склеивания страниц и означает «страница перемещена навсегда». В этом случае ее адрес в индексе обновится и краулер будет ходить на новую страницу. Проверьте наличие 301 редиректов в структуре сайта, когда со страниц сайта ссылка ведет на страницу с ответом 301, а не 200.
302— редирект «страница временно перемещена». По 302 редиректу браузер перенаправляется на нужную страницу, но в индексе остается старый адрес. В случае временного перемещения страницы лучше использовать 302 редирект, а не 301, потому что в таком случае основная страница не выпадает из индекса.
404 – код ответа сервера, который появляется при попытке перейти на несуществующую страницу. Подробнее про него расскажем в следующем пункте.
Некорректные адреса и удаленные страницы – поставщики той самой ошибки 404, с которой пользователь должен встречаться как можно реже. Причиной чаще всего становится удаление ненужных ранее проиндексированных URL и изменения структуры ресурса.
Несуществующие (битые) ссылки удобно находить с помощью сервисов типа Screaming Frog или сервисы поисковиков. В Вебмастере вновь зайдите в «Индексирование» –> «Страницы в поиске» –> «Исключенные страницы» –> «Ошибка 404». В Google Search Console перейдите «Индексирование» – > «Страницы» и прокрутите до таблицы с причинами, почему страницы не проиндексированы, ошибки там показаны.
Выявив битые ссылки, исправьте их.
Если страница перемещена, настройте редирект 301.
Если URL удален, уберите ссылку на него на всех страницах сайта и в его карте. Либо создайте страницу и наполните ее контентом.
Если целевая страница существует, но при переходе не открывается, проверьте корректность написания ее адреса во входящих ссылках.
Рекомендуем создать специальный дизайн для страницы 404 с логотипом, с которой пользователь может перейти на главную или в иные разделы ресурса, пример ниже.
Вот так выглядит страница 404 с полезными ссылками
Дублированный контент считается малополезным и некачественным как в Яндексе, так и в Google. Чаще всего на сайтах обнаруживаются следующие повторы:
Адреса, например, одинаковый URL с www и без, со слешем и без (например, www.site.ru/ и site.ru);
Мета-теги Тitle, Description, заголовок H1;
Одинаковый контент на разных адресах, например, товар относится к разным категориям.
Для поиска дубликатов в Яндекс Вебмастере откройте «Индексирование» –> «Страницы в поиске» –> «Исключенные страницы» и укажите фильтр «Дубль». В Google Search Console «Индексирование» – > «Страницы». Здесь можно также увидеть страницы с дубликатами мета-тегов и проверить, только теги совпадают или весь контент.
При большом объеме новых документов, например, на новостном сайте, в ручном режиме трудно прописывать не повторяющиеся мета-данные. Для не продвигаемых и неприоритетных разделов лучше настроить генерацию мета-тегов по шаблону. Для страниц, по которым ведется продвижение, заголовки Тitle, H1 и мета-описание Description теперь можно генерировать с помощью нейросети SearchLab. Точечную настройку мета-данных вручную можно применять для более маржинальных категорий или приоритетных статей.
Этот анализ актуален для сайтов, где информация о товарах подгружается из баз данных, например, интернет-магазинов с каталогом на сайте.
Частая ошибка на стороне бизнеса: в базе данных, из которой обновляется каталог, заполнены не все поля. Либо поля содержат информацию, но на сайте она по техническим причинам не выводится. Такие не до конца заполненные карточки могут показаться роботу малоценными страницами.
Поисковики считают их показателем качества сайта и его полезности для пользователя. Поисковые системы из всех метрик оценки загрузки сайта выбрали самые приоритетные, над которыми стоит работать в первую очередь.
Скорость загрузки страниц – важный параметр, потому что медленный сайт и низкая скорость загрузки неудобны для пользователя. Проверять этот фактор можно при помощи бесплатного инструмента Google PageSpeed Insights, который также дает рекомендации, как улучшить скорость загрузки.
Google PageSpeed Insights ранжирует рекомендации по степени критичности
Критичные ошибки лучше проверять через Google Search Console, где собираются данные на основе пользовательского опыта и взаимодействия с сайтом.
Работоспособная мобильная версия или адаптивный дизайн крайне важен, так как доля мобильного трафика постоянно растет. Сайт должен корректно отображаться на мобильных устройствах, а также необходимо проверить, что контент на мобильной и десктопной версии полностью совпадает.
Протокол безопасности HTTPS обязательно должен быть подключен.
Факторы Core Web Vitals проверяют при помощи все тех же PageSpeed Insights и Google Search Console.
Google PageSpeed Insights показывает, с каким фактором проблема и насколько она критична
Отрисовка основного контента Largest Contentful Paint (LCP) – критерий, который показывает, насколько быстро пользователям показывается основной контент, а затем догружаются мелкие изображения и видео.
Задержка первого ввода First Input Delay (FID) – задержка, с которой сервер откликается на первое взаимодействие посетителя с сайтом (например, клик по кнопке или ссылке).
Совокупное смещение макета Cumulative Layout Shift (CLS) – это сдвиг дизайна в момент действий пользователя на сайте. Классический пример: посетитель хочет кликнуть по ссылке, в этот момент макет сдвигается и под палец или курсор попадает рекламный баннер.
Читать по теме: «Продвижение в Google: новые факторы ранжирования Core Web Vitals»
7. Настройка файла Robots.txt и Sitemap.xml
Robots.txt – текстовый файл с параметрами индексации. Он сообщает роботу, какие страницы и разделы не надо индексировать, а какие необходимо. Поэтому некорректно настроенный robots.txt затрудняет индексирование ресурса.
В Яндекс Вебмастере есть инструмент «Анализ robots.txt». Введите URL и вскоре перед вами появится исходный код, число ошибок и используемых строк.
Здесь сразу видно, какие страницы закрыты от индексации
В Search Console можно перейти на Google Robots Testing Tool, и он по умолчанию протестирует robots.txt ресурсов, где у вас подтверждены права. Покажет ошибки и предупредит о неоптимальных настройках предупреждением.
Проверка отмечает критичные и рядовые ошибки красным и желтым значками
Карта Sitemap.xml сообщает поисковым роботам об актуальной структуре сайта, сообщая, какие страницы наиболее важны.
Анализируем файл все тем же способом: в Вебмастере вверху справа выбираем вместо «Анализ robots.txt» – «Анализ файлов Sitemap». В Google Search Console переходим в «Индексирование» –> «Файлы Sitemap». Чтобы совершать меньше ошибок, настройте автоматическую генерацию карты сайта при помощи плагинов CMS или сторонних инструментов.
Необходима, чтобы убедиться, что робот видит страницы корректно.
Ошибки в HTML-коде. Иначе страницы могут отображаться в браузере некорректно: заголовки съезжает, изображение закрывает текст, видео не отображается и тому подобное. Используйте инструменты типа HTML Validator
Ошибки в разметке CSS. Это набор предустановленных стилей, где определены цвет, форма, размещение модулей на странице. Если в коде CSS есть ошибки, блоки могут сползать, перекрывать друг друга, в общем, сайт не выглядит готовым к просмотру. Для проверки существуют сервисы типа CSS Validator.
Ошибки в программном коде самого сайта также могут приводить к неправильному отображению страничек и другим затруднениям функционирования сайта. Используйте инструменты типа PR-CY для аудита кода.
Микроразметка страниц (Google называет ее Структурированные данные) – это метод семантической разметки данных, который облегчает поисковым роботам извлечение и обработку информации. Она влияет как на индексацию, так и на ранжирование и на CTR на выдаче.
Благодаря микроразметке в сниппет на выдаче могут подтягиваться ссылки и контент со страниц.
Так выглядит сниппет с микроразметкой
Вот что можно разметить на сайте с помощью микроданных:
Адрес, телефон, часы работы организации.
Товары и цены. В сниппет попадает одно или несколько предложений конкретного товара, но не разные товары.
Описание приложений или программ с сайта.
Лучший ответ из раздела «Вопросы и ответы».
Видео
Рецепты.
Творческие работы: статьи и медиаконтент.
Теги и атрибуты микроразметки прописывают в HTML-коде страницы. Подробнее о возможностях и схемах микроразметки читайте в статье «Микроразметка в Яндексе».
Завершив аудит, подведем итоги.
По итогам аудита бизнес получает рекомендации о том, какие проблемы нужно устранить, чтобы улучшить индексацию ресурса. Выделяются фатальные и критические проблемы, которые крайне негативно сказываются на индексации поисковыми системами. Такие ошибки необходимо устранять как можно быстрее. Исправление рядовых ошибок можно отложить, но их также надо проработать.
При качественной настройке ресурса скорость обхода роботами увеличится сама по себе. Если хочется ускорить, отправьте исправленные странички на переиндексацию, чтобы сообщить поисковым системам об изменениях.
В Яндекс Вебмастере для этого есть инструмент «Переобход страниц». В Google Search Console можно отправлять вручную по одному URL на переиндексацию. Для массового переобхода можно использовать инструмент Google Indexing API. Как это сделать и как работать с этим инструментом, читайте в статье «Как решить проблемы с индексацией на сайтах от 1 до миллионов страниц».
Технический аудит – не единственный этап, который входит в поисковый аудит сайта. Однако он закладывает фундамент для последующей индексации сайта и всех изменений.
Чем больше сайт, тем больше ошибок и тем чаще они возникают. Важно наладить мониторинг фатальных ошибок и при необходимости проводить технический аудит участков сайта или всего ресурса.
Для проведения аудита используются различные инструменты поисковых систем и сторонние сервисы.
В ходе аудита проверяются такие технические факторы как скорость загрузки, настройки файлов Robots.txt и Sitemap.xml, дубли страниц, ссылки на несуществующие страницы, микроразметка и ошибки в ней, другие параметры.
Технический аудит должен проводить технический специалист по SEO-продвижению, который сможет выявить проблемы, оценить их критичность и приоритезировать работы по их устранению.
Вам будет интересно
Доставляем экспертный контент
Мы делимся с подписчиками экспертным контентом: отправляем полезные статьи, советы от специалистов, приглашаем на вебинары. Подпишитесь, чтобы узнать больше о продвижении бизнеса в Интернете, наших мероприятиях и репортажах с крупных отраслевых событий. Выберите наиболее удобную платформу для вас и наслаждайтесь контентом!
Нажимая на кнопку «Подписаться», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности
Мы отправили вам проверочое письмо — пожалуйста, подтвердите адрес электронной почты, перейдя по ссылке внутри письма.
Пожалуйста, попробуйте еще раз
Нажимая на кнопку «Отправить», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности
Менеджер свяжется c вами в ближайшее время
Менеджер свяжется с вами в ближайшее время.
Нажимая на кнопку «Перезвоните мне», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности