Что представляет из себя технический аудит сайта

Время прочтения: 11 минут

Тэги: SEO

О чем статья?

• Когда проводить технический аудит?
• Как проводить аудит и искать технические ошибки?
• Что бизнес получает в результате технического аудита?
• Выводы

Для кого эта статья?

• Для маркетологов;
• Для специалистов по продвижению;
• Для директоров по развитию.

Технический аудит сайта – это анализ технической работоспособности ресурса в целом и его отдельных страниц. Он является важным этапом SEO-аудита. Технические ошибки мешают получить хорошие результаты от комплексной оптимизации и улучшения страниц, так как усложняют индексацию сайта, поэтому все дальнейшие изменения могут индексироваться медленнее.

Отсутствие ошибок ускоряет индексацию сайта: новые страницы быстрее попадают в индекс поисковых систем,, поэтому быстрее учитываются все изменения. Таким образом, поиск,  исправление ошибок, техническая оптимизация сайта помогают бизнесу быстрее показывать пользователям актуальные страницы.

Когда проводить технический аудит?

Технический аудит рекомендуется проводить при запуске проекта, после внедрения важных или масштабных изменений на сайте, или же в качестве регулярного мониторинга. Объем работ по проверке различается в зависимости от задачи.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Базовую проверку необходимо проводить регулярно – сканировать сайт на предмет 404 ошибок, лишних редиректов, дублей страниц. Также необходимо мониторить Яндекс Вебмастер и Google Search Console, чтобы видеть, какие страницы попадают или выпадают из индекса, по каким причинам и так далее. Полный технический аудит нужен после внедрения крупных изменений, редизайна, формирования новых разделов, переноса поддоменов».

Таким образом, может быть установлена следующая частота проверок технической оптимизации:

• Мониторинг работоспособности сайта в ежедневном режиме при помощи автоматических инструментов.

• Полный технический аудит раз в квартал или при значительных изменениях на сайте. 

Мнение эксперта

Дина Чёрная, руководитель группы аккаунт-менеджеров в «Ашманов и партнеры»:

«Если на сайте при крупных изменениях или регулярно появляются ошибки, их отражают Яндекс Вебмастер/Google Search Console. В этом случае стоит сканировать большой ресурс участками, маленький сайт целиком и уточнять ТЗ на устранение этих и прочих ошибок».

Как проводить аудит и искать ошибки?

Основных инструментов для анализа сайта два – это сервисы поисковиков Яндекс Вебмастер и Google Search Console, которые предоставляются бесплатно. Использовать необходимо оба инструмента, потому что у поисковых роботов Яндекс и Google разные подходы и способы индексации, и сервисы могут выявлять разные ошибки.

Существуют также сторонние программы для комплексного анализа сайта и подготовки его к продвижению, которые сканируют ошибки. Подробнее на них мы рассказывали ранее в статье «Программы и сервисы для продвижения сайта».

Анализировать информацию в сервисах должен специалист-оптимизатор, который может оценить важность и критичность ошибок, а затем дать рекомендации по их исправлению.

Что анализировать в ходе технического аудита?

1. Качество индексации ресурса в поисковых системах.

2. Коды ответов сервера в логах сайта.

3. Ссылки на сайте на несуществующие страницы.

4. Дубли страницы, мета-тегов, наличие малоценных или пустых страниц.

5. Качество выгрузки информации из базы данных в каталог на сайте (если есть интеграция между ними).

6. Скорость и качество загрузки страниц.

7. Настройка файла Robots.txt и Sitemap.xml.

8. Валидация HTML и CSS.

9. Микроразметка страниц и ошибки в ней.

Расскажем детально о каждом пункте.

1. Качество индексации ресурса в поисковых системах

Необходимо посмотреть, какие страницы попадают или не попадают в индекс поисковых систем и почему. А также проверить  сохраненные копии страниц, чтобы понимать, какие части страниц могли не увидеть поисковые роботы.

Данный анализ делается в Яндекс Вебмастере и Google Search Console. 

В Яндекс Вебмастере откройте пункт меню «Индексирование» –> «Страницы в поиске», как показано на скриншоте ниже.

Так выглядит график страниц в поиске

Здесь вы увидите, сколько ваших страниц попало в индекс поисковой системы, сколько удалено. Справа вверху выбирайте вкладку «Исключенные», чтобы видеть, какие URL бот Яндекса не добавил в индекс или исключил из него. 

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Это означает, что поисковый робот не смог проиндексировать страницу, например, потому что с нее настроен 301 редирект или она отдает 404 код ответ сервера. Либо посчитал ее малоценной, потому что, например, аналогичная страница уже есть в индексе,  страница является не каноничной, контент недостаточно релевантен запросам пользователей».

В Google Search Console также есть отчет «Индексирование» (слева в меню на скриншоте ниже).

Узнайте количество проиндексированных и непроиндексированных в Google страниц

Прокрутив экран вниз, вы увидите, почему страницы не удалось проиндексировать и почему они не появляются в результатах поиска.

. 

Google Search Console показывает причины отказа робота индексировать страницы

Некоторые страницы могут быть закрыты для индексации или являться копией. В этом случае надо проанализировать, дублем какого URL она является. Возможно, как раз ту страницу, которую вы хотите отправить в индекс, робот счел дублем, а старая версия доступна в поиске.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Если страницы действительно совпадают, то необходимо выявить и исправить ошибку, из-за которой на сайте появилась подобная проблема. Например, одна и та же страница может относиться к разным разделам, и из-за этого доступна по разным URL. Подобные проблемы решаются добавлением тега canonical или пересмотром структуры сайта и вложенности разделов».

Проверить статус конкретной страницы в поиске поможет «Проверить статус URL» Google Search Console.

Проверка статуса URL только для поисковой системы Google

В Вебмастере есть инструмент с аналогичным названием, а также более новый «Проверка страницы», который показывает, как отображаются страницы сайта с исполнением JavaScript и без него.

2. Коды ответа сервера в логах сайта 

Актуальную информацию можно получить при сканировании сайта специальным сервисом, например, Screaming Frog. Также посмотреть данные по конкретным URL в Вебмастере можно в правом верхнем меню «Инструменты» –>«Проверка ответа сервера» или в Search Console «Настройки» – > «Статистика сканирования». 

• 200 ОК – ответ, который должны отдавать все актуальные существующие страницы сайта. 

• 301 – редирект, который используется для склеивания страниц и означает «страница перемещена навсегда». В этом случае ее адрес в индексе обновится и краулер будет ходить на новую страницу. Проверьте наличие 301 редиректов в структуре сайта, когда со страниц сайта ссылка ведет на страницу с ответом 301, а не  200.

• 302— редирект «страница временно перемещена». По 302 редиректу браузер перенаправляется на нужную страницу, но в индексе остается старый адрес. В случае временного перемещения страницы лучше использовать 302 редирект, а не 302, потому что в таком случае основная страница не выпадает из индекса. 

• 404 – код ответа сервера, который появляется при попытке перейти на несуществующую страницу. Подробнее про него расскажем в следующем пункте.

3. Ссылки на сайте на несуществующие страницы

Некорректные адреса и удаленные страницы – поставщики той самой ошибки 404, с которой пользователь должен встречаться как можно реже. Причиной чаще всего становится удаление ненужных ранее проиндексированных URL и изменения структуры ресурса.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«На этапе технического аудита необходимо проверить, что все несуществующие страницы сайта имеют 404 код ответа. Например, если добавить в URL какие-то лишние символы, то подобная страница не должна быть доступна.  При этом На сайте не должно быть внутренних и внешних ссылок, которые ведут на 404 страницы – в данном случае, необходимо проверить корректность ссылки или заменить ее, если старой страницы больше не существует».

Несуществующие (битые) ссылки удобно находить с помощью сервисов типа Screaming Frog или сервисы поисковиков. В Вебмастере вновь зайдите в «Индексирование» –> «Страницы в поиске» –> «Исключенные страницы» –>  «Ошибка 404». В Google Search Console перейдите «Индексирование» – > «Страницы» и прокрутите до таблицы с причинами, почему страницы не проиндексированы, ошибки там показаны.

Выявив битые ссылки, исправьте их.

• Если страница перемещена, настройте редирект 301.

• Если URL удален, уберите ссылку на него на всех страницах сайта и в его карте. Либо создайте страницу и наполните ее контентом.

• Если целевая страница существует, но при переходе не открывается, проверьте корректность написания ее адреса во входящих ссылках. 

Рекомендуем создать специальный дизайн для страницы 404 с логотипом, с которой пользователь может перейти на главную или в иные разделы ресурса, пример ниже.

Вот так выглядит страница 404 с полезными ссылками

4. Дубли страницы, мета-тегов, наличие малоценных или пустых страниц

Дублированный контент считается малополезным и некачественным как в Яндексе, так и в Google. Чаще всего на сайтах обнаруживаются следующие повторы:

• Адреса, например, одинаковый URL с www и без, со слешем и без (например, www.site.ru/ и site.ru);

• Мета-теги Тitle, Description, заголовок H1;

• Одинаковый контент на разных адресах, например, товар относится к разным категориям.

Для поиска дубликатов в Яндекс Вебмастере откройте «Индексирование» –> «Страницы в поиске» –> «Исключенные страницы» и укажите фильтр «Дубль». В Google Search Console «Индексирование» – > «Страницы». Здесь можно также увидеть страницы с дубликатами мета-тегов и проверить, только  теги совпадают или весь контент.

При большом объеме новых документов, например, на новостном сайте, в ручном режиме трудно прописывать не повторяющиеся мета-данные. Для не продвигаемых и неприоритетных разделов лучше настроить генерацию мета-тегов по шаблону. Для страниц, по которым ведется продвижение,  заголовки Тitle, H1 и мета-описание Description теперь можно генерировать с помощью нейросети SearchLab. Точечную настройку мета-данных вручную можно применять для более маржинальных категорий или приоритетных статей.

5. Качество выгрузки информации из базы данных в каталог на сайте

Этот анализ актуален для сайтов, где информация о товарах подгружается из баз данных, например, интернет-магазинов с каталогом на сайте.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Если на сайте есть интеграция с базой данных (например, 1С), то необходимо проверять то, что происходит на сайте в случае обновления информации в базе данных. Например, могут меняться URL страниц, структура каталога и тд. О таких изменениях необходимо предупреждать специалиста по оптимизации, чтобы он оперативно мог подготовить карту редиректов или другие рекомендации, чтобы продвигаемые страницы не выпадали из индекса. На этапе технического аудита оптимизатор проверяет, что происходит на сайте в случае удаления/перемещения товаров и категорий».

Частая ошибка на стороне бизнеса: в базе данных, из которой обновляется каталог, заполнены не все поля. Либо поля содержат информацию, но на сайте она по техническим причинам не выводится. Такие не до конца заполненные карточки могут показаться роботу малоценными страницами.

6. Скорость и качество загрузки страниц

Поисковики считают их показателем качества сайта и его полезности для пользователя. Поисковые системы из всех метрик оценки загрузки сайта выбрали самые приоритетные, над которыми стоит работать в первую очередь. 

• Скорость загрузки страниц – важный параметр, потому что медленный сайт и низкая скорость загрузки неудобны для пользователя. Проверять этот фактор можно при помощи бесплатного инструмента Google PageSpeed Insights, который также дает рекомендации, как улучшить скорость загрузки.

Google PageSpeed Insights ранжирует рекомендации по степени критичности

Критичные ошибки лучше проверять через Google Search Console, где собираются данные на основе пользовательского опыта и взаимодействия с сайтом.

• Работоспособная мобильная версия или адаптивный дизайн крайне важен, так как доля мобильного трафика постоянно растет. Сайт должен корректно отображаться на мобильных устройствах,  а также необходимо проверить, что контент на мобильной и десктопной версии полностью совпадает.

• Протокол безопасности HTTPS обязательно должен быть подключен.

• Факторы Core Web Vitals проверяют при помощи все тех же PageSpeed Insights и Google Search Console.

Google PageSpeed Insights показывает, с каким фактором проблема и насколько она критична

• Отрисовка основного контента Largest Contentful Paint (LCP) – критерий, который показывает, насколько быстро пользователям показывается основной контент, а затем догружаются мелкие изображения и видео.

• Задержка первого ввода First Input Delay (FID) – задержка, с которой сервер откликается на первое взаимодействие посетителя с сайтом (например, клик по кнопке или ссылке).

• Совокупное смещение макета Cumulative Layout Shift (CLS) – это сдвиг дизайна в момент действий пользователя на сайте. Классический пример: посетитель хочет кликнуть по ссылке, в этот момент макет сдвигается и под палец или курсор попадает рекламный баннер. 

7. Настройка файла Robots.txt и Sitemap.xml

Robots.txt – текстовый файл с параметрами индексации. Он сообщает роботу, какие страницы и разделы не надо индексировать, а какие необходимо. Поэтому некорректно настроенный robots.txt затрудняет индексирование ресурса.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«В ходе аудита следует собрать примеры технических страниц, которые должны быть закрыты от индексации (например, страницы поиска), и такие примеры проверить через Вебмастер. Также следует посмотреть все проиндексированные страницы, и, если там есть лишние, добавить в Robots.txt инструкции, закрывающие подобные страницы от роботов».

В Яндекс Вебмастере есть инструмент «Анализ robots.txt». Введите URL и вскоре перед вами появится исходный код, число ошибок и используемых строк.

Здесь сразу видно, какие страницы закрыты от индексации

В Search Console можно перейти на Google Robots Testing Tool, и он по умолчанию протестирует robots.txt ресурсов, где у вас подтверждены права. Покажет ошибки и предупредит о неоптимальных настройках предупреждением.

Проверка отмечает критичные и рядовые ошибки красным и желтым значками

Карта Sitemap.xml сообщает поисковым роботам об актуальной структуре сайта, сообщая, какие страницы наиболее важны.

Анализируем файл все тем же способом: в Вебмастере вверху справа выбираем вместо «Анализ robots.txt» – «Анализ файлов Sitemap». В Google Search Console переходим в «Индексирование» –> «Файлы Sitemap». Чтобы совершать меньше ошибок, настройте автоматическую генерацию карты сайта при помощи плагинов CMS или сторонних инструментов. 

7. Валидация HTML и CSS

Необходима, чтобы убедиться, что робот видит страницы корректно.

• Ошибки в HTML-коде. Иначе страницы могут отображаться в браузере некорректно: заголовки съезжает, изображение закрывает текст, видео не отображается и тому подобное. Используйте инструменты типа HTML Validator

• Ошибки в разметке CSS. Это набор предустановленных стилей, где определены цвет, форма, размещение модулей на странице. Если в коде CSS есть ошибки, блоки могут сползать, перекрывать друг друга, в общем, сайт не выглядит готовым к просмотру. Для проверки существуют сервисы типа CSS Validator.

• Ошибки в программном коде самого сайта также могут приводить к неправильному отображению страничек и другим затруднениям функционирования сайта. Используйте инструменты типа PR-CY для аудита кода.

9. Микроразметка страниц и ошибки в ней

Микроразметка страниц (Google называет ее Структурированные данные) – это метод семантической разметки данных, который облегчает поисковым роботам извлечение и обработку информации. Она  влияет как на индексацию, так и на ранжирование и на CTR на выдаче.

Благодаря микроразметке в сниппет на выдаче могут подтягиваться ссылки и контент со страниц.

Так выглядит сниппет с микроразметкой

Вот что можно разметить на сайте с помощью микроданных:

• Адрес, телефон, часы работы организации.

• Товары и цены. В сниппет попадает одно или несколько предложений конкретного товара, но не разные товары.

• Описание приложений или программ с сайта.

• Лучший ответ из раздела «Вопросы и ответы».

• Видео

• Рецепты.

• Творческие работы: статьи и  медиаконтент.

Теги и атрибуты микроразметки прописывают в HTML-коде страницы. Подробнее о возможностях и схемах микроразметки читайте в статье «Микроразметка в Яндексе».

Завершив аудит, подведем итоги.

Что бизнес получает в результате технического аудита?

По итогам аудита бизнес получает рекомендации о том, какие проблемы нужно устранить, чтобы улучшить индексацию ресурса. Выделяются фатальные и критические проблемы, которые крайне негативно сказываются на индексации поисковыми системами. Такие ошибки необходимо устранять как можно быстрее. Исправление рядовых ошибок можно отложить, но их также надо проработать.

При качественной настройке ресурса скорость обхода роботами увеличится сама по себе. Если хочется ускорить, отправьте исправленные странички на переиндексацию, чтобы сообщить поисковым системам об изменениях. 

В Яндекс Вебмастере для этого есть инструмент «Переобход страниц». В Google Search Console можно отправлять вручную по одному URL на переиндексацию. Для массового переобхода можно использовать инструмент Google Indexing API. Как это сделать и как работать с этим инструментом, читайте в статье «Как решить проблемы с индексацией на сайтах от 1 до миллионов страниц». 

Выводы

• Технический аудит – не единственный этап, который входит в поисковый аудит сайта. Однако он закладывает фундамент для последующей индексации сайта и всех изменений.

• Чем больше сайт, тем больше ошибок и тем чаще они возникают. Важно наладить мониторинг фатальных ошибок и при необходимости проводить технический аудит участков сайта или всего ресурса.

• Для проведения аудита используются различные инструменты поисковых систем и сторонние сервисы.

• В ходе аудита проверяются такие технические факторы как скорость загрузки, настройки файлов Robots.txt и Sitemap.xml, дубли страниц, ссылки на несуществующие страницы,  микроразметка и ошибки в ней, другие параметры.

• Технический аудит должен проводить технический специалист по SEO-продвижению, который сможет выявить проблемы, оценить их критичность и приоритезировать работы по их устранению.