Screaming Frog SEO Spider

Достаточно долго одним из лидеров в области аудита сайтов был такой инструмент, как Xenu, однако несколько лет назад к нему в компанию добавилось другое полезное приложение – Screaming Frog SEO Spider, о котором и пойдет речь в этой статье.

Программу разработал опытный британский сеошник; она существует как в бесплатном, так и в платном варианте. Естественно, бесплатная версия отличается несколько меньшим функционалом, а также ограничением на количество страниц, которые можно отсканировать: не более 500. Поэтому для аудита крупного сайта предпочтительнее выбрать платную  версию.

Основной функционал Screaming Frog SEO Spider

Останавливаться подробно на покупке и скачивании Скриминг СЕО Фрога мы не будем: для этого достаточно базовых умений компьютерного и интернет-пользователя. Вместо этого рассмотрим основной функционал seo frog, представленный последовательно во всех ее вкладках:

• Internal. Как понятно из названия, вкладка посвящена внутренним ссылкам. Здесь можно получить ключевую информацию обо всех страницах сайта (их, при желании, можно отсортировать по алфавиту). Достаточно кликнуть по URL какой-либо страницы, чтобы увидеть достаточно подробные данные о ней. В разделах вкладки «in links» и «out links» можно просмотреть отдельные данные о входящих и исходящих ссылках соответственно, что поможет откорректировать внутриссылочный вес каждой страницы. Также можно получить информацию о расположенных на странице картинках, заголовках, мета-тегах, размере страницы в байтах, уровне ее вложенности по отношению к главной странице интернет-портала, и так далее.

• External. Эта вкладка, напротив, посвящена внешним ссылкам. Она включает в себя полный список сайтов, на которые со станиц вашего ресурса ведут открытые ссылки. Для каждой из них можно узнать тип, кодировку, уровень вложенности соответствующей страницы и другие данные.

• Response Codes. Здесь содержится информация обо всех редиректах сайта: адреса страниц, исходящих ссылок и, что самое важное, коды и статусы ответа веб-сервера. В контексте оптимизации сайта пристального внимания заслуживают страницы с кодами 404 (Not Found), 302 (Found) и 301 (Moved Permanently). Особенно важно грамотно настроить 301 редирект.

• URI. Это отдельная вкладка, целиком и полностью посвященная «проблемным» страницам сайта. Их адреса могут попасть сюда по разным причинам: например, если в их названии присутствуют символы, которых нет в ASCII; если длина адреса превышает 115 символов; если адрес является динамическим; если страницы дублируются; и по ряду других. То, что какая-то страница попала на эту вкладку, еще не значит, что с ней гарантированно что-то не так – однако это повод лишний раз проверить ее и, при необходимости, внести корректировки.

• Page Titles. Здесь собрана информация о тайтлах всех страниц сайта. Соответственно, тут можно узнать, на каких страницах не оказалось тайтлов (и добавить их, поскольку они крайне важны для продвижения); где тайтлы совпадают с H1 (что также лучше исправить); у каких страниц одинаковые тайтлы (и это, опять же, лучше откорректировать, сделав Title разных страниц уникальными); где размер тайтла выходит за пределы рекомендуемой длины в 60-70 символов.

• Meta Description. Суть вкладки примерно аналогична предыдущей, только здесь речь идет уже не о Title, а о Description всех страниц сайта. Тут так же можно узнать, на каких страницах нет мета-тега, на каких он чрезмерно длинный, на каких – дублируется с других страниц, и так далее, после чего принять необходимые меры.

• Meta Keywords. Это то же самое, но для прописанных Keywords. Поскольку в нынешних реалиях прописывать их практически бессмысленно, эта вкладка не несет в себе особой ценности.

• H По аналогии с несколькими предыдущими вкладками, здесь можно получить информацию об H1 всех страниц и откорректировать их, если где-то они слишком длинны, дублированы или вовсе отсутствуют.

• H В этой вкладке можно посмотреть полный перечень заголовков второго уровня для каждой страницы и, опять же, наметить планы по их корректировке в случае необходимости.

• Images. Здесь можно получить информацию обо всех изображениях, которые загружены на сайт, и их весе. Вкладка полезна в контексте ускорения загрузки интернет-портала, которой можно добиться благодаря оптимизации картинок.

• Meta&Canonical. В этой вкладке можно, во-первых, просмотреть мета-теги robots для каждой страницы: это теги, которые позволяют или запрещают поисковым роботам индексировать страницу и использовать размещенные на ней ссылки. Здесь же можно получить информацию о канонических ссылках rel=canonical для всех страниц, то есть адресах, которые будут индексироваться при появлении дублей. Это также весьма существенная и периодически нуждающаяся в корректировке информация с точки зрения продвижения и оптимизации сайта.

Как сканировать сайт с помощью Screaming Frog SEO Spider?

Чтобы получить все перечисленные выше данные и возможность использовать их для оптимизации сайта, необходимо его просканировать в программе Screaming frog SEO Spider. Например, вы проводите аудит продвижения сайта рекламного агентства. Достаточно ввести адрес ресурса в соответствующее поле и нажать на кнопку «Start».

При этом важно знать, что все поддомены программа воспринимает как внешние ссылки. Поэтому в том случае, если вы хотите, чтобы они расценивались как часть основного ресурса, понадобится пометить галочкой пункт «Crawl All Subdomains» в разделе меню «Spider Configurations».

При помощи SEO Spider Tool можно сканировать не только весь сайт, но и какой-либо его раздел: для этого достаточно ввести его адрес в поле и нажать на кнопку «Start». В то же время, определенные разделы можно исключать из анализа: для этого нужно зайти в пункт меню «Configurations». В разделе «Exclude settings» этого пункта вы можете задать правила исключения конкретных разделов сайта из общего процесса сканирования.

Для удобства просмотра и использования результатов анализа сайта, полученных при помощи Screaming Frog SEO Spider, их можно преобразовать в более привычный и комфортный для восприятия Excel-формат. Чтобы это сделать, достаточно воспользоваться кнопкой «Export».

Создание Sitemap.XML

Файл Sitemap.XML должен лежать в корневой папке сайта и содержать подробную, точную информацию обо всех его страницах, датах их обновления и приоритетах просмотра. Он важен по многим причинам, и в первую очередь – для эффективной работы поисковых роботов. В этой связи особенно полезной представляется такая дополнительная функция программы Screaming Frog, как создание карты сайта. Для этого нужно воспользоваться пунктом меню «Sitemaps» после того, как вы просканируете весь интернет-портал. Во вкладке «Pages» можно будет добавить в карту дополнительные элементы (например, страницы, которые были закрыты от индексирования), после чего нажать на кнопку «Next».

Таким образом, Screaming Frog SEO Spider – это современный многофункциональный инструмент, который может дать оптимизатору практически всю необходимую информацию для успешной работы с сайтом.