SpyLOG FlexoLyzer — мощный анализатор логов от Спайлога

Фактически подписчики данной рассылки первыми узнают, что это за лог-анализатор, над которым SpyLOG работал целых два года. Утечки информации об этом продукте, которые случились на днях в Webinform.ru и Webrating.ru - всего лишь несколько скучных новостных анонсов. Настоящее описание - только сейчас :)

В отличие от известных счетчиков SpyLOG новый продукт функционирует на основе анализа лог-файлов. Те, кто знаком с лог-анализаторами как классом программ, могут пропустить один абзац.

Надо ли напоминать, что лог-файл - это журнал записи событий, происходящих на сервере, и он может вестись как по всему серверу, так и каждому сайту, размещенному на собственном виртуальном сервере. Аналитическая работа с лог-файлами имеет несколько базовых преимуществ по сравнению со счетчиками. Это, в первую очередь, отсутствие потерь точности статистики: лог всегда зафиксирует заход пользователя, в отличие от счетчика, который может не успеть сработать; лог-файл собирает информацию о загрузке файлов любых типов - в том числе аудио-файлов, flash-объектов, изображений, даже если эти объекты не могут быть воспроизведены в браузере пользователя; лог распознает и протоколирует работу роботов-пауков, очень точно анализирует пути по сайту и прочий трафик. Иными словами, FlexoLyzer - это продукт другого типа, чем счетчик. Очевидно, что он предоставляет гораздо большие возможности обработки и дает более сложные отчеты, чем счетчик. В итоге он дополняет счетчик, который хорош тем, что обрабатывает статистику на лету и показывает ее такой, какой она была 2 минуты назад. Однако исполнительный директор SpyLOG Федор Вирин говорит, что FlexoLyzer скоро научится читать данные счетчика-трекера SpyLOG, и тогда интегрированные отчеты будут еще мощнее.

FlexoLyzer - лог-анализатор с невиданными ранее возможностями, и последней проблемой перед выводом продукта на рынок было определить, какие его возможности пока от пользователя закрыть :) Для того, чтобы потом выдать в виде отдельных версий-пакетов или в рамках обновлений.

Очевидно, что при разработке такого продукта была использована модульная структура. Программа имеет ядро обработки лог-файлов, пользовательский интерфейсный модуль, модуль построения отчетов, модуль подключения дополнительных насадок (плагинов). В принципе, сборку данных, разборку логов и работу в пользовательском интерфейсе можно выполнять на разных машинах. В программе возможно разграничение прав доступа. Независимо от типа версии, FlexoLyzer не ограничен работой с одним сервером, их может быть несколько.

Давно, на заре своего существования SpyLOG говорил о возможности получения сотен отчетов, хотя их трудно было даже посчитать (используя формулы комбинаторики). Чтобы не заставлять своего покупателя/пользователя в размышлять о том, какие сотни отчетов в принципе возможны, теперь SpyLOG говорит о 60-70 важнейших отчетах. Теперь SpyLOG дает базовые формы отчетов и возможность конфигурирования и получения любых других отчетов (правда любых - даже соединенных с данными бухгалтерии, если вы сами опишете нужные поля). Большинство отчетов во FlexoLyzer имеют вложенные отчеты. Например, можно сгенерить отчет "Поисковые фразы" с указанием, на каких поисковиках они использовались. Или наоборот сгенерить отчет "Поисковые машины" с указанием поисковых фраз для каждой искалки. Отчеты имеют настраиваемый вид прямо на лету. Можно "по ходу" выкинуть ненужный параметр (например, оставив "Хиты", "Хосты", удалив "Загрузки").

FlexoLyzer имеет собственный конструктор отчетов, кторый работает аналогично "Фильтрам" в счетчике SpyLOG: задаются критерий, аудитория, период наблюдения и вперед. Во FlexoLyzer отчет по поисковым роботам пока не входит в число базовых, однако в ближайшем будущем, вероятно, войдет в их число. Пока же такой отчет можно получить, задавая параметр user-agent, который известен для большинства роботов, которые могут интересовать отечественного оптимизатора.

В FlexoLyzer использована технология XML. С ее помощью можно настраивать модуль, который строит отчеты практически как угодно (единственное ограничение накладывает разновидность коммерческого пакета, которые обладают разными возможностями). А так можно получать любой отчет в любом виде - отсюда и название FlexoLyzer. В нем также предусмотрено использование насадок (plug-in), которые расширяют возможности системы. До сих пор на нашем рынке лог-аналайзеров были представлены жесткие, нерасширяемые, ненастраиваемые системы.

Поскольку оптимизаторов больше интересуют отчеты, то про ядро обработки данных - кратко. Производительность обработчика на современной персоналке - 50 млн. строк лог-файла в сутки. Это очень хороший показатель, так как большинство имеющихся лог-анализаторов после 2 млн. строк начинают отчаянно тормозить. Официальные системные требования: не ниже Intel Pentium 133 МГц или AMD Athlon 800 Мгц, 128 Мб оперативной памяти. Рекомендуемый объем оперативной памяти - 256 Мб, для анализа лог-файлов большого размера (более нескольких миллионов записей) - 512 Мбайт. На современных компьютерах с Pentium IV 2-3 ГГц лог-анализатор может работать даже вместе с другими задачами. Дополнительное программное обеспечение: Microsoft.Net Framework 1.1, MSIE 5.01 или выше.

Обработчик лог-файлов во Flexlyzer не использует чудовищно неудобных решений, характерных для многих лог-анализаторов, которые не умеют излекать куки из лог-файла, получая их из другого источника (из счетчика).

FlezoLyzer допускает различные источники данных, автоматически определяет формат лог-файла (около 30 форматов). Разобранные логи FlexoLyzer хранит в обработанном виде (как и в счетчике SpyLOG), кроме того, он архивирует их. В результате может за доли секунды получать данные из обработанных логов. Можно хранить архив лог-файлов на болванках, и при необходимости подключать старые данные к текущим для получения отчета за больший промежуток времени.

FlexoLyzer безусловно превосходит WebTrends тремя свойствами локального продукта - наличием российской географической базы, русскими поисковиками в отчетах, а также тем, что он сам на русском языке (последнее важно - это же не редактор с командами Cut/Copy/Paste, а сложный продукт). Кроме того, дистрибутив программы WebTrends разросся до трехзначных цифр в мегабайтах (183 Мб, к примеру), а FlexoLyzer имеет размер дистрибутива 5-6 Мбайт. В базовых конфигурациях цена FlexoLyzer примерно в полтора раза дешевле WebTrends. Для тех, кто за много лет привык и не желает менять свой WebTrends на Flexolyzer, SpyLOG обещает сделать отдельный модуль (damp) для обновления его географической базы на спайлоговскую.

Вообще же, по своим возможностям Webtrends и FlexoLyzer сравнимы. Технологически же FlexoLyzer сделан получше, просто потому что создавался позже, и подходы к организации программного обеспечения во FlexoLyzer применены более современные. Годовая поддержка есть и у того, и у другого.

До сих пор у разработчиков в России, на Украине и в Беларуси было также замечено 5-6 решений - лог-анализаторов, написанных небольшими компаниями и частными лицами. Однако они являлись либо дополнением к другим продуктам (всем известный пример - система управления сайтом (CMS) Bitrix, с модулем анализа лог-файлов), либо самостоятельно разработанными инструментами агентств интернет-рекламы (обычно "с ручным приводом"), либо написанными для себя инструментами оптимизаторов, которые потом поступили в продажу. Формат и объем рассылки просто не позволяют провести конкурентный анализ. Но превосходят они FlexoLyzer только дешевизной, то есть позволяют купить за 50-80 долларов, чтобы попробовать, а потом не использовать.