Мониторинг бэкапов

[Simply-Art]

Столкнулся недавно с такой проблемой - на локальных серверах домена, в различных папках, делаются с разной периодичностью бэкапы. Чтобы их все отследить, нужно затрачивать много времени. Ну я и сделал для себя маленькую программу - монитор. Представлю вам первую бета версию программы.
Сидит данная программа в трее, сразу после запуска. Увидеть её можно либо через меню-показать, либо по двойному щелчку на иконку. Работает все просто:

• Создаем ярлык в автозагрузку на программу;
• Добавляем файл, которых хотим отслеживать;
• Задаем интервал его обновления;
• Добавляем описание и все;

Если какой либо файл не был обновлен в заданный срок или вообще удален, то программа сообщит вам об этом текстом внизу справа экрана и морганием в трее.

Интересно узнать о том нужна ли такая программа вообще кому-нибудь кроме меня, и если да, то может подскажите как её улучшить?

ps установщик копирует программу, 3 нужных ей файла *.conf и лицензию в program files, более ничего оно не делает.

Скачать можно отсюда, на форум не влезло

[Stilet]

А как программа узнает когда бэкапирование окончено? И есть ли возможность узнать правильно ли сформирован бэкап?
Дело в том что я тоже столкнулся с проблемой бэкапов разных БД, поэтому тема эта мне близка как никогда.

[Simply-Art]

Сообщение от Stilet

А как программа узнает когда бэкапирование окончено? И есть ли возможность узнать правильно ли сформирован бэкап?
Дело в том что я тоже столкнулся с проблемой бэкапов разных БД, поэтому тема эта мне близка как никогда.

Ну правильность бэкапов никак не проверяется. А как можно проверить их правильность то? Открыть БД? Или разархивировать zip архив сайта?

Как вариант думаю можно добавить скан размера файла, и установить порог прибавления/убавления веса.

Ну а по поводу завершения бэкапа программа тоже ничего не знает, она сейчас мониторит только время изменения файлов. Допустим у нас есть бэкап 1.bkf, он обновляется каждый день. Программа смотрит, сегодня 26.06.2014, а файл то изменен аж 24.06.2014. Значит что-то помешало сделать вчера бэкап и админ подрывается и ищет проблему как то так задумывал.

У нас бэкапы делаются ночью, а утром чтобы мне не смотреть по всем серверам что и как я и делал программу.

[Аватар]

При удачном завершении бэкапирования можно мелкий файл рядом с бэкапом создавать, или в реестр чего-то зафитилить и по его наличию и содержимому делать вывод о правильности

[Simply-Art]

Сообщение от Аватар

При удачном завершении бэкапирования можно мелкий файл рядом с бэкапом создавать, или в реестр чего-то зафитилить и по его наличию и содержимому делать вывод о правильности

Ну у меня то не программа для бэкапов, я их только мониторю, а серваки бэкапятся стандартными средствами windows server. Но если нужно, то можно прицепить парсер лог файла впринципе, но тогда нужно будет чтобы пользователь указывал "шаблон" парсинга сам, что не тривиально на первый взгляд.

[Stilet]

А как можно проверить их правильность то?

У меня Информикс. Мы проверяем бэкапы примерно так: Заранее известно что будет N-ное кол-во файлов соответствующее кол-ву таблиц в базе. Значит после выгрузки в том же баше проверяем их кол-во и если облом - сигналим на почту админу, т.е. мне. А я уже ответственный за панику, если не все файлы выгрузились. Иначе пакуем в tgz и складываем в каталог инкрементно.
Иначе какой смысл в программе? Допустим СУБД повисло ночью - бэкап недосделался, файл бэкапа заблокирован модулем резервирования и прочитать его нет возможности. Твоя программа получается слажает...
Да и логирование работы создания бэкапа в текстовичек важно- можно потом его считывать и искать что-то типа "backup complete succefull" иначе бить тревогу.

[Simply-Art]

Запилю табличку с лог файлами значит, и сделаю поиск контрольного слова, если не найдет файл или он будет изменен не в срок или не будет слава, то тревога. Так пойдет?

Обновил программу, теперь смотрит в файлах *.log заданный текст.
Вот некоторые обозначения для расшифровки третьего столбца:

 
ND - not correct date // файл "просрочен", обновился позднее заданного интервала
NO - not open file // программа не смогла открыть файл (только к *.log файлам)
NL - not correct log // искомая фраза не была найдена в лог файле
NF - no file found // файл не найден

Из коментов уберите критику по поводу постановки английских выражении, мне так удобно и все!

Жду дальнейших предложений.

ps все что говорят ваши браузеры и сам юкоз о возможных вирусах - бред. я не стану выкладывать вирусы на мой любимый форум.

[Человек_Борща]

Может можно как-то отслеживать завершение бэкапа по процессу котрорый их создает? Обычно консольное ПО умеет делать это, возвращая код завершения процесса. Тоже может делать и обычное ПО.
На каком ЯП сие написано?

[Simply-Art]

Сообщение от Человек_Борща

Может можно как-то отслеживать завершение бэкапа по процессу котрорый их создает? Обычно консольное ПО умеет делать это, возвращая код завершения процесса. Тоже может делать и обычное ПО.
На каком ЯП сие написано?

Программа не совсем предназначена для работы на том ПК где делаются бэкапы, она скорей для объединения данных о бэкапах в локальной сетке.

Кстати еще одна интересная функция открылась, мониторинг обновлений можно указать например файл "update.ver" от нода и мониторить когда было сделано обновление.

А написано все на delphi.

ps нашел баг, программа не закрывается при завершении работы windows скоро исправлю

[Человек_Борща]

Программа не совсем предназначена для работы на том ПК где делаются бэкапы, она скорей для объединения данных о бэкапах в локальной сетке.

Хм...
Можно на серверах поставить маааленьких жучков-мониторов, будут мониторить процессы или запускать их. На началу/завершению процесса слать инфу на общий сервер, об успешности/неудаче/процессе создания.

А написано все на delphi.

Жаль... так бы хорошу библиотку подкинул бы на плюсах.

На счет проверки файлов...
Можно использовать CRC32. Делате слепок на начало старта бэкапа с оригиналов. По окончании резервации, делаете второй слепок crc32 с выжатых файлов. И сравниваете. Хотя в случае с файлами СУБД у вас ничего не выйдет

Ещё вариант... сравнивать по размеру и времени изменения... для архивов самое оно.

Буфер записи вряд ли гигабайтами будет, и вряд ли заставит себя долго ждать.. так что берем файл, если его нет - бэкап не создан.
если файл есть, смотрим дату измнения и размер в байтах. Запоминаем. Ждем 30 сек. Обращаемся за тем же самым.
Сравниваем:
Если даты измнения не совпадают а так же размеры в байтах отличаются, то архив находится в процессе создания.
Если дата изменения из вчера. бэкап создан когда-то вчера.

И так повторяем проверки пока размерыи даты изменения не будут равны.