Скачивание баз данных

[androdrev]

Сообщение от Пепел Феникса

вы сканируете тупо весь файл на сигнатуру?

Только недавно из этого состояния стали вылазить... А чем вам ограничение размера не угодило? Меж прочим, если файл более 2 гб то мой антивирь сам пишет "out of memory" раз сто, после чего комп выдает "синий экран". Короч надо ли проверять файлы более 2гб или нет?

[Человек_Борща]

Короч надо ли проверять файлы более 2гб или нет?

Все файлы, без исключений по любому признаку.

А out of memory из-за глупого "заргрузить все в memory stream и фигачить", либо память кушается но не перерабатываетсяв свободный ресурс

Используйте буфер.

[androdrev]

Сообщение от Человек_Борща

Все файлы, без исключений по любому признаку.

А out of memory из-за глупого "заргрузить все в memory stream и фигачить", либо память кушается но не перерабатываетсяв свободный ресурс

Используйте буфер.

Это норм будет, буфер использовать, если надо файл размером 10-30 гб просканить? Хз но придется... Надо так надо. Но даже если использовать буфер, как вы говорите, база расширится до хотя бы 500 000 записей, ну до 1 млн, и тогда (+ эвристический анализ) сканирование файла, размером 15-35 гб будет длиться целые века)))

[Пепел Феникса]

Сообщение от androdrev

Только недавно из этого состояния стали вылазить... А чем вам ограничение размера не угодило? Меж прочим, если файл более 2 гб то мой антивирь сам пишет "out of memory" раз сто, после чего комп выдает "синий экран". Короч надо ли проверять файлы более 2гб или нет?

Сообщение от Человек_Борща

Все файлы, без исключений по любому признаку.

А out of memory из-за глупого "заргрузить все в memory stream и фигачить", либо память кушается но не перерабатываетсяв свободный ресурс

Используйте буфер.

проверять надо все, но проверять надо с умом.
глупо искать в jpeg сигнатуры приложений.
там нужно искать свои сигнатуры, и прежде всего проверить а jpeg ли это.
архив же надо обрабатывать как папку по сути, а не сканить насквозь.

далее exe уже да, и есть смысл сканировать весь и нет.
обычно сигнатуры ищут по определенным точкам, типа точки входа или точки main.(это уже зависит от компилятора).
что сильно снижает нагрузку.
далее сканировать ресурсы и тп.

насчет out of memory, это позорно даже как-то.

молчу уж про эвристик.

Это норм будет, буфер использовать, если надо файл размером 10-30 гб просканить?

буфер использовать всегда, никаких тупых загрузок в память.
просто если размер файла меньше размера буфера, то тогда просто он прочтется за раз.

[androdrev]

Сообщение от Пепел Феникса

насчет out of memory, это позорно даже как-то.

Ничего позорного. Позорно будет, когда антивирус выйдет в Сеть. Сейчас он еще в стадии разработки, потому у нас там еще не такое творится

[Пепел Феникса]

Сообщение от androdrev

Ничего позорного. Позорно будет, когда антивирус выйдет в Сеть. Сейчас он еще в стадии разработки, потому у нас там еще не такое творится

конкретно насчет этого косяка, я остаюсь при своем мнении.
(интересно как зависнет ваш антивир в надежде найти чтонить на файлах виртуального HDD от VM хД)

[Utkin]

Меж прочим, если файл более 2 гб то мой антивирь сам пишет "out of memory" раз сто, после чего комп выдает "синий экран".

Вы его полностью грузите что ли ?

[androdrev]

Сообщение от Пепел Феникса

проверять надо все, но проверять надо с умом.
глупо искать в jpeg сигнатуры приложений.
там нужно искать свои сигнатуры, и прежде всего проверить а jpeg ли это.
архив же надо обрабатывать как папку по сути, а не сканить насквозь.

далее exe уже да, и есть смысл сканировать весь и нет.
обычно сигнатуры ищут по определенным точкам, типа точки входа или точки main.(это уже зависит от компилятора).
что сильно снижает нагрузку.
далее сканировать ресурсы и тп.

насчет out of memory, это позорно даже как-то.

молчу уж про эвристик.буфер использовать всегда, никаких тупых загрузок в память.
просто если размер файла меньше размера буфера, то тогда просто он прочтется за раз.

Про эвристику молчать не надо. Уже делаем.

Для архивов пока отдельный сканер-распаковщик, они не сканируются общим.

Да наша команда сделала Base Constructor - буду разбираться с "точками входа", позициями, смещениями и т.д., это делали профессионалы, а я плохо в этих точках понимаю

Сообщение от Пепел Феникса

конкретно насчет этого косяка, я остаюсь при своем мнении.
(интересно как зависнет ваш антивир в надежде найти чтонить на файлах виртуального HDD от VM хД)

Это мы посмотрим. Раз вам интересно - посмотрите как выйдет антивирь

Сообщение от Utkin

Вы его полностью грузите что ли ?

Щас да скоро нет

[androdrev]

Всё, всем большое спасибо, ошибка out of memory устранена (буфером), скачивание производится по-человечески (уже скачанное не перекачивается заново).