Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Microsoft Office и VBA программирование > Microsoft Office Excel
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 25.08.2018, 21:09   #1
Onehunter
Пользователь
 
Регистрация: 16.10.2010
Сообщений: 51
По умолчанию как правильно подсчитать требования к производительности

Такой вопрос.
Необходимо произвести расчет (просканировать данные по определенному алгоритму), по файлу данных (csv), который отражает ряд измерений во времени. Его размеры за период:

1 день - 10-20мб (200 000 строк)
1 месяц - 200-500мб (4 000 000 строк)
1 год - 2-5Гб (40 000 000 строк)

Есть компьютер, с памятью 16Гб.
Могу я поставить задачу программисту, на обсчет данных, сразу за период по одному году?
Можно ли средствами VBA, такой расчет производить не выгружая данные в память, находя внутри отдельного файла нужные отрезки по времени (фильтры), не нарезая специально файл на эти отрезки? Грубо говоря, могу я, теоретически, просто слить данные все в один огромный файл (за 5 лет например, и он будет точно больше чем 4Гб размером), а если нужен будет просчет периода с 2 по 4 год, то просто задать это как фильтр, в алгоритме обсчета?

Спасибо за помощь!
Onehunter вне форума Ответить с цитированием
Старый 25.08.2018, 21:33   #2
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Да, не обязательно загружать все в память.
Даже за год можно не держать в памяти если это не нужно для расчета (например для среднего значения можно просто читать по одной строке и прибавлять сумму и количество).
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Падение производительности O m n i s Софт 4 30.09.2013 14:58
Как узнать системные требования к программи Sylar9 Общие вопросы C/C++ 4 19.03.2012 22:46
Информация о производительности Blade Общие вопросы C/C++ 2 24.11.2009 23:04
Выбор CMS. Требования как вроде бы просты EVadik WordPress и другие CMS 4 06.06.2009 12:36