Ввод больших объемов данных из файла

[Molotoff]

Добрый день
У меня следующая ситуация - нужно считывать большие объемы данных (1-2 Гб) в массив из файла, файл бинарный, все значения идут подряд без пробелов и разделителей, консольное приложение.
Сейчас это реализовано следующим образом:

for (int i=0; i<n_func_p; i++) {
	fin.seekg((i),ios::beg);
	fin.read((char*)&main_arr[i],1);
	
	//cout << (int)main_arr[i] << endl;
	}

Т.е. я побайтово считываю файл сразу в массив, но данный метод у меня работает очень долго, каким образом можно считать этот файл в оперативную память в массив максимально быстро?
Заранее благодарен.

[Blade]

То есть, получается у вас программа "кушает" 1-2Гб оперативной памяти? Не самый лучший подход. Может стоит сделать запись этого массива в другой, временный, файл, и работать потом с ним?

[vvviperrr]

2Molotoff если работаешь винде, почитай про отображение файлов в память (file mapping). и не надо целиком считывать такой огромный файл. все зависит от того, что ты будешь делать с информацией, которая находится в этом файле.

[Molotoff]

программа для научных расчетов, поэтому хранить такой массив просто жизненная необходимость, т.е. надо 2^32 итераций обращаться к файлу, а это долго, нужно чтоб обсчет происходил быстро, поэтому нужно, чтоб все хранилось в оперативке.
2vvviperrr - да работаю в винде, случаем ссылок под рукой нет про эту тему? буду очень признателен

[Molotoff]

И еще, описанным выше способом в память считывались 280 Мб в течении получаса, я считаю - это очень долго, поэтому и спрашиваю как можно этот процесс ускорить

[vvviperrr]

И еще, описанным выше способом в память считывались 280 Мб в течении получаса, я считаю - это очень долго, поэтому и спрашиваю как можно этот процесс ускорить

fin.read((char*)&main_arr[i],1);

тыж читаешь по одному байту. поэтому и медленно. а насчет filemapping - google. инфы предостаточно. или Джеффри Рихтер. Создание эффективных win32 приложений

[pu4koff]

Читать лучше согласно размеру кластера винта. Эдак по 4Кб или сколько у Вас там. По байту - жесть. Всё равно винт за раз прочитает целиком кластер, а не байт, а тут лишние обращения по кэшам идут.

[Molotoff]

Сообщение от pu4koff

Читать лучше согласно размеру кластера винта. Эдак по 4Кб или сколько у Вас там. По байту - жесть. Всё равно винт за раз прочитает целиком кластер, а не байт, а тут лишние обращения по кэшам идут.

вопрос - как это сделать? я в этом, так скажем, не очень шарю

[pu4koff]

Ну вероятно:

for (int i=0; i<n_func_p; i+=4096)
{
  fin.read((char*)&main_arr[i],4096);
  ...
}

и зачем Вам:
fin.seekg((i),ios::beg);
Каждую итерацию переходите туда, где уже находитесь. Какой в этом смысл?

[Molotoff]

Сообщение от pu4koff

Ну вероятно:

for (int i=0; i<n_func_p; i+=4096)
{
  fin.read((char*)&main_arr[i],4096);
  ...
}

и зачем Вам:
fin.seekg((i),ios::beg);
Каждую итерацию переходите туда, где уже находитесь. Какой в этом смысл?

проблема в том, что 4096 байт разом в переменную размером 1 байт не влезут