Придел размера массива

[Jleksern]

Здравствуйте.
Интересует такие события.

Есть скрипт, который циклом из текстового файла закидывает строки данных в MySQL.

К примеру если текстовый файл весит 20-30 мегабайт то нормально, скрипт справится без сюрпризов.

Если к примеру 800 мегабайт файл который будет обрабатывать скриптом, скрипт не сможет обработать такой огромный массив данных и парой бывали моменты когда компьютер зависал.

Собственно , как рассчитать или по каким показателям настройки PHP стоит улучшить для того чтоб скрипт смог обрабатывать более массивные файлы.

[Streletz]

Если к примеру 800 мегабайт файл который будет обрабатывать скриптом, скрипт не сможет обработать такой огромный массив данных и парой бывали моменты когда компьютер зависал/

ИМХО это зависит не от настроек PHP, а от возможностей ПК. Судя по всему ему просто не хватает памяти для того, чтобы обработать такой объём информации. Согласитесь, что 800 МБ для текстовика, это как-то многовато будет.
Кстати, простите за любопытство, но зачем такие большие файлы? Большие объёмы данных гораздо удобнее хранить в БД. Не говоря уже о том, насколько с помощью СУБД их быстрее и удобнее обрабатывать.

[Jleksern]

Сообщение от Streletz

ИМХО это зависит не от настроек PHP, а от возможностей ПК. Судя по всему ему просто не хватает памяти для того, чтобы обработать такой объём информации. Согласитесь, что 800 МБ для текстовика, это как-то многовато будет.
Кстати, простите за любопытство, но зачем такие большие файлы? Большие объёмы данных гораздо удобнее хранить в БД. Не говоря уже о том, насколько с помощью СУБД их быстрее и удобнее обрабатывать.

Ну совершенно верно, я в БД и загружаю данный массив для более комфортной работы с данным массивом.

Ну комп в общем не слишком мощный по потребностям сегодняшнего дня, 2Гб озу.
Однако, я так понимаю, что когда PHP открывает файл, он пытается прочитать сам файл целеком, а лишь потом обрабатывает.
Возможно кто-то придумал другую процедуру, к примеру чтоб PHP сразу брал данные из 1,2,3,4... строки, не загружая полностью весь файл в оперативную память)

[Streletz]

Сообщение от Jleksern

Ну комп в общем не слишком мощный по потребностям сегодняшнего дня, 2Гб озу.

О чём и речь. Ни много ни мало, 40% всей установленной оперативки.
А, если учесть, что в реальности имеется 2 ГБ - система -программы (включая web-сервер с php), то объём свободной оперативки оказывается гораздо скромнее.

Сообщение от Jleksern

Однако, я так понимаю, что когда PHP открывает файл, он пытается прочитать сам файл целеком, а лишь потом обрабатывает.

Смотря как открывать файл.
В помощь:
Загрузка фрагмента файла

[vasiatka]

А зачем вы открываете весь файл?
Читайте файл в цикле блоками с кажем по 100 строк, или элементов... не знаю как у вас файл организован.
Далее формируете запрос и вставляете эти 100 строк в базу.
Далее процесс повторяется. Число 100 взято от балды.
При этом в памяти скрипта всегда будет только 100 строк, а не весь файл