Разделение строк

[Jleksern]

Сообщение от grominfo

Такие объёмы нужно хранить в базе данных. Это же сколько нужно оперативки, чтобы выгрузить этот файл.

На оборот, Я загружаю туда, десятки миллионов данных.
Как не странно мои 2 гига озу (ОС Ubuntu) полностью хватает.
Недавно нужно было файл в 300 мегов почистить от дублей и 2 гига озу оказалось мало, и 16 озу тоже.
Кинул эту затею и решил обойтись иначе.

Собственно немного статистики, которая меня не порадовала.
Вариант 1 с

PHP код:

$arr1=explode(':',$file1); // a | b | c | d;i;f;g;h
$arr2=explode(';',array_pop($arr1));
$arr3=array_merge($arr1, $arr2);
print_r($arr3); 


Средняя скорость запросов - 1000/ 27.17 (запросов/сек)
и почему-то в чистой бд взялось место 1000 записей, взялось почти 5 тыс.

Вариант 2 с

PHP код:

$r = explode(":" ,$r);
$r = implode(";" ,$r);
$r = explode(";" ,$r); 


Средняя скорость запросов - 1000/ 20.46 (запрос/сек)
И тут почему-то взялось в место 1000 отправленных запросов, аж 2092

Мой фулл скрипт.

PHP код:

<?php
$start = microtime(true);
$mysqli = new mysqli("localhost", "root", "JleksernMaxFax21Su", "password");
ini_set('memory_limit', '1999M');
ini_set('max_execution_time', '999999');
$filename = 'log.txt';
$i=0;
$error = 0;
$file1 = file('norm_vid.txt');

foreach($file1 as &$r){

$r = explode(":" ,$r);
$r = implode(";" ,$r);
$r = explode(";" ,$r);  
 
  
    $a = "INSERT INTO email (mail, pass) VALUES ('{$r['0']}','{$r['1']}'); ";
    $handle = fopen($filename, 'a');
    if ($mysqli->query($a)) {
        $i++;
    }  else 
    {
        fwrite($handle, $a);
        $error++;
    }
  }


$mysqli->close();
echo "Всего запрособ обработано - $i<br />";
echo "Ошибок в запросе - $error<br />";
if ($error > 0) {
echo " (сохранено в файл $filename)<br /> ";
}
$time = microtime(true) - $start;
printf("Средняя скорость запросов -  $i/  %.2F (запрос/сек) <br>", $time);
printf('Всё время выполнения - %.2F сек.<br />', $time);

?>

Ниже сам файл

[Mortimoro]

Попробуй амперсанд убрать:

PHP код:

foreach($file1 as $r){ 


И можно сократить время выполнения скрипта, если не открывать log.txt при каждой итерации, даже если ничего в него не пишешь. А если формировать в INSERT по 100 записей, то еще и число обращений к БД уменьшится.