нужно оптимизировать код

[adwaer]

Вобщем нужно вывести в из базы количество посещений страниц.
В названиях страниц в таблице не должны присутствовать передаваемые методом GET переменные. Например,
/folder/page.php?DNSID=fd44892a0f4d1cb7cc29 61baf511aea5
и
/folder/page.php?var=50&DNSID=a91373ce49306 662d9636e9e57ef6c01
- это одна и та же страница, в таблице она должна быть представлена как /folder/page.php

в базе хранится лог файл сервера апач. в виде:
id host date files serv_req traf
1 83.69.119.43 2005-12-25 / 200 17980
2 83.69.119.43 2005-12-25 /design/main.css 200 8795
....
41 213.180.217.8 2005-12-25 /contest/view.php?DNSID=0eb6ee75 ..

В базе порядка 27000 строк, поэтому время загрузки это большая проблема. Может кто подсказать метод удачней моих алгоритмов? А то страница грузится дольше 30 сек.. а еще даже не все реализовано..

<?php
$db = mysql_connect ("localhost","admin","1234");
	mysql_select_db("tests",$db);
		
	$files = mysql_query("SELECT id, files
						FROM log",$db);	

	$row = mysql_fetch_array($files);
	do
	{	
		$page='empty';$k=0;
		while($k < strlen($row['files']))
		{
			if($row['files'][$k]=='.')
			{
				//проверка: нет ли параметров типа 'GET'
				if($k+4 < strlen($row['files']) && $row['files'][$k+4]=='?')
				{
					$page = substr($row['files'],0,$k+3);
				}
				else
				{
					$type = substr($row['files'],$k+1,5);
					if($type='php' || $type='html' || $type='/' || $type='htm' || $type='shtm' || $type='shtml' || $type='php3' || $type='phtml' || $type='phtm' || $type='txt')
					{
						$page = substr($row['files'],0,strlen($row['files']));
					}
				}
				$k++;
				//если не найдено расширение файла, следовательно это '/'
				if($k==strlen($row['files']) && $page=='empty')
				{
					$page = substr($row['files'],0,strlen($row['files']));
				}
				echo "$page<br>";
			}
		}	
	}
	while($row = mysql_fetch_array($files));
?>

[ADSoft]

чет недопонимаю.... сами говорите что в бд УЖЕ хранится лог апача.... и тут же - что там не должны быть записи такого типа (с параметрами)...

может вам из существующей бд просто выборку сделать с условиями?

этот запрос не сработает но мысль донесет - выборка по левой части строки и группировка.. я думаю в мускуле есть такие возможности

SELECT id, file from log group by left(file)

[adwaer]

Лог апача уже хранится, имеется ввиду, что записи с параметрами типа GET должны выводиться в результат без параметров.

может вам из существующей бд просто выборку сделать с условиями?

Вопрос в том с какими уловиями?

Код:
SELECT id, file from log group by left(file)

А вот это очень отличная идея, большое спасибо. Время загрузки сократится на много.
Но все равно, этого не достаточно, нужно сократить время загрузки. В выборке останется где то 10000 строк, заносить такое в массив тоже не из быстрых действий..
нужно придумать какое то условие что ли.. или алгоритм сделать по короче..

[Johnatan]

$files = mysql_query("SELECT id, SUBSTRING_INDEX(`file`, '?', 1) file FROM log", $db);

Данная выборка 27000 строк занимает чуть более секунды. Я так и не понял что именно автор хочет сделать с 27000 строк ОДНОВРЕМЕННО. Может всё-таки разбить сие хозяйство на отдельные страницы? И выводить по 100 строк, например.
27000 строк занимают около 2.5Мб в чистом виде. Вы это всё читать собрались? Зачем вывод на экран? Какова вообще идея данного скрипта?

Кстати, скрипт автора неработоспособен. Он зацикливается на обработке первой же строчки. Использование while необдуманно может быть очень опасно.

[adwaer]

Оо вообще круто! Я даже не знал такой функции.. Спасибо!
Из этих строк будет делать отчёт о наиболее посещаемых страницах.
Код терь такой, работает очень даже ничего:

<?php
$db = mysql_connect ("localhost","admin","1234");
mysql_select_db("tests",$db);

$files = mysql_query("SELECT id, SUBSTRING_INDEX(`files`, '?', 1) files FROM log",$db);

$row = mysql_fetch_assoc($files);
while($row = mysql_fetch_assoc($files))
{
if(($qpos = strpos($row['files'], '?')) === false) {
$url = $row['files'];
} else {
$url = substr($row['files'], 0, $qpos);
}
echo $url . '<br />';
}
?>

[ADSoft]

тут же он все строки выдаст?

$files = mysql_query("SELECT id, SUBSTRING_INDEX(`files`, '?', 1) files FROM log",$db);

а может группировку ввести по страницам и кол-во еще подсчитывать? типа

$files = mysql_query("SELECT id, count(id), SUBSTRING_INDEX(`files`, '?', 1) files FROM log group by SUBSTRING_INDEX(`files`, '?', 1)",$db);

[VY_CMa]

Используйте системы кеширования на сервере, APC + nginx, далее кеширование самих скриптов, вырвите функции из phpbb форума

[Johnatan]

Я бы настоятельно советовал делать "обрезание" строки с путём во время ДОБАВЛЕНИЯ в базу, то есть во время парсинга логов апача.
А ещё лучше сделать таблицу статистики посещений типа "id, path, count" - и обновлять её во время парсинга логов апача. Таким образом скорость обращения к такой странице будет мгновенной, а основная нагрузка будет приходиться на момент парсинга (минус тут в том, что статистика получается "отложенной", а не в реальном времени).

[adwaer]

Спасибо всем, сделал неожиданно просто, одним sql-запросом =)

<?php
$db = mysql_connect ("localhost","admin","1234");
mysql_select_db("tests",$db);

$rezult = mysql_query("SELECT SUBSTRING_INDEX( `files` , '?', 1 ) AS files, COUNT(host) AS c
FROM log
WHERE SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.htm' OR
SUBSTRING_INDEX( `files` , '?', 1 ) = '/' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%/' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.html' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.shtml' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.shtm' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.php' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.php3' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.phtm' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.phtml' OR
SUBSTRING_INDEX( `files` , '?', 1 ) LIKE '%.txt'
GROUP BY files
ORDER BY c DESC
LIMIT 10",$db);
$row = mysql_fetch_assoc($rezult);
$i=1;
do
{
printf("
<tr class='table'>
<td>%s</td>
<td>%s</td>
<td>%s</td>
</tr>
", $i, $row['files'], $row['c']);
$i++;

}
while($row = mysql_fetch_assoc($rezult));
?>

[Johnatan]

Какая-то дурацкая привычка в последнее время появилась. Делать вот так:
$row = mysql_fetch_assoc($rezult);
do
{...}
while($row = mysql_fetch_assoc($rezult));
Оптимизировать код и делать вот так - это как ехать на полной скорости на Порше с ручником.