|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
22.07.2011, 09:25 | #1 |
Участник клуба
Регистрация: 21.11.2007
Сообщений: 1,690
|
php sitemap fsockopen
Вот взялся за написание нескольких сервисов, одним из которых является сервис для построения sitemap.(включил почти все, даже можно видеофайлы при желании добавлять в sitemap)
Но столкнулся с проблемой проверки существования страницы. Например мы соединяемся по сокету с сервером PHP код:
Но если страницы не существует, то соединение конечно же получится и прочитаем мы 404 страницу от сервера. В хидерах пришедших от сервака ничего указывающего на ошибку не откопать, остается только делать hash(md5 например) и исключать страницы с одинаковыми хешами. Но проблема резко выражена при проверке тяжелых файлов(pdf, doc, картинки и видео) Ведь их выгружать тяжеловесно... ___________________ О, вроде пришло решение пока писал... если мы грузим какие либо форматы(jpeg,pdf), то читать только хидер и проверять Content-Type Попробую на досуге, но и не откажусь от предложений по исключению не валидных url... |
22.07.2011, 09:43 | #2 | |
Старожил
Регистрация: 09.09.2008
Сообщений: 2,624
|
Цитата:
Стрелок-охотник
|
|
22.07.2011, 11:20 | #3 |
Участник клуба
Регистрация: 21.11.2007
Сообщений: 1,690
|
по запросу:
http://flora-tomsk.ru/pictures/news/pre_1302512805.jpg3 получил: Array ( [server] => nginx/0.7.65 [date] => Fri, 22 Jul 2011 07:15:07 GMT [content-type] => text/html; charset=iso-8859-1 [connection] => close [vary] => Accept-Encoding [content-length] => 231 ) а по: http://flora-tomsk.ru/pictures/news/pre_1302512805.jpg получил: Array ( [server] => nginx/0.7.65 [date] => Fri, 22 Jul 2011 07:18:43 GMT [content-type] => image/jpeg [connection] => close [last-modified] => Tue, 12 Apr 2011 05:35:04 GMT [etag] => "29e3c0b-81d-4a0b20ddc3200" [accept-ranges] => bytes [content-length] => 2077 [cache-control] => max-age=2592000 [expires] => Sun, 21 Aug 2011 07:18:43 GMT [content-language] => ru ) |
22.07.2011, 11:36 | #4 | |
Старожил
Регистрация: 09.09.2008
Сообщений: 2,624
|
PHP код:
Цитата:
Стрелок-охотник
|
|
22.07.2011, 11:39 | #5 | |
Старожил
Регистрация: 03.01.2011
Сообщений: 2,508
|
> В хидерах пришедших от сервака ничего указывающего на ошибку не откопать
ответ 404 от сервера выглядит так: Цитата:
> остается только делать hash ага, и менять его каждый раз, когда одмин сайта меняет кастомную страничку 404
"Когда приходит положенное время, человек перестаёт играть в пинбол. Только и всего."
|
|
22.07.2011, 11:49 | #6 |
Участник клуба
Регистрация: 21.11.2007
Сообщений: 1,690
|
Всем спасибо! Помогли.
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Sitemap | feesta | Помощь студентам | 0 | 21.04.2011 23:14 |
PHP fsockopen | Alekcandr | PHP | 7 | 07.08.2009 11:40 |
Сканер(редактор) SITEMAP.XML | Виталий Серов | Софт | 11 | 25.05.2009 00:09 |
fsockopen - одновременное использывание | krok | PHP | 1 | 08.04.2009 22:41 |