Требуется программист - разработка краулера - Фриланс

8axa · 19.04.2010, 16:16

Требуется программист, срочно!

Задача - написание поискового краулера (веб) с определенным набором функций.

Читаем приблизительное ТЗ ниже, и если - "да", то стучим в асю 440-666-303, заранее подготовив предложения по цене и срокам.

ТЗ.

Требуется программа которая будет собирать, проверять на доступность, и заносить в базу ссылки со страниц сайта.

Описание работу краулера.

1. Пользователь дает программе URL или список урлов - пример -> http://*.site.ru, где * - поддомен. Или http://*.site.ru/раздел/# - где # - диапазон страниц (1-20, например). Так же будут страницы в динамике, скорее всего php.
2. Программа собирает все ссылки по заданной маске.
3. Переходит по каждой ссылке удовлетворяющей маске.
4. В зависимости от результата перехода помещает ссылку в нужный раздел. Например - not_found, timeout, и тд.
5. Выводит результаты в удобоваримой форме, напрмиер лист Excel.

PS - возможно, первоначальный функционал немного расширится.

Всем откликнувшимся заранее спасибо. О результатах отбора сообщу в этой ветке.

AlDelta · 19.04.2010, 16:53

Отписался...

motorway · 19.04.2010, 20:12

Написал вам

Neobrat · 19.04.2010, 21:09

ребят, меня проект не интересует, вот заинтересовал только одним моментом.

вот url http://*.site.ru
как узнать его все имееющиеся поддоменны!?
первая мысль это пробежать по поисковикам например погуглить
но блин inurl:*.site.ru даст хреново тучу адресов которые не обязаны принадлежать site.ru.
Да и при том могут имееться не индексируемые полностью поддоменны.
т.е. некоторые можем потерять.
Whois не дает такой информации.
Тупым перебором не взять.. это же сколько можно потратить время бестолку если домен не содержит под доменны..

Так каким образом узнать все существующие поддоменны определеного домена?

xNut · 20.04.2010, 10:12

Цитата:

Сообщение от Neobrat

Так каким образом узнать все существующие поддоменны определеного домена?

Вы правы, тут автор зря обнадёживается
А все остальное вполне выполнимо
Стучите в ICQ, могу сделать

8axa · 20.04.2010, 11:36

Господа программисты!

Несколько уточнений.
1. Нужна программа (.exe), скрипты, готовые или свеженаписанные не предлагать!
2. Стучитесь или высказывайтесь в топике по делу, не нужно стучать в асю и задавать "еврейские" вопросы.
3. Есть бесплатное приложение - XENU. Не поленитесь, скачайте и разберитесь в ТЗ.

Задавайте вопросы, я с удовольствием на них отвечу здесь или в асе, но - ПО ДЕЛУ!

8axa · 20.04.2010, 11:44

Цитата:

Сообщение от Neobrat

ребят, меня проект не интересует, вот заинтересовал только одним моментом.

вот url http://*.site.ru
как узнать его все имееющиеся поддоменны!?
первая мысль это пробежать по поисковикам например погуглить
но блин inurl:*.site.ru даст хреново тучу адресов которые не обязаны принадлежать site.ru.
Да и при том могут имееться не индексируемые полностью поддоменны.
т.е. некоторые можем потерять.
Whois не дает такой информации.
Тупым перебором не взять.. это же сколько можно потратить время бестолку если домен не содержит под доменны..

Так каким образом узнать все существующие поддоменны определеного домена?

В данном случае ничего не нужно искать и гуглить.
Задача программы - проследовать по всем ссылкам уже имеющимся на странице, и попадающих под опредленную маску (*.site.ru).

19.04.2010, 16:16	#1
8axa Новичок Джуниор Регистрация: 19.04.2010 Сообщений: 0	Требуется программист - разработка краулера Требуется программист, срочно! Задача - написание поискового краулера (веб) с определенным набором функций. Читаем приблизительное ТЗ ниже, и если - "да", то стучим в асю 440-666-303, заранее подготовив предложения по цене и срокам. ТЗ. Требуется программа которая будет собирать, проверять на доступность, и заносить в базу ссылки со страниц сайта. Описание работу краулера. 1. Пользователь дает программе URL или список урлов - пример -> http://.site.ru, где - поддомен. Или http://*.site.ru/раздел/# - где # - диапазон страниц (1-20, например). Так же будут страницы в динамике, скорее всего php. 2. Программа собирает все ссылки по заданной маске. 3. Переходит по каждой ссылке удовлетворяющей маске. 4. В зависимости от результата перехода помещает ссылку в нужный раздел. Например - not_found, timeout, и тд. 5. Выводит результаты в удобоваримой форме, напрмиер лист Excel. PS - возможно, первоначальный функционал немного расширится. Всем откликнувшимся заранее спасибо. О результатах отбора сообщу в этой ветке.

19.04.2010, 16:53	#2
AlDelta Реанимируюсь... Участник клуба Регистрация: 19.07.2007 Сообщений: 1,445	Отписался... Пишите код так, как будто сопровождать его будет склонный к насилию психопат, который знает, где вы живёте. Правила форума => Правила раздела => Для общего развития => Помощь студентам => Перед тем, как создавать тему, скачайте себе... P.S.: форум не песочница (с) название статьи на сайте MS: "Отмена принудительного отключения автоматического запуска в реестре Windows"

19.04.2010, 20:12	#3
motorway Участник клуба Регистрация: 28.06.2009 Сообщений: 1,950	Написал вам Скрипты PHP, VBA. Skype:ktmtramway Расписание электричек Быстрый проверенный хостинг.

19.04.2010, 21:09	#4
Neobrat Форумчанин Регистрация: 10.12.2007 Сообщений: 124	ребят, меня проект не интересует, вот заинтересовал только одним моментом. вот url http://.site.ru как узнать его все имееющиеся поддоменны!? первая мысль это пробежать по поисковикам например погуглить но блин inurl:.site.ru даст хреново тучу адресов которые не обязаны принадлежать site.ru. Да и при том могут имееться не индексируемые полностью поддоменны. т.е. некоторые можем потерять. Whois не дает такой информации. Тупым перебором не взять.. это же сколько можно потратить время бестолку если домен не содержит под доменны.. Так каким образом узнать все существующие поддоменны определеного домена? Русский язык не мой конёк

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Требуется разработка программы для автоматической подачи объявлений на сайты.	fine09	Фриланс	4	25.10.2013 16:02
Требуется разработка ПО	99ml	Фриланс	6	20.02.2010 21:02

20.04.2010, 11:36	#6
8axa Новичок Джуниор Регистрация: 19.04.2010 Сообщений: 0	Господа программисты! Несколько уточнений. 1. Нужна программа (.exe), скрипты, готовые или свеженаписанные не предлагать! 2. Стучитесь или высказывайтесь в топике по делу, не нужно стучать в асю и задавать "еврейские" вопросы. 3. Есть бесплатное приложение - XENU. Не поленитесь, скачайте и разберитесь в ТЗ. Задавайте вопросы, я с удовольствием на них отвечу здесь или в асе, но - ПО ДЕЛУ!