|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
10.08.2015, 15:19 | #1 |
Новичок
Джуниор
Регистрация: 10.08.2015
Сообщений: 1
|
Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс
Здравствуйте!
Задача: 1. Заходить на сайты с нужными мне БД (количество от 1-2 до 1-2 десятков), на страницы с многостраничным списком. Из данного списка (динамическая выдача) уметь открывать по гиперссылкам конечные страницы. В них находить и нажимать нужную кнопку скачать файл, в диалоговом окне веб-интерфейса выбирать нужные параметры файла (нужный формат файла и т.п.) нажимать кнопку скачать данные. Периодичность - 1 раз в сутки. Количество конечных страниц и скачиваний файлов от нескольких тысяч до нескольких десятков тысяч. 2. Полученные данные записывать в БД. 3. Проводить обработку и аналитику 4. Следующим этапом Ходить по сайтам с текстовой, в основном новостной информацией, ходить по архивам публикаций, новостей, анонсов, анализировать текстовую и графическую информацию, сохранять в БД только нужную информацию, 9не качать в локальные БД всю выборку, а только результаты свобственной аналитики), увязывать результаты 2й работы с результатами первой работы. Периодичность - 1 раз в сутки. Количество конечных страниц, аналитических действий и скачиваний от нескольких десятков до нескольких тысяч. 5. Выдавать аналитику, строить графики из собранной БД. 6. В таком режиме (наблюдения и аналитики) комплекс проработает 0,5-1 год, и результаты меня могут устраивать локальные в любых локальных формах. 7. В перспективе, когда аналитика будет достаточная, выводить комплекс в веб интерфейс, чтобы аналитикой можно было пользоваться публично и непублично через веб. Подскажите пож-та, для реализации данной задачи, какие языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего. Изучать всё придется с нуля. Да. Еще желательна поддержка модульности, чтобы в будущем отдельные модули, например, работа с графикой, работа с вебом, модуль парсинга можно было реализовывать силами привлеченных сторонних программистов. Заранее Вас благодарю за советы! |
10.08.2015, 16:02 | #2 |
Белик Виталий :)
Старожил
Регистрация: 23.07.2007
Сообщений: 57,097
|
ИМХО любой язык. Я бы наверное взял скриптовый типа Питона или ПХП. Но в общем и на Делфи или Си тоже написать такое не проблема.
I'm learning to live...
|
Опции темы | Поиск в этой теме |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Веб интерфейс для свича | Stalin45 | Помощь студентам | 1 | 04.07.2013 16:05 |
веб-интерфейс к базе данных | kury | Фриланс | 1 | 22.04.2013 16:58 |
вывод переменных в Веб интерфейс | Karmadon | Общие вопросы C/C++ | 8 | 12.03.2012 11:39 |
Требуется программист для языка Perl и Parser3, серьезная работа | SnakeSG | Фриланс | 1 | 07.09.2010 13:39 |