|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
06.06.2011, 10:57 | #1 |
Новичок
Джуниор
Регистрация: 06.06.2011
Сообщений: 1
|
Собираем советы, как сделать поиск по многим источникам не лету
Нам необходимо сделать движок для получения данных из разных источников (всего - порядка 100-150, одновременно в одном запросе 20-50 источников), данные поставляются XML - шлюзами, + по некоторым источникам парсинг html
Т.е. нашему юзеру выдается поисковая формы, он задает поисковые параметры, мы смотрим, по параметрам, кто из поставщиков может дать нам по ним информацию, отправляем соответствующие запросы к поставщикам, получаем ответ, выводим в отсортированном виде (от поставщиков получаем в том же порядке сортировки). Поставщики отдают информацию по-странично. Источники отдают информацию по разному. Самый быстрый 1-2 сек, самый медленный может и до минуты.. Собственно вопрос, как бы вы сделали такой движок? Одна идея пока: установить таймаут, скажем 20 сек и если кто-то отдал информацию в этот период уже вывести ее клиенту, а остатки подгружать в "фоне", и когда будут получены данные по всем источникам, выдать сообщение клиенту, что получены еще данные, не желаете ли обновить результат, и если желает, то перестроить страницу выдачи. Где хранить полученный результат? В памяти? В базе (может есть какие-либо особые базы наиболее удобные для таких случаев вместо MS SQL)? На что стоит обратить внимание? Где наиболее тонкие места могут быть? Есть ли необходимость, возможность разделять между серверами задачи? Как и чем кешировать данные? Если делали такое, расскажите о совем опыте? А может существуют готовые оперсоурсные или коммерческие движки, которые все это решают? Буду благодарен за любую помощь. |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Как сделать поиск по реестру | Lotu | C++ Builder | 0 | 27.02.2011 15:09 |
как сделать поиск в excel? | zolo | Microsoft Office Excel | 9 | 23.02.2011 16:21 |
пишу текстовик. как открыть файл на лету? | Deceased | Общие вопросы Delphi | 17 | 08.03.2009 16:21 |
Как сделать поиск по компу на делфи | gred | Помощь студентам | 6 | 21.04.2008 22:51 |
Как сделать поиск по компоненту Tmemo?? | photozaz | Общие вопросы Delphi | 4 | 16.04.2008 08:23 |