Собираем советы, как сделать поиск по многим источникам не лету

[ser-progr]

Нам необходимо сделать движок для получения данных из разных источников (всего - порядка 100-150, одновременно в одном запросе 20-50 источников), данные поставляются XML - шлюзами, + по некоторым источникам парсинг html
Т.е. нашему юзеру выдается поисковая формы, он задает поисковые параметры, мы смотрим, по параметрам, кто из поставщиков может дать нам по ним информацию, отправляем соответствующие запросы к поставщикам, получаем ответ, выводим в отсортированном виде (от поставщиков получаем в том же порядке сортировки). Поставщики отдают информацию по-странично.
Источники отдают информацию по разному. Самый быстрый 1-2 сек, самый медленный может и до минуты..

Собственно вопрос, как бы вы сделали такой движок?

Одна идея пока: установить таймаут, скажем 20 сек и если кто-то отдал информацию в этот период уже вывести ее клиенту, а остатки подгружать в "фоне", и когда будут получены данные по всем источникам, выдать сообщение клиенту, что получены еще данные, не желаете ли обновить результат, и если желает, то перестроить страницу выдачи.

Где хранить полученный результат? В памяти? В базе (может есть какие-либо особые базы наиболее удобные для таких случаев вместо MS SQL)?
На что стоит обратить внимание?
Где наиболее тонкие места могут быть?
Есть ли необходимость, возможность разделять между серверами задачи?
Как и чем кешировать данные?
Если делали такое, расскажите о совем опыте?

А может существуют готовые оперсоурсные или коммерческие движки, которые все это решают?

Буду благодарен за любую помощь.