Как спарсить информацию в спойлере?

[danil031997]

Здравствуйте, у меня такая проблема:

1) Нужно спарсить информацию в спойлере, но пока не откроешь спойлер, то не спарсишь. (причем нужно спарсить все спойлеры на странице)

- Как я понимаю, чтобы спарсить, нужно открывать программно все спойлеры на странице, и парсить, но как открыть я беспонятия

Пример вот тут, оттуда нужно спарсить содержимое всех спойлеров.

вид содержимого спойлера что-то вроде:

<embed src="http://video.rutube.ru/321c98ea1b9d8604c9d2cc108414d0d7" type="application/x-shockwave-flash" wmode="window" allowfullscreen="true" height="450" width="600">

И было-бы не плохо сразу спарсенную информацию превращать в вид:

[spoiler=Тут название спойлера][center]Тут содержимое спойлера[/center][/spoiler]

[alextrof94]

Если информация грузится динамически по мере нажатия джава-скриптами - надо использовать TWebBrowser и оттуда брать текст уже после перехода на конкретную страницу и перещелкав все что надо.
Сам 2 недели назад бот один писал для сайта, иначе никак. TIdHttp не умеет работать с скриптами.
А как парсить - уже дело твое. В интернете куча способов, я же писал алгоритм на основе pos'ов.
Про сумму строк в дельфях и как к отпарсеной инфе пару слов добавить - промолчу.

[danil031997]

Сообщение от alextrof94

Если информация грузится динамически по мере нажатия джава-скриптами - надо использовать TWebBrowser и оттуда брать текст уже после перехода на конкретную страницу и перещелкав все что надо.
Сам 2 недели назад бот один писал для сайта, иначе никак. TIdHttp не умеет работать с скриптами.
А как парсить - уже дело твое. В интернете куча способов, я же писал алгоритм на основе pos'ов.
Про сумму строк в дельфях и как к отпарсеной инфе пару слов добавить - промолчу.

Спасибо за наводку

[Кольша]

alextrof94, отличный метод, для новичка самое то.
Берешь Thttpsend грузишь страницу, Tregexpr'ом парсишь все, что тебе угодно и откуда подгружается и куда, и зачем.

[alextrof94]

Сообщение от Кольша

alextrof94, отличный метод, для новичка самое то.
Берешь Thttpsend грузишь страницу, Tregexpr'ом парсишь все, что тебе угодно и откуда подгружается и куда, и зачем.

Я где то тут про js обновляемые страницы спрашивал и про то как с этим работать. BDA ответил, что tidhttp с js не работает, а вот через wb это осуществить легко и просто.

[Человек_Борща]

alextrof94, отличный метод, для новичка самое то.
Берешь Thttpsend грузишь страницу, Tregexpr'ом парсишь все, что тебе угодно и откуда подгружается и куда, и зачем.

C AJAX это не прокатит, даже в WB надо дергать соотв. js-функции. Сабж асинхронный, и пока юзер не раскроет тот же споилер, ничегошеньки "под споилером" просто не существует. Страница не перезагружается вся, а просто динамически дополняется с сервера. Очень удобно.

[alextrof94]

Сообщение от Человек_Борща

C AJAX это не прокатит, даже в WB надо дергать соотв. js-функции. Сабж асинхронный, и пока юзер не раскроет тот же споилер, ничегошеньки "под споилером" просто не существует. Страница не перезагружается вся, а просто динамически дополняется с сервера. Очень удобно.

Если посмотреть на предыдущий мой ответ, можно найти строку:
"Если информация грузится динамически по мере нажатия джава-скриптами - надо использовать TWebBrowser и оттуда брать текст уже после перехода на конкретную страницу и перещелкав все что надо."
Я имел ввиду программно выполнить щелчки по нужным "спойлерам".
UPD: Ой, сори, Человек_Борща, я увидел мое имя в начале и подумал мне адресовано =)

[Кольша]

Человек_Борща, почему же не прокатит? если url подгрузки можно спарсить, то можно.

[Человек_Борща]

если url подгрузки можно спарсить, то можно.

Его может и не быть вовсе, не то уже время когда нужны прямые ссылки, да и упакованный JS очень сложен в разборе тем более в понимании.

Я имел ввиду программно выполнить щелчки по нужным "спойлерам".

Даже если получится, то надо как-то оповещать браузер об этом, стандартных событий он не имеет.

[NEoMASTERR]

А можно просто разобрать все скрипты, подумать, и сообразить с idhttp