Получение информации с сайта

[Lorden]

Доброго времени суток уважаемые форумчане!
Возникла следующая задача:
На сайте в режиме реального времени рисуется график с помощью зеленого и красного прямоугольника(рис 1.)


Мне необходимо посчитать сколько за последний час было красных элементов на графике и сколько зеленых график как я понимаю выводится на java

Буду благодарен за любой совет в какую область копать!
Спасибо!

[Krasiosoft]

Открывать сайт с помощью компонента браузера и распознавать изображение с него, думаю не вариант, хотя тоже можно. Правильнее будет посмотреть, как и какие данные получает JS и самому такие же запросы кидать, чтоб получать эти данные, по которым можно будет самому построить этот же график. Чтоб узнать как JS получает данные, можно использовать, например, Fiddler.

[Lorden]

Решил обрабатывать html страницу и уже потом самому строить график, но возникла проблема, при вытаскивании html кода с сайта не выводятся параметры внутри блоков div, в блоке div параметры являются динамическими и обновляются каждую секунду.
HTML Код который должен быть:

<div class="market-summary-quote-ticker quote-ticker-inited" data-symbol="FX:EURUSD">
    <a href="/chart/EURUSD/" class="chart-link inited" data-symbol="FX:EURUSD">
        <div class="symbol-name">EURUSD</div>
        <div class="symbol-tiker symbol-change-direction symbol-last up">1.10933</div>
    </a>
</div>

А это html код который обображается в моей программе:

                                <div class="market-summary-quote-ticker" data-symbol="FX:EURUSD">
    <a href="/chart/EURUSD/" class="chart-link" data-symbol="FX:EURUSD">
        <div class="symbol-name">EURUSD</div>
        <div class="symbol-tiker symbol-change-direction symbol-last"></div>
    </a>
</div>

HTML код с сайта вытаскиваю в компонент Memo1 с помощью кода:

Memo1.Lines.Clear;
if not HttpGetText(Edit1.Text, Memo1.Lines) then
    ShowMessage('Что то пошло не так.');

Народ подскажите как мне лучше действовать в данной ситуации?

[Krasiosoft]

Скорее всего, их должен заполнять JavaScript. С помощью чего Вы получаете html код страницы? Скачиваются ли при этом все JavaScript'ы и выполняются ли они?

[Lorden]

Сообщение от Krasiosoft

Скорее всего, их должен заполнять JavaScript. С помощью чего Вы получаете html код страницы? Скачиваются ли при этом все JavaScript'ы и выполняются ли они?

HTML получаю с помощью кода

HttpGetText(Edit1.Text, Memo1.Lines)

java как я понимаю не скачивается и невыполняется. Как возможно реализовать это выполнение? На данный момент смотрю в сторону компонента Chromium, чтобы в него изначально загрузить Web страницу и потом из него уже тянуть Html код.

И еще такой вопрос: В Chromium все сайты грузит нормально, но при попытке загрузить сайт который мне нужно моя программа закрывается с ошибкой:

[vipok72]

WebBrowser выполняет js коряво, idHTTP вообще не выполняет, в вот Chromium выполняет идеально, вот ссылка на инфу которая щас вообще существует по этому компоненту (документации нет) тык, там есть то, что тебе нужно... но... проблема... к сожалению исходный код тебе получится вытащить только один раз сразу после загрузки страницы, сам вот с этим компонентом мучаюсь, есть плюсы, есть минусы....((
Наверн придется постоянно перезагружать страницу... выбора нет, либо изучить js код... данные же не из воздуха берутся правильно? просто брать эти самые данные из первых рук а не копируя со страницы можно

Насчет ошибки при загрузке вашего сайта: конечно есть мысль что из-за того что https, но этот компонент умеет с защищенным соединением работать 100%, возможно пишете неправильно url, и еще попробуйте у компонента поставить в свойстве DefaultUrl ваш сайт) посмотрите результат

[Lorden]

Сообщение от vipok72

WebBrowser выполняет js коряво, idHTTP вообще не выполняет, в вот Chromium выполняет идеально, вот ссылка на инфу которая щас вообще существует по этому компоненту (документации нет) тык, там есть то, что тебе нужно... но... проблема... к сожалению исходный код тебе получится вытащить только один раз сразу после загрузки страницы, сам вот с этим компонентом мучаюсь, есть плюсы, есть минусы....((
Наверн придется постоянно перезагружать страницу... выбора нет, либо изучить js код... данные же не из воздуха берутся правильно? просто брать эти самые данные из первых рук а не копируя со страницы можно

Насчет ошибки при загрузке вашего сайта: конечно есть мысль что из-за того что https, но этот компонент умеет с защищенным соединением работать 100%, возможно пишете неправильно url, и еще попробуйте у компонента поставить в свойстве DefaultUrl ваш сайт) посмотрите результат

Спасибо за ответ! Сейчас почитаю информацию.
По поводу ошибке- url введен верно и сайт начинает грузится и даже появляется эмблема сайта но через секунд 5 происходит зависание и закрытие программы.

[vipok72]

Сообщение от Lorden

Спасибо за ответ! Сейчас почитаю информацию.
По поводу ошибке- url введен верно и сайт начинает грузится и даже появляется эмблема сайта но через секунд 5 происходит зависание и закрытие программы.

Видимо какой то нехороший js код выполняется, попробуйте отключить выполнение js в тех же свойствах Chromium и посмотреть результат

[Lorden]

Сообщение от vipok72

Видимо какой то нехороший js код выполняется, попробуйте отключить выполнение js в тех же свойствах Chromium и посмотреть результат

При отключении JS HTML сайта выводится в Memo1 но в Chromium чисто белый экран

[Lorden]

При нажатии на компонент Chromium правой кнопкой выпадает список

Back
Forward
--------------
Print
View source

Вот View source вытаскивает исходный код страницы включая динамически обновляющиеся переменные и записывает этот html в WordPad.
Как раз задача которую мне и необходимо решить, только вот возникает проблема, при нажатии на кнопку в которой находится код:

Chromium1.Browser.MainFrame.ViewSource

выдает ошибку: