Поймать конец веб страницы

[BecomeBetter]

Задача: получить код определенной веб страницы, выполнить поиск фразы в полученном коде.
Проблема: как определить, что страница загружена до конца?
Использую компонент WebBrowser. Подписываюсь на событие DocumentCompleted, но, к примеру, при загрузке страниц с динамической загрузкой контента это событие может произойти несколько раз.

public partial class Form1 : Form
    {
        WebBrowser wb = new WebBrowser();    
        
        public Form1()
        {
            InitializeComponent();
            wb.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(wb_DocumentCompleted); 
//Подписываюсь на событие завершения загрузки
        }
    
        private void button1_Click(object sender, EventArgs e)
        {
            wb.Navigate("https://www.site.net/");
        }

        void wb_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
//Обработка события завершения загрузки страницы
        {
            richTextBox1.AppendText(e.Url.AbsoluteUri.ToString() + Environment.NewLine);
//Показать ресурс, который закончил загружаться
            richTextBox1.AppendText(e.Url.PathAndQuery.ToString() + Environment.NewLine);
            richTextBox1.AppendText("----------------" + Environment.NewLine);

            if ()//Здесь должна быть проверка на то, что событие DocumentCompleted и есть последнее
            {
                return;//Загрузка не закончена, 
            }
            else
            {//загрузка страницы завершена, приступаем к анализу
                HtmlElementCollection links = wb.Document.Links; //Получаем все ссылки
                foreach (HtmlElement link in links)             //Переносим ссылки в Листбокс
                   { listBox1.Items.Add(link.OuterText + "---" + link.OuterHtml); }
                richTextBox1.AppendText(CountOfSubstring("Искомая фраза").ToString()); 
//Ищем искомую фразу, получаем ко-во, записываем в Ричбокс
            }            
        }
...
  }

[Stilet]

Я тебе больше скажу: Динамически контент может подгружаться при работе с страницей. Или вообще в таймере. Так что я бы не гнался за выяснением окончания загрузки.

[BecomeBetter]

Да. Согласен. Тогда конкретизирую. Есть сайт, который, как вы сказали, периодически (каждые 5-10 мину) обновляет (подгружает) контент. При загрузкие страницы сего сайта, мне необходимо получить полный код страницы с первой порцией динамически подгруженного контента. То есть я хочу поймать момент, когда сайт при первом запросе подгрузит все свои части.

Хотя меня здесь возникла мысль... Возможно, как-нибудь обрабатывать отдельно подгружаемые части, по каждому событию завершения загрузки. Тогда как получить "эту самую очередную порцию" отдельно?

В общем, вопрос актуален.

[Alex11223]

Зависит от сайта и того как он подгружает.

Например можно просто периодически (таймер и т.п.) проверять страницу и как-нибудь определять не обновились ли данные.

А может быть легче посмотреть снифером (Fiddler или по F12 в любом браузере) HTTP запросы и повторять периодически запрос на получение данных.

Кстати, вместо WebBrowser для автоматизации обычно гораздо проще использовать Selenium.

[Stilet]

Возможно, как-нибудь обрабатывать отдельно подгружаемые части, по каждому событию завершения загрузки. Тогда как получить "эту самую очередную порцию" отдельно?

Признаюсь честно - как это делать в компоненте ослика я не знаю. Но я не очень понимаю почему нужно именно самое последнее событие...
Какая разница какое оно, если после можно пройтись по загруженному?

[BecomeBetter]

Сообщение от Alex11223

Зависит от сайта и того как он подгружает.

Да, если б мне один сайт нужен был, тогда, соглашусь, отдельно бы его разобрал по косточкам. Но, еще конкретизируя задачу, мне необходимо просматривать произвольных 10-20 сайтов, которые пользователь введет.

Сообщение от Alex11223

Например можно просто периодически (таймер и т.п.) проверять страницу и как-нибудь определять не обновились ли данные.

А вот здесь вы мне подали хорошую идею. Мне как раз опрос этих сайтов нужно делать с периодичностью в 5 минут. Выходит, можно работать с контентом после несколькосекундной задержки после загрузки... Оказалось все просто, для моей задачи такое решение допустимо.

Сообщение от Alex11223

Кстати, вместо WebBrowser для автоматизации обычно гораздо проще использовать Selenium.

Спасибо, посмотрю.

Сообщение от Stilet

Признаюсь честно - как это делать в компоненте ослика я не знаю. Но я не очень понимаю почему нужно именно самое последнее событие...
Какая разница какое оно, если после можно пройтись по загруженному?

Если начать анализ не по последнему событию, то сайт может оказаться загруженным частично. Вот например, я "с чистого листа" отправляю запрос на получение страницы. Так, как это самый первый запрос и у меня до этого никаких данных нет, то и получается, что мне необходимо именно в этот первый раз дождаться загрузки всех частей.

[Stilet]

Если начать анализ не по последнему событию, то сайт может оказаться загруженным частично.

А какая разница? Аккумулируй подкачанное сайтом, и по ходу накапливания анализируй: "Это то, это не то"...

[BecomeBetter]

Вот с накопление данных мне идея и понравилась. С помощью Selenium, я так понимаю это так же можно сделать?

[Stilet]

С помощью Selenium, я так понимаю это так же можно сделать?

Да это и с твоим способом можно.

[BecomeBetter]

Сообщение от Stilet

Да это и с твоим способом можно.

Ну, что ж, спасибо. Пойду подсказанным вами путем.