Учусь парсить.

[Aleksandr H.]

#Selenium
#PhantomJS
#ExcelDataReader
#HtmlAgilityPack

Файл проекта: https://drive.google.com/open?id=0Bw...TZudGxXd21XVFk

Для обучения работы с браузером и парсинга страниц, решено сделать приложение которое будет тянуть кроссы фильтров с >>>сайта<<<

Путь получения результата:
1. Считать список для кроссирования. Excel
2. Получить страницу кросса. PhantomJS
3. Найти список аналогов. PhantomJS || HtmlAgilityPack
4. Вывести в DataGridView. C#

Проблема, как и ожидалось , в п.п.2-3. Не всегда получается получить список аналогов. Хотя на скриншоте, который делаю после открытия страницы, все отображено, но не могу найти нужные данные на странице.
Если с

FindElements(By.CssSelector(..))

хоть иногда но получаю какие-то результаты, то

DocumentNode.SelectNodes("//*[@id=\"filtersTable\"]");

вообще ничего.

Может страницу надо другим образом получать?

Помогите, попунктно разобраться что и как делать что-бы получить
желаемое.

Вопросы задавать буду тупые и нубские

[Alex11223]

Так во втором посмотрите, что в HTML (или Ctrl+U в браузере).
Может элемент JS генерируется, тогда естественно его не будет там.

Если да, то используйте WebDriverWait.

Я использовал такую обертку для упрощения и удобства:

using System;
using OpenQA.Selenium;
using OpenQA.Selenium.Support.UI;

namespace MyProject.Helpers
{
    public static class WaitHelper
    {
        public static TResult WaitUntil<TResult>(IWebDriver webDriver, TimeSpan timeout, Func<IWebDriver, TResult> condition, string message = "")
        {
            var wait = new WebDriverWait(webDriver, timeout);
            if (!String.IsNullOrEmpty(message))
                wait.Message = message;

            return wait.Until(condition);
        }

        public static TResult WaitUntil<TResult>(IWebDriver webDriver, int timeoutSec, Func<IWebDriver, TResult> condition, string message = "")
        {
            return WaitUntil(webDriver, TimeSpan.FromSeconds(timeoutSec), condition, message);
        }
    }
}

            WebDriver.Url = "...........";

            var btnLocator = By.CssSelector(".........");

            WaitHelper.WaitUntil(WebDriver, 30,
                ExpectedConditions.ElementExists(btnLocator),
                "button X not found");

            var btn = WebDriver.FindElement(btnLocator);

[Aleksandr H.]

Сообщение от Alex11223

Так во втором посмотрите, что в HTML (или Ctrl+U в браузере).

Перешел по ссылке из 1го сообщений, нажал CtrlU, ищу filtersTable (в div с таким Id должен быть список).
Нахожу

<div id="filtersTable">                                    
</div>

Списка нету, хотя визуально есть.

Список является результатом нажатия на кнопку справа от поля ввода "Номер фильтра". На нажатие кнопки висит код

function onclick(event) {
  replacementFNHandler('query', 'Russia', '/wixeurope/Content/img/ajax-loader.gif')
}

Вывод?

Сообщение от Alex11223

... элемент JS генерируется, тогда естественно его не будет там.

Решение?

[Alex11223]

Я ж написал решение.

А если без браузера, то смотреть запросы и выполнять их самому.

[Aleksandr H.]

Ваше решение делает то самое, почти, что и моя строка

PJS.Manage().Timeouts().ImplicitlyWait(TimeSpan.FromSeconds(15));

А именно ждет определенное время до обнаружения элемента.
Разницы я не увидел, так как не получил полного списка.
код

private void btnGrabByCSSSelector_Click(object sender, EventArgs e)
        {

            string filtr = null;
            IWebDriver PJS = new PhantomJSDriver();
            PJS.Manage().Window.Maximize();
            PJS.Manage().Timeouts().ImplicitlyWait(TimeSpan.FromSeconds(15));
            foreach (DataGridViewRow row in dataGridView1.Rows)
            {
                try
                {
                    if (row.Cells[0].Value != null)
                    {
                        filtr = row.Cells[0].Value.ToString();
                        string link = "http://wix.ua/cross-list,1714.html?filter_number=" + filtr +
                                       "&languageName=Ukrainian";
                        PJS.Navigate().GoToUrl(link);

                        //Find & Click <querySearchBtn> button. Caption ">"
                        //hope this will return me correct page in 15 secs
                        IWebElement input = PJS.FindElement(By.Id("querySearchBtn"));
                        input.Click();

                        //Should I load text again to PJS?

                        var btnLocator = By.CssSelector("p.overlay-cross.engine-info-normal.engine-info-normal");

                        WaitHelpers.WaitUntil(PJS, 30,
                            ExpectedConditions.ElementExists(btnLocator),
                            "filtersTable not found");

                        List <IWebElement> linkList =
                            PJS.FindElements(btnLocator).ToList();


                        string date = DateTime.Now.ToString("yyyyMMdd_hhmmss", System.Globalization.CultureInfo.GetCultureInfo("en-US"));
                        string outputFileName = $@"{Environment.CurrentDirectory}\Files\{filtr}({date})";
                        //Visual result's inspection
                        (PJS as PhantomJSDriver).GetScreenshot().SaveAsFile($"{outputFileName}.JPG", ScreenshotImageFormat.Jpeg);
                        //Maybe that would better to work with saved doc...
                        //...in order StaleElementReferenceException doesn't come up?
                        File.WriteAllText($"{outputFileName}.htm", PJS.PageSource);

                    //some actions with GridView

                    Application.DoEvents();
                }
                //"Element is no longer attached to the DOM" handle this error.
                catch (StaleElementReferenceException ex)
                {
                    dataGridView2.Rows.Add(filtr, "", "Відповідь не одержано");
                }
            }

            PJS.Quit();
        }

А если без браузера, то смотреть запросы и выполнять их самому.

Ухопился за эту фразу. Ведь использование PhantomJS это без браузера?

Что делаю что-бы получить таблицу результатов?
Ввести номер и нажать на кнопку ">".
На кнопке висит код

<button onclick="replacementFNHandler('query', 'Russia','/wixeurope/Content/img/ajax-loader.gif')" type="button" id="querySearchBtn" class="search-crosslist">&gt;</button>

надо найти что за зверь replacementFNHandler
Ниже, по тексту страницы, есть запись

<script src="/Content/js/ajax/replacementFNHandler.js?v=1" type="text/javascript"></script>

понимаем, что нужный скрипт хранится в /Content/js/ajax/
att.jpg
нахожу код функции

function replacementFNHandler(sender, languageName,loader) {
    var senderAfter = jQuery("#" + sender);
    if (jQuery(senderAfter).val().length < 2) {
        jQuery("#tableContainer").html('');
        jQuery("#ajaxStatementInfo").html(getTranslation("ajaxSelectThreeChars", languageName)).show();
        return;
    }
	jQuery("#tableContainer").html('');
	jQuery("#filterContainer").html('');
	jQuery("#ajaxStatementInfo").html("<img src=\"" + loader + "\">").show();
    var senderValue = jQuery(senderAfter).val();
    if (senderValue) {
        //var trimmedsenderValue = senderValue.split(' ').join('');
		//trimmedsenderValue = trimmedsenderValue.split('-').join('');
		//trimmedsenderValue = trimmedsenderValue.split('/').join('');
		var trimmedsenderValue = senderValue;
		jQuery.ajax({
		    type: "POST",
		    url: "../../../Ajax/ReplacementFilterList?value=" + trimmedsenderValue + "&languageName=" + languageName,
		    contentType: "application/json; charset=utf-8",
		    dataType: "text",
		    data: "{}",
		    success: function(res) {
		    jQuery('#ajaxStatementInfo').hide();
		    jQuery('#tableContainer').html("");
		    jQuery('#filterContainer').html("");
		      //  console.log(res);
		        jQuery('#tableContainer').html(res);
		        setOnClick();
		    }
		});
    }
}

В результате получу JSON'a?
надо узнать что делается по

url: "../../../Ajax/ReplacementFilterList?value=" + trimmedsenderValue + "&languageName=" + languageName

?
Но как туда(../../../Ajax/ReplacementFilterList)добраться? Или меня не туда понесло с таким анализом?

[Alex11223]

Ну так раз там пустой блок изначально, то ждать надо не его, а элементы внутри.

А запрос можно просто в Network посмотреть.

[Aleksandr H.]

https://youtu.be/-IJp8XQnvMQ
<censor>

Может это в разделе JScript надо спрашивать?

[Alex11223]

А разве не работает?

using System;
using System.Linq;
using OpenQA.Selenium;
using OpenQA.Selenium.PhantomJS;
using OpenQA.Selenium.Support.UI;

namespace ConsoleApplication31
{
    class Program
    {
        static void Main(string[] args)
        {
            using (IWebDriver webDriver = new PhantomJSDriver())
            {
                webDriver.Manage().Window.Maximize();

                string link = "http://wixeurope.com/cross-list,1714.html?filter_number=7465&languageName=Ukrainian";
                webDriver.Navigate().GoToUrl(link);

                var tableCellLocator = By.CssSelector("p.overlay-cross.engine-info-normal.engine-info-normal");

                WaitHelper.WaitUntil(webDriver, 30,
                    ExpectedConditions.ElementExists(tableCellLocator),
                    "filtersTable not found");

                var cells = webDriver.FindElements(tableCellLocator).ToList();

                foreach (var cell in cells)
                {
                    Console.WriteLine(cell.Text);
                }

                ((PhantomJSDriver) webDriver).GetScreenshot().SaveAsFile("output.jpg", ScreenshotImageFormat.Jpeg);
            }
        }
    }
}

Выводит

13711247465
BMW
46221
13717797465
BMW
49465
87465
CARQUEST
42465
0746555
FAUN
...

[Aleksandr H.]

Работает...иногда
https://youtu.be/VGZEh1X8qHg

[Alex11223]

А мой код?)
Зачем клик по какой-то кнопке вначале?