Парсинг сайта

[SnaiperArts]

Здравствуйте. Пытаюсь сделать парсер для целого сайта:
1. Спарсить ссылки на необходимые страницы со всего сайта
2. Пройтись по данным страницам и выдрать необходимую информацию с них (текст, и картинки).
3. Сделать локальную БД по этому сайт( с БД все сделано уже, написал добавление данных и вывод).

Посоветуйте пожалуйста статьи по парсингу с примерами кода. Самое главное, чтобы было хорошо разъяснено.

Буду премного благодарен.

[Reskov]

1. Спарсить ссылки на необходимые страницы со всего сайта
для этого я в свое время использовал YQL , xpath там очень просто получать ссылки. вы будите получать их ввиде json или xml
2. затем опять же тем YQL или чем-то сторонним .net ным выдираем текст картинки, качаем их либо с помощью HttpWebRequest, либо с помощью Bits
http://developer.yahoo.com/yql/
http://www.cypressnorth.com/blog/pro...safari-jquery/

так примерно выглядит запрос выбираем все ссылки с programmersforum

http://query.yahooapis.com/v1/public/yql?q=select href from html where url='http://programmersforum.ru' and xpath='//a'

test

[SnaiperArts]

К сожалению не получается ссылки таким образом получить

http://query.yahooapis.com/v1/public/yql?q=select href from html where url='http://www.alleng.ru' and xpath='//a'

может выдерать из html?
Посоветовать что-нибудь стоящее почитать? Желательно на русском.

[pu4koff]

HtmlAgilityPack
Код по извлечению всех ссылок (тэг a с аттрибутом href) будет примерно таким:
http://programmersforum.ru/showthread.php?t=130225

[Reskov]

К сожалению не получается ссылки таким образом получить

Добавьте and compat="html5"

http://query.yahooapis.com/v1/public/yql?q=select href from html where url='http://www.alleng.ru' and xpath='//a' and compat="html5"

[SnaiperArts]

Спасибо за наводки.
Воспользовался HtmlAgilityPack.

Тут другая проблемка возникла: сайт в кодировке windows-1251, и во время вывода получаются "каракули"
Кять как можно менять кодировку подскажите? (пробовал сохранять в файл, а уже в нем поменять кодировку, но это к положительному результату не привело).

Код на котором бы хотелось увидеть как сменить кодировку:

            HtmlWeb web = new HtmlWeb();
            HtmlAgilityPack.HtmlDocument doc = web.Load(textBox1.Text);
            HtmlNodeCollection nodes = doc.DocumentNode.SelectNodes("//p[@style='margin:0 20px; text-indent:50px; ']");
            if (doc != null)
            {
                foreach (HtmlNode node in nodes)
                {
                    
                    richTextBox1.Text = richTextBox1.Text +node.InnerText.Trim(); //использую для отладки...
                  }
            }

Посоветуйте где можно почитать по подробнее про HtmlAgilityPack на русском языке? С англ. не очень, а разобраться в его неплохом функционале охото.

[Петррр]

using System;
using System.IO;
using System.Net;
using System.Text;

class Program
{
    static void Main(string[] args)
    {
        HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://www.programmersforum.ru/");
        Stream stream = request.GetResponse().GetResponseStream();
        string html = null;
        using (stream)
        {
            // Указали, что из потока нужно читать в кодировке windows-1251
            using (StreamReader reader = new StreamReader(stream, Encoding.GetEncoding(1251)))
            {
                html = reader.ReadToEnd();
            }
        }
        // Вывод будет без каракулей.
        Console.WriteLine(html);
        /**
         * Дальнейший парсинг
         */ 
        Console.ReadKey(true);
    }
}

[Пепел Феникса]

попробуйте использовать свойство OverrideEncoding у HtmlWeb

[SnaiperArts]

Сообщение от Пепел Феникса

попробуйте использовать свойство OverrideEncoding у HtmlWeb

В версии 1.4.0 его нету.

Петррр, Ваш метод работает, но не могу толком связать с HtmlAgilityPack, чтобы работало через него.
Пытался сделать еще так, чтобы изменить спарсенный текст:

Encoding win1251 = Encoding.GetEncoding(1251);
                byte[] bytesStr = Encoding.Default.GetBytes(text);
                richTextBox1.Text = win1251.GetString(bytesStr);

Не подскажите как сделать правильно, не зависимо каким методом?
Посоветуйте статьи на русском пожалуйста по HttpAgilityPack, охото разобраться в функционале его.

[SnaiperArts]

Вроде как нашел способ связать, но выдается ошибка.

Код преобразования кодировки:

public string getRequest(string url)
        {

            try
            {
                var httpWebRequest = (HttpWebRequest)WebRequest.Create(url);
                httpWebRequest.AllowAutoRedirect = false;
                httpWebRequest.Method = "GET"; 
                httpWebRequest.Referer = "http://google.com"; 
                using (var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse())
                {
                    using (var stream = httpWebResponse.GetResponseStream())
                    {
                        using (var reader = new StreamReader(stream, Encoding.GetEncoding(1251)))
                        {
                            return reader.ReadToEnd();
                        }
                    }
                }
            }
            catch
            {
                return String.Empty;
            }
        }

В этом коде ошибка:

HtmlWeb web = new HtmlWeb();
HtmlAgilityPack.HtmlDocument doc = web.Load(getRequest(textBox1.Text)); //Недопустимый URI: Недопустимая схема URI.