Последовательность байтов, возвращаемых InternetReadFile

[Рурик]

Привет всем. У меня задача извлечь с сайта некоторый текст и отобразить его на мониторе.
Я извлекаю текст с помощью этих трех функций:
InternetOpen
InternetOpenUrl
InternetReadFile

InternetReadFile возвращает такие байты с сайта, что не известно, что с этими байтами делать.
Если я просто копирую html-содержимое с сайта, затем вставляю в Notepad++, сохраняю файл, затем извлекаю байты из файла с помощью своей программы, то последовательность байтов другая и с ними уже что-то да получается сделать.

Как извлечь с сайта байты в таком виде, чтобы с ними можно было что-то сделать?
Интересует именно этот сайт, а не любой, т.к. проблема именно с этим сайтом, с другими сайтами такой проблемы нет.

Прикладываю два файла с байтами. Одни байты получены с помощью "InternetReadFile", вторые я скопировал вручную (Ctrl+C, Ctrl+V) и вставил в Notepad++.

Про функцию "URLDownloadToFile" мне известно. У меня вопрос по функции "InternetReadFile".

[Omatic]

Извините, не смотрел по ссылке включая ваш пакет - попахивает пиаром.
Так вот, скорее всего, если вы работаете с функцией не предназначенной
для работы с Много байтовой кодировкой вы получите что-то подобное
"W E L C O M E" вместо "Добро пожаловать".

Грузить страницы можно так

#define WIN32_LEAN_AND_MEAN
#pragma comment(lib, "urlmon.lib")
#include <iostream>
#include <urlmon.h>
 
int main()
{
    if(S_OK==URLDownloadToFile(0, "http://programmersforum.ru", "index.htm", 0, 0))
        std::cout << "Page download\n";
    else
        std::cout << "Failed\n";
    return 0;
}

[Рурик]

А что делать с функцией "InternetReadFile"? Отказаться от её использования? Это бракованная функция?

[Alex11223]

Использовать нормальный HTTP клиент.

Например, libcurl.

[Рурик]

А InternetReadFile считается ненормальным? Его ведь сделали в Microsoft'е, а не какой-то программист-самоучка.
Получается, что InternetReadFile изменяет извлеченные байты. Сначала InternetReadFile извлекает байты, затем внутренний механизм функции "InternetReadFile" изменяет байты и выдает их.

[Alex11223]

Ну как минимум это менее удобно.
И может быть не поддерживает что-то новое.

Вообще еще надо не забывать заголовки выставлять. Например, может какой-нибудь сервер блокирует по стандартным юзерагентам ботов (или другим заголовкам не похожими на браузеры).

[Рурик]

Насколько я начинаю понимать, любая библиотека или еще что-то сделана на основе Win32 api-функций. В том числе и libcurl тоже использует Win32 api-функции.

Значит libcurl использует "URLDownloadToFile".

Alex11223, можете скачать байты с сайта, который указан в первом посте, с помощью "libcurl" и посмотреть, все ли нормально?
У меня нет возможности протестировать "libcurl".

[Alex11223]

Сообщение от Рурик

Значит libcurl использует "URLDownloadToFile".

Нет, там же есть более низкоуровневые функции (сокеты и т.д.) не привязанные к HTTP.

Сообщение от Рурик

можете скачать байты с сайта, который указан в первом посте,

нет, он и в браузере не работает.

[Рурик]

Alex11223, а что вы скачивали? В первом посте ссылки на сайт удалили.

Всё, вижу, вы и удалили ссылки.
У меня открывается этот сайт в браузере. Если бы сайт не открывался в браузерах, я бы не создал этой темы.
И есть другие инструменты для скачивания по HTTP, они нормально скачивают, в том числе и "URLDownloadToFile".

Alex11223, а сокеты это что такое? Тоже Win32 API функции или совсем другое?
Кто их сделал эти сокеты? В Microsoft'е?
Официальный сайт сокетов есть?

По сути нужно скачать байты в исходном виде, без каких-либо преобразований. Я так понимаю это делает "URLDownloadToFile". Но "URLDownloadToFile" сохраняет в файл. А у меня нет задачи скачать в файл, а нужно отобразить данные на мониторе.

[waleri]

Сообщение от Рурик

Но "URLDownloadToFile" сохраняет в файл

Ну возьмите URLOpenBlockingStream(), только на мой взгляд через InternetReadFile будет проще.