Невизульное определение неправильной кодовой страницы веб-страницы

[Pcrepair]

Добрый день. Есть программа для анализа информации на веб-страницах.
Для определения кодировки страницы используются два метода:
- использование ответа сервера (номер кодовой страницы + TEncoding)
- использование MLang.dll в режиме анализа текста страницы

Оба метода дают ошибки:
- первый метод на www.rfs.ru/main/news/ct134/ (выдает <title>????????n?n???. ??n???n????°?»n???n??? n??°??n? ?*?¤??</title>)
- второй метод на www.rusteam.permian.ru/players/ (выдает <title>naidiay dinnee ii oo?aieo. eadiee. a</title>)
причем если поменять ссылки то восстановление кодировки будет в норме, то есть можно выполнить перекодировку спорной страницы в 2-х функциях параллельно, в одной точно будет правильный результат(кодовая страница 1251)

Вопрос:
как можно по символам между тегами <title> понять какой способ выбрать?

[Человек_Борща]

Просто правильно использовать TEncoding и все.
Показывайте, как вы его используете.

[Pcrepair]

TEncoding используется строго по стандарту

есть гр. Алексеев(он же GunSmoker) и есть у него выложенный пример использования mlang.dll в 3-х вариантах. У меня используется 3-й вариант (автоопределение кодировки с использованием частотного анализа). и все работает в 99% случаев (кроме приведенного в топики примера и когда страница очень маленькая и тогда функция выдает исключение (там Я вставил обработку исключений и принудительное присвоение 1251 в одном месте одной функции, но речь не об этом).

так вот все таки иногда ошибается и mlang.dll. но при этом, на этой странице не ошибается TEncoding (используется значение ответа сервера о используемой кодировке страницы), зато TEncoding ошибается в до 10% случаев.

сейчас надо применить следующую обработку:
- скачать страницу в RawByteString
- проверить в теге TITLE, получилось ли 1251
- если нет применить TEncoding

такая структура обработки позволит повысить результат возможно до 99.99%

Ну теперь то всем уже понятно для чего мне нужно определить кодировку символов между тегами TITLE?

[ReportCube]

Попробуйте так: выбираете TITLE, применяете к нему TEncoding и тут же проводите обратную операцию с TEncoding, полученный результат сравниваете с уже имеющимся. Точно совпадение говорит о правильно выбранной кодировке. Затратно по ресурсам, но строка не большая, проблем не должно возникнуть.

[Pcrepair]

имеется ввиду запустить цикл с перебором значений кодировки(650001, 1251, 20866 и далее) и если строка из ТИТЛ в формате RawByteString после кодирования-декодирования совпадет со строкой из функции, то кодировка та самая?
под это есть какая то теоретическая база?

[ReportCube]

Увы, никакой теоретической базы под это нет. Попробуйте