Что такое LeadBytes?

[bashkos]

Что такое LeadBytes и для чего используется? В часности, что это за проверка:
if (Test in LeadBytes) then
Каким символом должен быть Test, чтобы выражение стало true?

Всем ответившим, заранее спасибо.

[mutabor]

Судя по всему
Test: byte;
LeadBytes: set of byte;

[SunKnight]

LeadBytes

Lead bytes in Multi-Byte character sets
Declaration

Source position: sysstrh.inc line 55
const LeadBytes: = [];

Description

LeadBytes contains the set of bytes that serve as lead byte in a MBCS string.

[bashkos]

Я взял эту срочку из чужого кода (если конкретно - процедура GetMatchingBracketEx объекта TSynEdit)

Сейчас я переписываю эту процедуру под себя и мне бы очень хотелось знать что происходит в этой строке. Test там типа Char, по идее она текущий считываемый символ из текста.

Я написал небольшую программку, где выполнил эту проверку для всех ansi сиволов, и ни один из них не прошел ее. unicode не предлагать - тип все таки char, а не WideChar.

Так что же все таки выясняется в ходе этой проверки?

[bashkos]

А можно description по русски написать, пожалуйста.

[mutabor]

Char это тот же байт. В проверке проверяется наличие этого байта в множестве. Если не находит, то скорее всего множество пустое - [].

LeadBytes contains the set of bytes that serve as lead byte in a MBCS string.

LeadBytes содержит множество байт к-рое служит как первые байты в строке MBCS.

[bashkos]

Всем спасибо!

Еще знать, что такое MBCS строка?

[SunKnight]

{ LeadBytes is a char set that indicates which char values are lead bytes
in multibyte character sets (Japanese, Chinese, etc).
This set is always empty for western locales. }
var
LeadBytes: set of Char = [];

нашел в какомто исходнике

[SunKnight]

MBCS

Несмотря на то, что Unicode был специально разработан для поддержки многих языков, использовать его для хранения и передачи строк в Америке и большей части Европы неэффективно, потому что для этих регионов достаточно 256, а иногда всего 128 символов. Ведь первые 128 символов Unicode (\u0000 — \u007F) совпадают с ISO-646, а первые 256 символов (\u0000 — \u007F) совпадают с ISO-8859-1. Тем самым, используется только маленький кусочек всего спектра Unicode, ведь старший байт почти всегда равен нулю.

Возникает желание по-прежнему использовать Unicode внутри программы, но хранить и передавать данные в 8-битной кодировке, преобразуя данные непосредственно перед их получением или записью. В качестве записи в 8-битной кодировке можно использовать технологию MBCS, где каждый символ может занимать несколько байт.

Вопрос заключается в том, какой набор символов (кодировку) использовать для такого преобразования. Существующие кодировки не подходили для этой цели, поэтому Unicode Consortium выработал специальные кодировки для преобразования Unicode-строк в MBCS-строки. Эти кодировки носят название Unicode Transformation Format (UTF), и существуют в двух вариантах: UTF-7 и UTF-8. Они различаются количеством бит (7 или 8), используемых для кодирования.

Кодировка UTF-7 характерна тем, что часто требует больше байтов для представления данных, чем сам Unicode. Но эта кодировка необходима, так как многие старые системы (и не только, например, MIME) используют 7-битную кодировку символов.

Кодировка UTF-8, в свою очередь, очень хорошо подходит для хранения текста, который используют ASCII символы, и символы, чей Unicode код меньше \u0800. В этом спектре лежит большинство символов, используемых в европейских (соответственно, и американских) и ближневосточных странах. Для символов, чей код больше \u07FF, UTF-8, наоборот, мало подходит, потому что эти символы расплываются до 3 байт.

Алгоритмы конвертации между Unicode и UTF-7 или UTF-8 описаны в стандарте Unicode (The Unicode Standart).

[mutabor]

MBCS - multi byte character set