Программа разделения текста на лексемы

[Alexar Makken]

Задание
1.Написать программу разделения текста на лексемы
Входные данные: файл с текстом программы
Выходные данные: файл с номерами групп лексем, 1 лексема в строке.

2.Программа должна обрабатывать, по крайней мере одну ошибочную ситуацию: использование недопустимых символов.

Помогите справиться со вторым пунктом. Например при наличии в файле с текстом программы "Program1" русских символов, в файл "test.Lex" должно выводиться сообщение об ошибке
Программа в которой должна происходить обработка ошибок "Выделяет только текстовые лексемы".
Обработка должна происходить примерно в куске кода

while i <= length(str)do
   begin
    {в зависимости от типа текущего символа переходим на выделение слов, чисел,разделителей,знаков операций,скобок и других нам нужных конструкций}
    case str[i] of
     'A'..'Z', 'a'..'z': begin
                          lex:=getword(str, i);
                          writeln(fout, lex, '- 1');
                          i:=i+length(lex);
                         end;
     '0'..'9':          begin
                          writeln(fout, str[i], '- 2');
                          i:=i+1;
                         end;
     '+','-','*','/':   begin
                          writeln(fout, str[i], '- 3');
                          i:=i+1;
                         end;
   else
    i:=i+1;
   end;
  end;
 end;
 {закрываем файлы в обратном порядке,если файлы не закрыть,то данные могут быть утеряны}
 close(fout);
 close(f);
End.

[xakkkkker]

А что тут такого трудного. Работал с Ascii кодами?
Вот смотри ты в цикле перебираешь каждую букву в строке.
Смотришь ее Ascii код и проверяешь русская ли эта буква.
ее код должен быть больше или равно кода наименьшей русской буквы и меньше или равно
наибольшего кода русской буквы. Это будет русская буква. Выводишь ошибку.
Примерно так, если я правильно понял задачу.

[xakkkkker]

А что тут такого трудного. Работал с Ascii кодами?
Вот смотри ты в цикле перебираешь каждую букву в строке.
Смотришь ее Ascii код и проверяешь русская ли эта буква.
ее код должен быть больше или равно кода наименьшей русской буквы и
меньше или равно наибольшего кода русской буквы. Это будет русская
буква. Выводишь ошибку.
Примерно так, если я правильно понял задачу.
Вот ASCII код для русских букв http://www.industrialnets.ru/files/misc/ascii.pdf