Очистка текстовых файлов от ненужных символов.

[spamer]

Всем привет.
Есть слишком много текстовых файлов (на данный момент около 50 000 штук). Средний размер файла 80-110 Кб.
Задача сводится к тому, что бы из всех этих файлов удалить символы, которые не являются буквами (ну и пробелы оставить, что бы слова сохранились), т.е. просто заменить на пустой символ ''...
Сейчас попытался составить приблизительный словарь подобных символов и методом перебора попытался очистить от этих символов вот те все 50к файлов...и ясное дело появились проблемы:
1) список стоп-символов может пополняться и делать это руками очень уж неудобно...Автоматизировать процесс, но как? Методом перебора проверять все символы в файлах на принадлежность к множеству букв и если это не буква, добавлять данный символ в список стоп символов? Но тут проблема появляется, описанная в пункте 2...скорость...
2) скорость обработки - наверное самая главная проблема...Весь этот процесс - очень-очень медленный для такого объема файлов...Можно ли как-то ускорить этот процесс очистки данных текстовых файлов от стоп-символов?

[Пепел Феникса]

а может проще составить белый список символов?

[spamer]

Я вот думал над подобной идеей и она неплохо решает первую проблему...
Но ведь скорость обработки так и останется слишком медленной...А это основная проблема...

[Пепел Феникса]

в общем подумал, вроде делает мгновенно, и вроде правильно(так что перепроверьте).
(проверил на файле 830 Кб)

[spamer]

Алексей, спасибо за помощь...Вроде то, что и надо...
Проверил для 1000 файлов - "грязное" время обработки (загрузка, сохранение, различная предварительная конвертация и т.п. + сам алгоритм очистки) в моем случае равно 1мин. 10сек. В целом, результат довольно таки приемлем, по сравнению с тем, что получалось у меня...
Конечно теоретически, для 50к файлов - это время увеличится где-то до 1часа, но все таки это намного лучше чем было...

[Пепел Феникса]

не за что, пока не могу придумать как можно быстрее.
а как грузишь/сохраняешь если не секрет?

Конечно теоретически, для 50к файлов - это время увеличится где-то до 1часа, но все таки это намного лучше чем было...

там в принципе врятли будет быстрее.

[spamer]

а как грузишь/сохраняешь если не секрет?

Как загрузка, так и сохранение идет методами класса TStrings.

[Аватар]

Можно попробовать, например с помощью FileStream, целиком читать в буфер, обрабатывать как Пепел предложил в другой буфер и обратно целиком записать в файл тем же FileStream. Думаю выгрыш на многих файлах будет существенным по сравнению с TStrings

[spamer]

Кстати да, я тоже поначалу думал насчет FileStream, но TStrings уже сам работает через TFileStream...
Выходит, что использование TStrings, что TFileStream дадут один и тот результат...Верно ли?

[Аватар]

Как минимум не нужно брать строку из стрингса по частям или целиком и обратно помещать, а напрямую с буферами ввода-вывода работать