Автоматизация ввода данных об исходных документах

[tae1980]

При подготовке своих документов, мы разумеется используем исходные документы. Данные о них заносится в таблицу. Часть исходных документов имеет стандартный вид (паспорта и пр.), "более-менее" стандартный вид (постановления, решения и пр.), и не стандартные вид. На все документы есть сканы.

Встал вопрос: можно ли хотя бы частично автоматизировать ввод данных об исходных документов? Разумеется с использованием всяких распознавателей текста.

Кто нибудь занимался подобными вещами? С чего лучше начать?

[IgorGO]

С чего лучше начать?

С поиска специалиста, договориться о стоимости и сроках выполнения работ.

[tae1980]

Сообщение от IgorGO

С поиска специалиста, договорится о стоимости и сроках выполнения работ.

Нее... так не пойдет, мне интересно самому. :))
"С танка, с самолета - это не спортивно." (с) :)
С поиском специалиста, я буду решать ориентировочно через полгода.

Задача не сверх сложная, распознаванием текста по шаблону я занимался раньше. Но тогда были известны координаты размещения текста, до пикселя. Теперь же я вижу работы в таком порядке:
1. Определить ориентацию листа: книжная, альбомная, разворота на 180гр. (автомат/оператор).
2. Определить содержание листа (автомат/оператор). На одном листе может быть два документа, например две страницы паспорта.
3. Выровнять содержание по горизонтали (автомат).
4. Определить координаты рабочей области, отсекаем все лишнее (автомат).
5.1. (для строгих документов) Уточняем положение рабочих элементов - что нужно распознавать (автомат). Возможны незначительные смещения, по разным причинам.
5.2. (для плавающих документов) Уточняем положение рабочих элементов - что нужно распознавать (автомат). Могут быть несколько общих схем размещения, так же можно попробовать распознать все, и найти нужные поля по содержанию.
5.3. (для произвольных документов). Уточняем положение рабочих элементов - что нужно распознавать (автомат/оператор). Заранее схем расположений полей нет, но можно попробовать найти по содержанию.
6. Распознаем (автомат).
7. Проверяем корректность распознавания (автомат). Мы же знаем чего ждем, например номер паспорта, дата документа.
8. Предаем в программу (автомат).

Все конечно просто на бумаге... Но вот как это сделать программно пока в голове не укладывается.

[IgorGO]

видите-ли, Алексей,
похоже, что все, что попадает в поле зрения Вашего пытливого ума, потом попадает сюда на правку специалистам.
я предположил, что из цепочки от идеи до реализации можно исключить одно звено. извините, смотрите на это исключительно, как на частное мнение, что, собственно, и является таковым.

удачи!

[EducatedFool]

Задача не сверх сложная

Задача очень даже сложная.
Более того, в общем случае нерешаемая (без искусственного интеллекта)

Вот даже если взять файл в формате Excel неизвестной структуры - вроде текст всех ячеек доступен, а проанализировать структуру данных - нужна очень сложная программа.
А в вашем случае ошибки распознавания текста (программы OCR ещё весьма несовершенны) погубят затею на корню.

[tae1980]

Сообщение от EducatedFool

Задача очень даже сложная.
Более того, в общем случае нерешаемая (без искусственного интеллекта)

Согласен что на 100% результат не достижим. Но я пока свожу задачу к аналогу обработки заполненных бланков. Это проще, и есть уже примера реализации.

Сообщение от EducatedFool

Вот даже если взять файл в формате Excel неизвестной структуры - вроде текст всех ячеек доступен, а проанализировать структуру данных - нужна очень сложная программа.

Если брать все документы за 100%, то я хочу автоматизировать 20-30%. Не более. Первое что я хочу сделать это работу с паспортами.

Сообщение от EducatedFool

А в вашем случае ошибки распознавания текста (программы OCR ещё весьма несовершенны) погубят затею на корню.

Согласен, но мой опыт показывает, если исходный материал приемлемого качества (очень часто исходный материал отвратительного качества), результат терпимый и с ним можно работать.

[tae1980]

Сообщение от IgorGO

видите-ли, Алексей,
похоже, что все, что попадает в поле зрения Вашего пытливого ума, потом попадает сюда на правку специалистам.

Как ни парадоксально 90%, процентов из-то что я спрашиваю, я реализовываю. Может не так как планировал в начале (всегда есть поиск путей решения), и как правило лучше чем хотел в начале. Это не сложно выяснить проанализировав мою переписку на сайте.

Сообщение от IgorGO

я предположил, что из цепочки от идеи до реализации можно исключить одно звено. извините, смотрите на это исключительно, как на частное мнение, что, собственно, и является таковым.

Честное мнение всегда лучше. Я не профессиональны программист, ни когда не был, ни когда не буду и не хочу быть. Мои программы, может не столь совершенны и я их дольше пишу - но они во много раз эффективнее чем программы от профессионалов.
Я говорю о своей специальности.
Это реально, и утверждаю это на основе анализа работы в разных конторах на разных программах. Конечно мне далеко до коллектива разработчиков CREDO и прочего, но за такие огромные проекты я ни когда не возьмусь. Мой удел - небольшие прикладные программы. Вот здесь я готов дать фору почти любому.
Все это из-за того что я детально знаю, свою работу, знаю где есть подводные камни, как их нужно обходить и прочее. То есть знаю где подстелить соломинку, с точки зрения специальности, на уровне исполнителя. Чего не знает профессиональный программист, и что самое главное, он этого ни когда не поймет - так же как я не пойму глубин программирования.
Вот поэтому приходиться писать свои рабочие программы самому. На 90% того что есть на рынке без слез не взглянешь, а оставшиеся 10% хорошо бы под шаманить то здесь, то там. А не получается.