Чтение файла в нескольких потоках

[DarkEvil]

Доброе время суток!!!
Нужно большие типизированые файлы обрабатывать в нескольких потоках
для ускорения поиска. Решения нужно зделать на WinApi...
Пробывал ReadFile пороспихивать в потоки, получилось очень нехарашо насколько я понял если файл будет открыт один раз и его дескриптор передан во все потоки то харошего ничего не получится так как функция ReadFile смещает курсор на количество считаных байт.
Из этого возник вопрос, можна ли както сдублировать хендлы файла и передать в потоки?
может есть какие-то иные решения?

Может открывать файл в каждом потоке отдельно?
=================================== =====
Пробывал использовать CreateFile с разными наборами флагов, но чтобы главному потоку дать право чтения+записи а дополнительным только чтения у меня не удалось, получается либо всем чтения либо запись...

Есть хоть какие-то предложения?

[Serge_Bliznykov]

а Вы уверены, что овчинка стоит выделки?!
Попробуйте банальнейше скопировать файл (только обязательно обеспечьте, чтобы файл был не в кэше!!! например, перезагрузите компьютер и сразу попробуйте. первый раз он будет не в кэше...)
Засеките время копирования. Вот это то время, которое (теоретически) Вы можете получить в своей программе.
ИМХО, дело в том, что читая файл в разных потоках, прироста скорости Вы не добьётесь!! (если только основное время работы не тратится на обработку считанных данных... тогда да, распараллелить обработку может дать выигрыш в скорости работы программы. Но увеличиться скорость работы программы, а не скорость чтения файла!!!

p.s. всё вышесказанное прошу рассматривать как моё личное непроверенное (и, возможно, ошибочное) мнение...

[DarkEvil]

Собственно, о том что чтения файла в потоках не даст особого выграша в скорости я с Вами согласен, но сам обработка... вот в сам обработчик нам и нужно считать(передать указатель) блок даных, была идея отобразить кусок файла в память, но я ее забраковал...
хоть нынче памят и дешовая но если туда запхайть файлик у 100 мб. ...некрасиво получится
=================================== =======================
Что бы было понятней что я хочу покажу пример:

дупустим мы имеем файл 30 000 записями
поиск обычно работает в цикле от первой до последней записи...
я же хочу розделить эти циклы на несколько частей, пусть каждый обрабатывает по 10 000 записей
и запустить их в дополнительных потоках, вот-это думаю даст значительный прирост в скоросте...

[Stilet]

Если уж невтерпеж читать через потоки, то перед очередным чтением
приостанавливай другие потоки, читающие файлы.

[Пепел Феникса]

а может лишь один поток читать будет? а другим передавать данные на обработку?

[DarkEvil]

Сообщение от Пепел Феникса

а может лишь один поток читать будет? а другим передавать данные на обработку?

Соственно по этом вопросу думал, но логеческой синхронизации между всем этим не придумал...

11:14

Сообщение от Stilet

Если уж невтерпеж читать через потоки, то перед очередным чтением
приостанавливай другие потоки, читающие файлы.

собственно так пока и думаю но у меня не получилось открыть в главном потоке для чтения+записи а в потоках обработки для чтения, получается только для чтения или только для записи... где-то торможу...

Торможение заметно...
Что, опять кнопка "Правка" не видна?
Или правила не для вас писаны?

[Пепел Феникса]

пусть читает ТОЛЬКО главный поток. а остальным передавайте данные через указатели.и не забывайте указатель после обработки nil'ить(это к вопросу синхронизации)

[Stilet]

а в потоках обработки для чтения,

А не проще ли открыть Map-файл в него писать, и с него по указателю считывать в других потоках? Тогда синхронизировать минимум придется.