Параллельное чтение из одного файла разными процессами

[Ципихович Эндрю]

здравствуйте, создал файл на пионе

from datetime import datetime
date_start = datetime.now()
print('Начато                      ', date_start)
with open('large_file.txt', 'w') as f:
    for i in range(1, 1_000_000_000):  # с 1 до 1 000 000 000 — один миллиард
        f.write(f'{i}\n')
    f.write('1000000000') # последняя строка будет без абзаца
print('Файл создан')
print('Окончено                    ', datetime.now())
print('Продолжительность работы    ', datetime.now() - date_start) # 0:42:19.944706=10 633 681 КБ

вручную файл не открывает ОС - нехватка памяти
открываю файл питоном, ошибка
File "<frozen codecs>", line 322, in decode
MemoryError
ошибка понятна, поэтому сабж плиз, спасибо

[BDA]

А точно нужно загрузить весь файл в оперативную память одномоментно? Чем не подходит читать файл кусками и обрабатывать каждый кусок.

[Ципихович Эндрю]

Сообщение от BDA

Чем не подходит читать файл кусками и обрабатывать каждый кусок

так не знаю как
в го читал на это уходит до 2 сек, хотел сравнить))
там правда ПК получше моего))

[BDA]

Например, сумма чисел из этого файла:

a = 0
with open("large_file.txt") as infile:
    for line in infile:
        a += int(line)
print(a)

Файл с миллиардом на 10ГБ нормально открывается, например, HxD Hex Editor'ом.

[Ципихович Эндрю]

понял
спасибо