Чтение огромных xml-файлов

[Kapkom]

Добрый день!

У меня есть код по превращению xml-файла в DataFrame:

ColNames = ['ObjectId','DateEnd','ZagolType','Z agolValue1']
df_list = []
tstep = 0

for fl in ListFxml2:
if '_houses_params' in fl.lower():
tree = ET.parse(Pxml + '/' + fl)
root = tree.getroot()
for level in root:
row = [level.attrib['OBJECTID'],level.attrib['ENDDATE'],level.attrib['TYPEID'],level.attrib['VALUE']]
df_list.append(row)
else: pass

DFhouseParam = pd.DataFrame(df_list, columns=ColNames)

Этот код хорошо отрабатывает на файле, весом 1,7гб. Но на файле 3,77гб подвисает на шаге tree = ET.parse(Pxml + '/' + fl), и процедура в итоге вылетает (автоматически перезагружается kernel).

Подскажите, пожалуйста, как ещё можно прочитать в Python такой огромный xml-файл?
Или как его можно раздробить (без ET.parse)?

Буду очень благодарен за помощь!

[MakarovDs]

Kapkom,
Есть несколько способов чтения больших XML-файлов в Python без использования ET.parse(), который может потреблять много памяти и приводить к ошибкам нехватки памяти для больших файлов.

Один из способов — использовать потоковый парсер, такой как xml.sax.parse(). Потоковые парсеры обрабатывают XML-файл построчно, что позволяет читать большие файлы без загрузки всего файла в память.

Вот пример кода, который использует xml.sax.parse() для чтения большого XML-файла:

import xml.sax

class MySAXHandler(xml.sax.ContentHandler):
    def __init__(self):
        self.data = []

    def startElement(self, name, attrs):
        # Обработка начала элемента
        pass

    def characters(self, content):
        # Обработка содержимого элемента
        self.data.append(content)

    def endElement(self, name):
        # Обработка конца элемента
        pass

def parse_xml(filename):
    # Создаем обработчик SAX
    handler = MySAXHandler()

    # Парсим XML-файл
    parser = xml.sax.make_parser()
    parser.setContentHandler(handler)
    parser.parse(filename)

    # Возвращаем обработанные данные
    return handler.data

Вы можете использовать этот код следующим образом:

data = parse_xml("large_xml_file.xml")

Переменная data будет содержать список строк с данными XML-файла. Вы можете затем обработать эти данные и преобразовать их в DataFrame.

Еще один способ чтения больших XML-файлов — использовать библиотеку xmltodict. Эта библиотека преобразует XML-файл в словарь Python, который затем можно преобразовать в DataFrame.

Вот пример кода, который использует xmltodict для чтения большого XML-файла:

import xmltodict

with open("large_xml_file.xml", "r") as f:
    xml_data = f.read()

data = xmltodict.parse(xml_data)

Переменная data будет содержать словарь Python с данными XML-файла. Вы можете затем обработать этот словарь и преобразовать его в DataFrame.

Наконец, вы также можете разбить большой XML-файл на более мелкие файлы. Это можно сделать с помощью таких инструментов, как split, csplit или xxd. После разделения файла вы можете обработать каждый меньший файл отдельно.

Надеюсь, это поможет!