|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
07.06.2018, 22:48 | #1 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
Парсер XML на Java / C++
Есть задача написать парсер XML-файла с товарами для интернет-магазина + заносить товары в БД сайта. Сам XML файл с товарами весит 250 Мб, есть и файлы по 500 Мб.
Сейчас работает парсер на PHP, однако парсинг + загрузка картинок на сервер (загружаются на сервер по внешним ссылкам) занимает порядка 12 часов, если парсить XML без картинок – 6. Хотелось бы ускорить процесс в разы и запускать импорт из XML по крону, соответственно я так понимаю, что на Java или C++ это будет быстрее в разы, чем сейчас на PHP. Жду ваших предложений реализации, цене и срокам.
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
08.06.2018, 00:41 | #2 |
Программист
Участник клуба
Регистрация: 23.06.2009
Сообщений: 1,772
|
Напишите подробнее на black.fregat@gmail.com
|
08.06.2018, 03:12 | #3 |
Пользователь
Регистрация: 06.06.2018
Сообщений: 25
|
А не проще ли поставщика XML послать на NULL?
Во-первых, описание позиций практичнее создавать в виде текста. Во-вторых, рациональнее делать: одна позиция - один файл. И конечно же никаких картинок в XML и тем более в БД. Очевидно, не стоит и PHP использовать для парсинга таких слонов. Попробуйте XMLstarlet.
(O|O)
|
08.06.2018, 08:50 | #4 |
Форумчанин
Регистрация: 09.05.2017
Сообщений: 735
|
- А что такого-то? Картинка в БД - это нормально. БД просто большая у него. Картинка - BLOB, отдельным файлом конечно же.
Напишу программу на C++ и Asm для AVR. Черчение: sergeisky@yahoo.com.
|
08.06.2018, 09:41 | #5 | |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
Цитата:
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
|
08.06.2018, 09:42 | #6 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
Не ну сами картинки просто копируются на сервер конечно же. В БД только данные по товарам
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
08.06.2018, 10:58 | #7 |
Пользователь
Регистрация: 02.01.2015
Сообщений: 12
|
Смена php на другой язык не поможет в плане ощутимого преимущества обработки xml - доли секунд , проблема скорее всего с алгоритмом в целом , возможно с кол-вом данных в самой БД и поиске среди них.
Да и выгрузка данных с внешних ресурсов само собой тормозит процесс.
почта: sauwork@yandex.ru , телега: @sauwork
Последний раз редактировалось sauwork; 08.06.2018 в 11:01. |
08.06.2018, 13:35 | #8 |
Пользователь
Регистрация: 09.04.2007
Сообщений: 40
|
Поможет, например при многопоточной записи в бд, чего не умеет ПХП. Ну и парсер на С++ будут явно быстрее работать, чем на ПХП
SiteAnalyzer - анализ и аудит сайта. Telegram: @majento
|
08.06.2018, 16:39 | #9 | ||
Пользователь
Регистрация: 02.01.2015
Сообщений: 12
|
Цитата:
Да и потом , на уровне сервера БД есть свои планы и очередь обработки поступающих запросов , так что приложение может и закончит работу раньше, а вот сервер БД еще долго будет пыхтеть над тем , что ему напихали. Цитата:
почта: sauwork@yandex.ru , телега: @sauwork
Последний раз редактировалось sauwork; 08.06.2018 в 17:00. |
||
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
XML Парсер | Berlioz | Assembler - Ассемблер (FASM, MASM, WASM, NASM, GoASM, Gas, RosAsm, HLA) и не рекомендуем TASM | 0 | 02.01.2013 21:23 |
Парсер XML | savva | Общие вопросы по Java, Java SE, Kotlin | 7 | 02.10.2011 23:11 |
XML парсер | squa | JavaScript, Ajax | 0 | 09.02.2011 09:14 |
Парсер Gismeteo(xml) | Homjak | Общие вопросы Delphi | 0 | 04.10.2010 08:15 |
парсер XML, не видит XML тэги | supercelt | PHP | 3 | 02.11.2009 19:18 |