Как сграбить, распарсить и перезалить страницу после рерайта на свой сайт советы от программиста

[Alar]

Проблема детей, в том числе тех кто смотрит видосики на ютубе, в том что вы хотите волшебную палочку, и уверены, что она есть, просто надо найти, вернее у вас их много, и вы никак не можете выбрать какую, в итоге не выбираете никакой, но терминами накачались.

А программист работает так. - берем delphi

нужно куда-то получить, ставим компонент - memo1

нужно получить страницу. ставим компонент http из библиотеки indy idhttp.get - получил.

нужно как-то поменять используем фунции delphi, например strreplace

нужно сохранить в файл из memo.savetofile(index.html) - savetofile

нужно как-то отобразить даём файлу расширение .html

нужно отобразить на сервере - берём хостинг и заливаем этот html файл с названием index.html

всё сайт сграблен, распарсен и залит на сервер.

Дальше. идёт оптимизация тех или иных этапов.

неудобно в memo1 менять - берем более визуальный компонент и т.д.

вот так работают программисты.
сайт распарсен результат получен.
хотите красиво отобразить подключаете стили через css.
знаете как работать с базами, подключаете базы данных, при больших объёмах это всегда оправдано.
умеете работать с экселем, используете его как базу данных, тоже неплохо для небольших проектов.

[Alex11223]

чот сложно, зачем тут винда и GUI?

И strreplace не всегда хватает, а с библиотеками для парсинга HTML в Дельфи не очень (да и idhttp не очень, там даже куки по умолчанию не сохраняются и какие-то другие вещи сложно делаются, лучше хотя бы Synapse).

Мне так больше нравится:

Сообщение от Alex11223

Зачем с куки что-то делать?

Вот сделал на Питоне за 10минут™:

pipenv install requests
pipenv install pyquery

pipenv shell

import requests
from pyquery import PyQuery


def parse_price(html):
    pq = PyQuery(html)
    return pq('div.price span').text()


def load_price(url):
    session = requests.session()
    session.get(url)
    session.post(url, {'addr_id': 582})
    resp = session.get(url)
    return parse_price(resp.text)


print(load_price('http://teremok.ru/menu/bliny_sytnye/blin_dvoynoy_s_vetchinoy_i_syrom/'))

python teremok.py
173

[Alar]

Сообщение от Alex11223

чот сложно, зачем тут винда и GUI?

затем что все кто начинает что-то делать привык в игровым интерфейсам виндовс, в чём они по вашему ютуб смотрят? ), потому именно delphi им кликабельно понятна. от DOS у них будет ступор, шок, истерика и преждевременные роды.

Сообщение от Alex11223

strreplace

естественно, но для того чтобы поменять пару слов сойдёт, я в своё время использовал для некоторых изменений, например случайное удаление или вставка пробелов, тогда текст мгновенно для поисковиков становился уникальным. Думаю, даже сейчас этот метод прокатит для заспамливания поисковой выдачи на низкочастотниках.

[Alex11223]

DOS? Это в палату к Юре http://www.programmersforum.ru/showthread.php?t=287606

С Дельфи уже мало кто начинает, а с терминала/консоли как раз начинают почти в любом учебнике по любому ЯП, да и на ютубе тоже.

[Alar]

Сообщение от Alex11223

терминала/консоли

т.е. это не

Сообщение от Alex11223

DOS

как раз таки терминал или консоль это и есть DOS

понятно что DOS для виндовс, а в линуксе это сложно назвать DOSом, но при желании почему бы и нет? команды одни и теже и мигающие нижнее подчёркивание )) Оу у меня белый квадрат мигает в терминале, наверное это сильно скажется на том как я теперь буду терминалом пользоваться, раньше то на это не обращал внимание )))

Это опять констатирует факт, что слишкмо много внимания к ненужным финтифлюшкам у меня в голове термины DOS и консоль идут как сининомы и я раньше даже не задумывался, что это не корретно если с научной точки зрения подходить ))))

Сообщение от Alex11223

почти в любом учебнике по любому ЯП

вот потому программистов всё меньше и меньше, у студентов на этом уже этапе не преодолимый ступор, им бы с экселя начинать, например я всегда рекомендую именно его для изучения бд. Хотя сам начинал с БД на текстовых файликах и всё у меня работало, и некоторые проблемы подобных баз изучил на собственном опыте и до сих пор этот опыт пригождается, чтобы понимать какие могут возникать проблемы на больших данных, на совместном использовании баз данных и т.д.

Оттого я в репликации до сих пор не верю )

[Alex11223]

Ну cmd это не особо MS DOS начиная с ХР, и там с вин8-10 активно продвигается более удобный и юниксо-подобный PowerShell.
+ во многих IDE вообще не видно никакого страшного черного окна, просто текст выводится в окне самой IDE.

[Alar]

Alex11223, я уже учёл эту поправку, повторю, для меня это были синонимы. В любом случае терминал меня напрягает, потому предпочитаю любые доступные веб интерфейсы, у них ещё дополнительные ограничения по уровням доступа, которые делают работу более безопасной от эффекта случайного тыка. тот же phpmyadmin для работы с базами.

[Bruto]

Be happy, use python)

[BLACK_RAIN]

Сообщение от Alar

всё сайт сграблен, распарсен и залит на сервер.

По-моему, вы этап с парсингом пропустили

[Alar]

Сообщение от BLACK_RAIN

По-моему, вы этап с парсингом пропустили

Распарсить - это придать форму, вывести на сайт структрировано включает прасинг и выгрузку.

парсить - структорировать.