Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > IT форум > Общие вопросы по программированию, компьютерный форум
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 01.09.2018, 18:12   #1
Мaкс
Форумчанин
 
Регистрация: 12.06.2018
Сообщений: 831
Вопрос Что учить для создание бота, который берёт данные с web страницы. (для законных целей)

Пожалуйста, подскажите как сделать так, что бы брать инфу в любых web странницах и выводить её. Для того что бы лучше понять вот простой пример для одной страницы:
Снимок 2.jpg
Здесь я выделил зелёным пример элемента для вывода в программу, и как сделать так, что бы вывести какой то элемент любой страницы куда то (если язык программирования нужен для этого, то в консоль)? Любую страницу возможно вообще? Это справа вообще что? (случайно нашёл)

А вообще не надо языков программирования, макрос может подойдёт?
Спасибо за ответ!

Последний раз редактировалось Мaкс; 01.09.2018 в 18:21.
Мaкс вне форума Ответить с цитированием
Старый 01.09.2018, 21:24   #2
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Почти что угодно.
Ну и HTTP протокол, HTML, JS, хотя бы основы.

Почти в любом языке есть HTTP клиент (в стандартной библиотеке или сторонней) для выполнения HTTP запросов.
Или если сайт сильно сложный, то бывает проще взять Selenium (библиотека для автоматизации браузеров).
Цитата:
Сообщение от Мaкс Посмотреть сообщение
Это справа вообще что?
DevTools.
На других его вкладках тоже много полезного...
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.

Последний раз редактировалось Alex11223; 01.09.2018 в 22:45.
Alex11223 вне форума Ответить с цитированием
Старый 02.09.2018, 18:41   #3
digitalis
Старожил
 
Аватар для digitalis
 
Регистрация: 04.02.2011
Сообщений: 4,573
По умолчанию

Цитата:
Сообщение от Мaкс Посмотреть сообщение

А вообще не надо языков программирования, макрос может подойдёт?
А что, бывает макрос вне программной среды? Ну и куда его впихнуть ? Видно, отстал я от жизни, тут такие дела уже пошли...
digitalis вне форума Ответить с цитированием
Старый 02.09.2018, 19:20   #4
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,530
По умолчанию

idhttp.get

этого достаточно.

далее какой-нибудь stringreplace может быть освоите.

потом savetofile

уже будет круто, потом поймёте что неплохо было бы и в sql пару команд узнать.

а так много вопросов. мало дела.
Alar вне форума Ответить с цитированием
Старый 02.09.2018, 22:10   #5
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Цитата:
Сообщение от digitalis Посмотреть сообщение
Ну и куда его впихнуть ?
Ну бывает можно визуально что-то записать, тыкая мышкой и т.п.
Например в том же Офисе кучу лет уже. Ну или ближе к теме, в Selenium IDE (но оно скорее для генерации кода простого автоматического теста сайта, для нормальной автоматизации надо самому код писать).
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 03.09.2018, 11:21   #6
New man
Форумчанин
 
Регистрация: 24.01.2011
Сообщений: 774
По умолчанию

python + requests + XPath
На здоровье.
a.k.a. Angelicos Phosphoros
Мой сайт
New man вне форума Ответить с цитированием
Старый 03.09.2018, 11:26   #7
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Вместо XPath часто проще CSS/jQuery селекторы.
Некоторые библиотеки для парсинга HTML поддерживают оба.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 04.09.2018, 15:48   #8
Мaкс
Форумчанин
 
Регистрация: 12.06.2018
Сообщений: 831
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Почти что угодно.
Ну и HTTP протокол, HTML, JS, хотя бы основы.
Хорошо, спасибо!
Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Почти в любом языке есть HTTP клиент (в стандартной библиотеке или сторонней) для выполнения HTTP запросов.
HTTP буду учить, наверное.
Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Или если сайт сильно сложный, то бывает проще взять Selenium (библиотека для автоматизации браузеров).
Сайты сильно сложными не собираюсь создавать, хорошо, учту.
Цитата:
Сообщение от Alex11223 Посмотреть сообщение
DevTools.
На других его вкладках тоже много полезного...
Спасибо, учту!
Цитата:
Сообщение от digitalis Посмотреть сообщение
А что, бывает макрос вне программной среды? Ну и куда его впихнуть ? Видно, отстал я от жизни, тут такие дела уже пошли...
Это я понимаю. Мне не нужно на хостинг пока что, а так не нужно учить языки программирования, при этом время экономностью.
Цитата:
Сообщение от Alar Посмотреть сообщение
idhttp.get

этого достаточно.

далее какой-нибудь stringreplace может быть освоите.

потом savetofile

уже будет круто, потом поймёте что неплохо было бы и в sql пару команд узнать.
Их наверное, быстро выучишь. А я не часто ими буду пользоваться.
Цитата:
Сообщение от New man Посмотреть сообщение
python + requests + XPath
На здоровье.
Для больших проектов да, например, Ютуб на Питоне написали, хороший сервис, шустрый, отличие от других.
Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Вместо XPath часто проще CSS/jQuery селекторы.
Некоторые библиотеки для парсинга HTML поддерживают оба.
Хорошо.
---
Хорошо, спасибо всем, что уделили внимание на вопрос!
Мaкс вне форума Ответить с цитированием
Старый 04.09.2018, 15:58   #9
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Цитата:
Сообщение от Мaкс Посмотреть сообщение
Их наверное, быстро выучишь.
Кого?
Цитата:
Сообщение от Мaкс Посмотреть сообщение
А я не часто ими буду пользоваться.
Как это противоречит первому?оО Если "быстро выучишь", то как раз самое то для "нечасто" же, не?
Цитата:
Сообщение от Мaкс Посмотреть сообщение
Для больших проектов да, например, Ютуб на Питоне написали, хороший сервис, шустрый, отличие от других.
Причем тут ютуб и вообще бекенд?
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 04.09.2018, 16:05   #10
Мaкс
Форумчанин
 
Регистрация: 12.06.2018
Сообщений: 831
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Кого?
Они разве не маленькие?
Цитата:
Сообщение от Alar Посмотреть сообщение
dhttp.get

этого достаточно.

далее какой-нибудь stringreplace может быть освоите.

потом savetofile
Но в любом случае учить html надо будет когда то...

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Как это противоречит первому?оО Если "быстро выучишь", то как раз самое то для "нечасто" же, не?
Я не говорил, что противоречит, они созданы немного для разных целей.
Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Причем тут ютуб и вообще бекенд?
Ютуб написан на Ютубе на 70% где то (по Вики), а он довольно хороший сервис

---
Интересно, на чём это написали... это как вообще в браузер сделали??
http://stars.chromeexperiments.com/
Мaкс вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Создание макроса берёт данные и заполняет Nekitok Microsoft Office Excel 3 19.05.2017 10:59
Создание БОТа для браузерной игры newbie_dragon Фриланс 1 02.08.2013 16:32
Создание бота для игры Kolle4ko Фриланс 0 03.06.2012 12:30
- Что есть вообще виртуальная операционка? - Для каких целей она нужна? Alex Cones Операционные системы общие вопросы 7 24.12.2009 22:54
Создание бота для онлайн игры zotox Общие вопросы Delphi 2 11.09.2009 14:30