Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Web программирование > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 21.03.2017, 15:55   #1
Alex100
Новичок
Джуниор
 
Регистрация: 21.03.2017
Сообщений: 3
По умолчанию Вопрос по выводу сообщений других проектов!

Добрый день всем, может кто знает пример даше в шаре может есть)
Нужен пример вывода сообщений из сообществ на пример вк, пусть даже указав источники групп на пример ! ! Нужно тоже авто вывод на странице моего сайта из моих групп хотя бы в реальном времени. 4-5 групп в общем!
Alex100 вне форума Ответить с цитированием
Старый 21.03.2017, 16:06   #2
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,757
По умолчанию

ничего не понял что вам нужно.
Alar вне форума Ответить с цитированием
Старый 21.03.2017, 16:46   #3
Alex100
Новичок
Джуниор
 
Регистрация: 21.03.2017
Сообщений: 3
По умолчанию

Цитата:
Сообщение от Alar Посмотреть сообщение
ничего не понял что вам нужно.
Если проще, то как сделать сканер групп вк на пример сканер увидел в сообщении слово "Кто может создать сайт" это на стене группы вк - и его выводил на страницу сайта, на пример движок wordpress!
Alex100 вне форума Ответить с цитированием
Старый 21.03.2017, 16:52   #4
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,757
По умолчанию

это называется парсер
Alar вне форума Ответить с цитированием
Старый 21.03.2017, 16:59   #5
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Да, так часто называют, но вообще это неправильное название.
Парсер это ж только "часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста." https://ru.wikipedia.org/wiki/%D0%A1...82%D0%BE%D1%80

По английски еще часто называют scraper, наверно это более подходящее слово.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.

Последний раз редактировалось Alex11223; 21.03.2017 в 17:02.
Alex11223 вне форума Ответить с цитированием
Старый 21.03.2017, 17:02   #6
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,757
По умолчанию

может граббер? )

граббер, потом парсер )

ну или

скраппер + парсер

там скраппить, то не нужно будет, нужно брать через гет выдачу поиска и парсить его.

в реальном и прочем времени, сделайте в нереальном, и потом долбите вконтакт запросами, пока вас не заблокируют ))
Alar вне форума Ответить с цитированием
Старый 21.03.2017, 17:05   #7
Alex100
Новичок
Джуниор
 
Регистрация: 21.03.2017
Сообщений: 3
По умолчанию

Я Вообще нуб в этом, можете направить как это организовать? гайд или готовое что-то (пусть даже шаровый шаблон уже с этим всем)
Alex100 вне форума Ответить с цитированием
Старый 21.03.2017, 17:07   #8
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,757
По умолчанию

Цитата:
Сообщение от Alex100 Посмотреть сообщение
Я Вообще нуб в этом, можете направить как это организовать? гайд или готовое что-то (пусть даже шаровый шаблон уже с этим всем)
учитесь, в чем проблема, готовый год вконтакта что ли выслать? с rss поучитесь работать для начала, если уж на то пошло.
Alar вне форума Ответить с цитированием
Старый 21.03.2017, 17:18   #9
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Зависит от сайтов и задач...

Доставать данные либо через API если есть, либо через просто HTTP запросы (curl и т.п.) или браузер типа Selenium (если сайт сильно сложный с кучей скриптов). Ну и записывать в БД, выводить куда там вам надо.

Ну и периодически запускать сбор данных. Либо просто через cron, либо что-то более сложное с очередями (RabbitMQ, ...) в зависимости от задачи.

Естественно стоит как минимум иметь представление о протоколе HTTP и принципах работы веб-серверов/сайтов, уметь пользоваться DevTools (кнопка F12 в Хроме/ФФ/IE) и т.п.

Если есть какие-то ограничения (на частоту запросов, ...), то могут понадобиться прокси.

Цитата:
Сообщение от Alar Посмотреть сообщение
скраппер + парсер
Не, парсер это компонент скрапера/грабера/извлекатора )
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.

Последний раз редактировалось Alex11223; 02.04.2017 в 10:06.
Alex11223 вне форума Ответить с цитированием
Старый 21.03.2017, 17:21   #10
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,757
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
парсер это компонент скрапера/грабера/извлекатора
ну окей, нужно отправить уточнённую терминологию в мозг.

ссылку из первого поста удалил.
Alar вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Вопрос по выводу информации в форме alloyzy Microsoft Office Access 1 08.06.2012 14:04
вопрос по выводу графики в life 3D STQRV Gamedev - cоздание игр: Unity, OpenGL, DirectX 0 15.05.2012 17:30
Вопрос по передаче WM сообщений от ОС к программе Celestia Win Api 1 11.12.2010 12:52
Вопрос о выводе сообщений Yur@ Общие вопросы Delphi 1 08.10.2010 14:17
Ссылка на формы из других проектов в одном решении. Microsoft Visual Studio C# ArtemonHendrix Помощь студентам 0 25.03.2010 11:10