Парсинг сайтов: что лучше сделать, - веб-сервис или программу?

[EducatedFool]

Всем привет

История такая: есть у меня программа для парсинга разных сайтов, большим спросом пользуется, многим нравится, — но написана она на VBA (то есть плагин для Excel)

И вот задумался я о том, что поддержка макросов в Excel в любой момент может прекратиться, и не сделать ли мне из программы этой (точнее, по её подобию) «нормальную» прогу (приложение под Windows) или веб-сервис.

Собственно, ни в том ни в другом сам сделать не смогу, потому, придется заказывать разработку спецам (что выйдет недешево, ибо у меня там более 20 тыс строк кода), а потом самостоятельно уже допиливать помаленьку.
Но знаю, что разработка однозначно окупится.
Вот только ясности, что более востребовано будет через 5 лет для этой конкретной задачи (парсинг), у меня нет

Что посоветуете?

Веб-сервис удобен, но на сервак будет жесткая нагрузка (когда десятки клиентов запустят с него парсинг разных сайтов), потому, придется за трафик много платить, и аренда хорошего железа будет стоить дорого.
Но с пользователей можно будет брать абонентскую плату (ибо это будет SAAS)

Программа для компа - потребляет ресурсы компа, потому, от меня вообще никаких затрат. Но программы взламывают, да и антивирусы на парсеры ругаются постоянно.
На каком языке программирования делать прогу, если для компа?
Стоит ли делать кроссплатформенное решение, или все до сих пор на виндах сидят, и версии для windows будет достаточно?

Наверняка есть люди, кто в теме, - так что жду советов
Ну и если просто мысли есть на этот счёт, - с удовольствием выслушаю.

[Alar]

однозначно веб-сервис. сразу на английском языке делайте.

[Alex11223]

Сообщение от EducatedFool

или все до сих пор на виндах сидят

Мы-то откуда знаем? У клиентов и спрашивайте.
Все по-разному в разных сферах.

Сообщение от EducatedFool

но на сервак будет жесткая нагрузка (когда десятки клиентов запустят с него парсинг разных сайтов), потому, придется за трафик много платить

Скорее всего вы переоцениваете нагрузку.
Если вы не используете полноценный браузер и т.п., то вряд ли от пары десятков будет большая нагрузка и много трафика.

[waleri]

Сообщение от EducatedFool

Веб-сервис

Сообщение от EducatedFool

Программа для компа

Для того, чтоб сделать веб сервис все равно надо будет сделать программу, так что вопрос как бы не стоит.
UI, с другой стороны, нынче тоже делают на HTML, даже для "программ", так что 90% кода будет одним и тем же и для программы и для веб сервиса.

[kvitaliy]

Сообщение от EducatedFool

Но программы взламывают, да и антивирусы на парсеры ругаются постоянно.
На каком языке программирования делать прогу, если для компа?

У вас сейчас вообще VBA, это и взламывать не надо, просто открыть и посмотреть, что там написано!
di-P7L2RZ.png
Если знаете VBA то на VB6 и переучиваться не надо. Всё то же самое кроме нового интерфейса. А вот исходник из VB6 вытащить гораздо сложнее.

[Stanislav]

я программа для парсинга разных сайтов

а на python не рассматривали парсеры?

[EducatedFool]

Всем большое спасибо за ответы.
Потихоньку приходит понимание, что как делать надо

Если знаете VBA то на VB6 и переучиваться не надо. Всё то же самое кроме нового интерфейса

VB6 - там не новый же интерфейс
Исходник вытащить проблема оттуда, знаю (excel файл со сложным кодом невозможно защитить), но VBA и VB6 остановили своё развитие в прошлом веке, и средств языка не хватает (приходится изобретать велосипеды)
Да и делать коммерческий продукт в расчётом на будущее на VB6 - как-то несерьёзно
Потому, его не рассматриваю, - потеряю интеграцию с Excel, а плюсов никаких не будет.

а на python не рассматривали парсеры

Так мне что python, что любой другой язык, - если я в этом не разбираюсь, мне особо не важно, на чем делать.
Кроме VB6/VBA, знаю только php немного

Для того, чтоб сделать веб сервис все равно надо будет сделать программу, так что вопрос как бы не стоит

Подскажите, а на чём пишут программы подобные для использования в веб-сервисах?
Я думал, там на php надо всё делать, и интерфейс, и движок программы
Или я глубоко заблуждаюсь?

[Stanislav]

Так мне что python, что любой другой язык, - если я в этом не разбираюсь, мне особо не важно, на чем делать.

когда я написал первый парсер питон в глаза видел второй раз. он очень простой, и с помощью либ для парсинга так вообще говорить нечего

[waleri]

Сообщение от EducatedFool

Подскажите, а на чём пишут программы подобные для использования в веб-сервисах?

На чем угодно. Например через CGI и иже с ним можно запускать бинарник а бинарник можно написать на чем угодно. А можно вообще сделать приложение со своим серваком, как делают всякие NodeJS.
Все упирается в ваши возможности, знания и умения. Если знаете PHP - пишите на PHP.

[Ottava]

* Парсеры - зло, поэтому у меня все хостинги заблокированы в firewall. С хостингов на сайты ничего хорошего не приходит априори.

Но тем не менее, могу поучаствовать на уровне осуждения идей.

- делать надо web-сервис, масштабировать под нагрузку можно, например, через amazon EC2 просто клонируя парсящие ноды.

- писать модуль парсера надо скорее всего на Go или чём-то подобном, но этот вопрос надо копнуть поглубже. Скорее всего проект должен быть модульным, и каждый независимый модуль придется писать на своём (наиболее подходящем) языке, или брать готовый (OpenSource). Ибо нет никакого смысла разрабатывать всё самому и с нуля.

- придется прилаживать разгадывалку капч. Посмотреть что умеет HRumer, на первых порах приладить внешние сервисы разгадывания капч. Возможно имеет смысл заложить свою нейронную сеть по разгадывания образов на картинках).

- предусмотреть подключение к парсерам внешних прокси, VPN и сети Tor.

- кроме парсинга сайтов на заказ надо предусмотреть другие сервисы, которые могут быть востребованы:

1. проверка и анализ внешних ссылок на сайты, как ahrefs и majestic. Последний развернул собственную сеть nod на компах пользователей, и парсит сайты не с IP hosting-провайдеров. Поэтому заблокировать его достаточно сложно.

2. сделать поиск сайтов по ID Google Adsense и Google Analytics

3. посмотреть что ещё закрыли поисковики для поиска, и добавить возможность искать это, адаптируясь по нужды SEO.


PS: Короче, одному не справиться, нужна команда и проработка масштабного проекта. Другое делать смысла нет, оно уже есть на рынке.

PPS: Так это ваш VBA-парсер я баню по Юзерагенту '"Microsoft Office Excel" ?