Интересная задача для обучения программированию.

[rrrFer]

Посмотри статью "Получение данных с сайта. Шаблон Producer/Consumer" - там на примере парсера биржи фриланса рассматривается С++, Qt (как и предлагал eoln выше). Кроме того там описан шаблон проектирования "поставщик-потребители", который удобно использовать на любом языке при решении этой задачи.

[8Observer8]

Сообщение от Alexey3

Задача:
Создание программы сбора и анализа данных с сайта.
Вопросы:
1) какой тип программы писать для этой цели (интернет бот или программа на компьютере или иные)?

Какие данные хотите собирать с сайта? Эта программа будет работать постоянно на сервере и с какой-то периодичностью запрашивать данные? Или пользователь один раз нажмёт кнопку, программа возьмёт данные, обработает и покажет пользователю на экране? В первом случае лучше писать интернет бот, если вы выключаете компьютер. Во втором случае можно интернет приложение, либо приложение на комьютере

Сообщение от Alexey3

2) какой язык программирования выбрать для выбранного типа программы?

Очень многие языки и технологии подходят, вот некоторые:
- PHP (для сервера), JavaScript (для web-клиента)
- C# (WinForms - для PC, ASP.NET - для сервера, WebForms - для web-клиента)
- Java (JSP - для сервера)
- C++ (Qt - для PC)

Сообщение от Alexey3

Конечная цель не сама программа по сбору данных а процесс воплощения идеи от постановки задачи и путей ее решения до конкретных результатов.
Это интересней чем просто учиться (самообучаться) писать программу по книге слабо представляя, что должно быть в итоге.
P.S. Изучаю данную науку для саморазвития.

Определитесь сначала с языком и технологиями.

[rrrFer]

8Observer8

- PHP (для сервера), JavaScript (для web-клиента)
- C# (WinForms - для PC, ASP.NET - для сервера, WebForms - для web-клиента)
- Java (JSP - для сервера)
- C++ (Qt - для PC)

А что так категорично? - на джаве вполне удобно писать под десктоп, а на Qt элегантно пишется сервер. WinForms - это не только C#, а на шарпе опять же нормально пишется сервер (майкрософт вообще гордится своими серверными штуками).

[8Observer8]

Я просто привёл несколько примеров.

на Qt элегантно пишется сервер

На PHP, ASP.NET и JSP намного удобнее написать интернет бота, чем на Qt писать сервер (и ещё держать комп включённым)

на джаве вполне удобно писать под десктоп

Мне не понравилось, как в Java реализуется GUI

WinForms - это не только C#

На C# удобнее работать с WinForms, чем на Visual C++ и более популярно, чем на Visual Basic

шарпе опять же нормально пишется сервер (майкрософт вообще гордится своими серверными штуками)

Можно и на Ассеблере написать сервер. На C# намного удобнее писать интернет бота с использованием ASP.NET и WebForms. Бота можно разместить, например, на этом бесплатном ASP.NET хостинге: https://somee.com/default.aspx

[Alex11223]

На C# удобнее работать с WinForms

Кроме WinForms есть WPF например.

Можно и на Ассеблере написать сервер. На C# намного удобнее писать интернет бота с использованием ASP.NET и WebForms.

Причем тут Ассемблер? А кроме древнего WebForms есть ASP.NET MVC.

и

JavaScript (для web-клиента)

в любом варианте с веб нужен (или не нужен), хоть PHP, хоть JSP (вместо которого тоже есть куча популярных вариантов в Java), хоть ASP.NET.
Ну и HTML, CSS, БД.

[8Observer8]

Я просто некоторые привел:

Сообщение от 8Observer8

Очень многие языки и технологии подходят, вот некоторые:

Кроме WinForms есть WPF например.

ТС-у будет проще разобраться с WinForms, чем с WPF. Я просто привёл некоторые технологии

Причем тут Ассемблер?

При том что и на нём можно написать сервер. Но зачем TC-у для авто-бота писать сервер с нуля на C++ (или C#), создавать физически сервер у себя дома, если можно зарегится на бесплатном хостинге PHP, JSP, ASP. Неужели вы то же думаете, что ТС для авто-парсера будет писать сервер с нуля на Qt C++?

[Alex11223]

создавать физически сервер у себя дома, если можно зарегится на бесплатном хостинге PHP, JSP, ASP

На бесплатном не факт, что получится работать боту, возможно VPS хотя бы рублей за 200 в месяц придется купить, и тогда не важно С++ или ASP.NET.
И может автору нужно просто чтоб работало 24/7, а веб не нужен.

Вообще варианты с вебом/сервером сложнее, чем просто программа. Но с другой стороны автору все равно надо освоить хотя бы основы HTML/JS и понимать как работают веб-приложения/HTTP и т.п. для осуществления задачи.

[8Observer8]

Сообщение от Alex11223

Вообще варианты с вебом/сервером сложнее, чем просто программа. Но с другой стороны автору все равно надо освоить хотя бы основы HTML/JS и понимать как работают веб-приложения/HTTP и т.п. для осуществления задачи.

Что проще/сложнее и что выбрать для изучения зависит от задачи. Например, автору темы нужно собирать данные погоды утром, в обед, вечером и ночью в определённом регионе с помощью Weather API. Нужна возможность открыть web страничку, чтобы посмотреть таблицу/график. Сохранять данные для последующей обработки. Тогда ему нужно знать, как отправлять запрос через API сайта, как парсить данные XML/JSON. Страничку проще сделать на WebForms простым перетаскиванием элементов на форму. Сохранять данные проще на сервере в базу данных SQLite

[Alexey3]

Большое спасибо за простые (учитывая специфику предмета) советы по конкретным вопросам! Выбирая между С++ и Java я выбрал С. Java хоть и может работать везде и на всем где есть виртуальная машина но она же отбирает часть производительности а С++ больше подходит для моей задачи и быстрее Java (Если я правильно понял эти языки).

[Alex11223]

C++ сложнее/низкоуровневее Java/C#, а производительность вам скорее всего не важна (+чтоб был прирост в производительности вместо прострела ног на С++ еще надо уметь писать), основное время будет занимать отправка/ожидание ответа по сети.
Но если Qt взять, то в принципе не сильно сложнее/низкоуровневее

работать везде и на всем где есть виртуальная машина

С++ тоже компилируется под все платформы (если не привязываться к платформо-зависимым вещам типа WinAPI).