Парсинг и не только

[stakeman]

Ну вот, уже что-то сдвинулось куда-то

Кстати, поскольку сейчас небольшая пауза в основных футбольных чемпионатах и есть время заняться этим вопросом плотнее, то рыщу по сети и нашел чела, который в свое время сделал и теперь абсолютно бесплатно распространяет свою прогу. Прога неплоха, и я бы даже сказал что она могла бы быть вроде прототипа того, что я хочу. Но, увы разработчик не хочет ее адаптировать под нужды заказчика (даже за деньги). Ссыль для ознакомления: http://www.soccerstatstracker.com/index.html

Теперь к нашим баранам. Еxcel конечно не айс, но на безрыбье... Просто хочу понять как это может работать?
Ехе-шник отдельно, книга - отдельно? Или если это будет решаться средствами vba, то "оно" будет "вшито" в книгу? Обновление в ручном режиме или по заданному расписанию? Если выгрузка в файл, то это обновление или замена старого файла новым?

Ну и, пожалуй, самое интересное. Я веду статистику порядка 50 чемпионатов и понятно, что одной АПЛ (указана для примера) моя задача не ограничивается.

Ваши мнения?

З.Ы. Кстати если можно взглянуть на то, что Вы делали?
З.З.Ы. Это че за форум такой, что у меня до сих пор пишет 0 сообщений в профиле и коды отключены?

[Alex11223]

З.З.Ы. Это че за форум такой, что у меня до сих пор пишет 0 сообщений в профиле и коды отключены?

Коды и счетчик отключены в разделе фриланс для всех. Не знаю зачем коды отключены )

[nerv]

В моем варианте никаких exe'шников не предполагается. В excel встроен язык программирования, на нем и будем работать.

Обновление по требования пользователя (кнопке). Если очень хочется таймеры, можно.

Показать не могу, т.к. не имею права Если коротко:
- с инета тянется инфа статистики
- вливается в эксель
- производятся расчеты (в данном случае/примере формульные)
- результаты расчетов идут дальше (куда-нибудь сохраняются/записываются)

В логику рассчета не вникал, мне оно не надо. Данная логика - собственность заказчика.

Здесь https://github.com/nervgh/vba выкладывал класс для получения данных с инета.

[Neobrat]

"Ехе-шник отдельно, книга - отдельно?"
да.

"Или если это будет решаться средствами vba, то "оно" будет "вшито" в книгу?"
если делать на vba- то скорее всего да.

"Обновление в ручном режиме или по заданному расписанию? Если выгрузка в файл, то это обновление или замена старого файла новым?"

не знаю, можно ли автоматизировать на vba.

у вас какая операционная система, windows?
если да, то могу сделать службу, которая будет сидеть в системе, и обновляется по какому либо расписанию или с команды.

обновление файла или замена, или создание нового, это уже как вам удобно.

"Ну и, пожалуй, самое интересное. Я веду статистику порядка 50 чемпионатов и понятно, что одной АПЛ (указана для примера) моя задача не ограничивается."

А вот тут начинается самое интересное)))
1. информацию о 50 чемпионатов берете с одно сайта? при частом обновлении сайт может забанить(часто это десятки раз в минуту, хотя могут быть и другие ограничения у сайта)
2. информацию о 50 чемпионатов берете с разных сайтов? тут цена будет расти, от количества разных сайтов.

[Neobrat]

если представить что информация берется с 10 сайтов..
грубо говоря по 500 рублей за сайт, будет 5000 т.р. только за парсинг..
Вы готовы столько заплатить?

[stakeman]

Спасибо за ответы. Про vba немного понимаю, когда-то лет 15 назад "баловался", сделал "программу" для печати платежных поручений в банк с архивной базой и многопользовательскую Тогда это было актуально

А вот про 5тыр за парсинг - не понял, и здесь если можно подробнее

Что до лично меня, то всю необходимую для меня информацию я беру с www.oddsportal.com ну и для разбивки по турам goal724.com Все...
Частота обновления - 1 раз в сутки, ну если + Азия, то 2 раза в сутки. Дело в том что мне не нужен бот чтобы отслеживать изменения счета/линии в режиме реального времени. Я работаю с двумя параметрами - итоговый результат, выраженный в счете на табло, и линия закрытия БК на момент начала события.

Исходя из этого можно поинтересоваться: за что платить 5к ? Или я чего-то не знаю/понимаю?

[stakeman]

И, кстати, фраза о том, с какого сайта я буду брать информацию меня настораживает... Это - задача того, кто будет выполнять эту работу и знает как это сделать.

[nerv]

> за что платить 5к
чтобы получить информацию с сайта, надо смотреть, как она там представлена, ковыряться в тегах. Чтобы ее извлечь, соответственно.

Мой вариант - нажали на кнопку, прога собрала инфу, подсчитала и т.п. Без демонов )

> не знаю, можно ли автоматизировать на vba
я недавно на vba json парсил )

> "Или если это будет решаться средствами vba, то "оно" будет "вшито" в книгу?"
> если делать на vba- то скорее всего да
будет вшито

[Neobrat]

> за что платить 5к

усредненая цена(окончательная зависит от сайта) парсера 500 рублей.
из моего предоложения о 10-ти сайтов и получилось 5к

>> не знаю, можно ли автоматизировать на vba
>я недавно на vba json парсил )

я знаю возможности vba. я говорил о том что демона вы не сделаете.
хотя на чистом vba по моему можно извратится и сделать)
но тут как говорится все карандаши разные.

>И, кстати, фраза о том, с какого сайта я буду брать информацию меня настораживает...

А зря..
объясню..
1.
программа собрала информацию с одного сайта, вы с другого.
после вы хотите проверить верно ли программа обрабатывает..
большая вероятность несовпадения некоторых данных.

2. По кефам, небольшие отличия точно будут.
3. ваша задача свелась к банальному парсеру. т.е. необходимо автоматизировать получение и свода данных, и навесить небольшую математику на данные.

>Это - задача того, кто будет выполнять эту работу и знает как это сделать.

не совсем так..
допустим, вот я разобрался с определенным букмекером, и могу выхватывать у него данные. но по каким то играм букмекер не дает статистику, а вам она нужна.
и как быть? писать еще один парсер? ))
И да, как это сделать вопрос не стоял, вопрос стоял в источнике информации, удовлетворявшей вашем требованиям.

во вложение небольшой парсер. без логики. это пример exe, но не в виде службы.

[stakeman]

Судя по всему форум лежал, да и меня тут отвлекли немного...

По поводу 5к разобрались Просто я немного иначе прочел ту фразу.

По поводу количества сайтов. В принципе меня видимо идеально устроил бы вариант парсинга oddsportal.com т.к. там есть все, что мне нужно, кроме разбивки по турам, но она для меня на данном этапе не критична. Кроме того, там есть возможность регистрации, создания списка лиг и как следствие формирование страницы за отчетный день только с теми результатами, тех матчей, которые мне нужны. Возможно это облегчило бы Вам задачу?

Если идти дальше ("дальше скрина") и говорить о КФ, то данные с oddsportal.com не будут отличаться с другими данными, поскольку их не с кем сравнивать Меня там интересуют КФ 3-4 буков с минимальной маржой на двухисходке, а это обычно Pinnacle Sports, SBOBET, 188BET и bet365.

По поводу файла в архиве. Понимаю, что он дан для примера "как это может быть/выглядеть/работать" а не для оценки/приценки. Я понял, спасибо. Если не секрет с какого сайта собиралась информация?

Ну и, пожалуй, попытаемся конкретизировать задачу.
1. Парсим 1 раз (или 2?) сайт oddsportal.com по отфильтрованным лигам на предмет итогового результата и КФ закрытия линий 4-х БК с минимальной маржой на конкретном рынке (или по списку?) Кстати уточню, что меня чаще всего интересуют уже завершившиеся матчи, так что задача может звучать "сегодня за вчера". КФ нужно будет снять с одного рынка, но с какого именно - для этого нужно будет применять определенный алгоритм сравнения.
2. На основании полученных данных должны быть составлены таблицы по конкретному чемпионату, в которые полученные дынные заносятся за каждый игровой день путем добавления очередной колонки с результатами. После добавления ткущие итоги рассчитываются и общие пересчитываются. Алгоритм и формулы формулируются.

Пока как-то так ...