Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Web программирование > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 20.04.2018, 12:44   #1
ЕкатеринаБр
Новичок
Джуниор
 
Регистрация: 08.12.2015
Сообщений: 1
Вопрос Создание поисковой системы, используя Google и Яндекс

Нужно написать поисковую систему, которая используя поиск Гугла и Яндекса, выдает результаты поиска и спарсить содержимое с данных ссылок.

Для гугла результаты выдаются хорошо и постоянно, а вот для Яндекса, один запрос в день, как можно исправить данную ситуацию?

Вот код:
Снимок5.PNG


И второй вопрос. Парсинг, тоже работает странно. Ссылок гугла выдает к примеру 30,а у яндекса 25,в сумме 55, а парсятся всего ссылок 10-15. И как сделать,чтобы муссор(ввиде тегов не парсился). Проблема в том, что ссылок много и с них всех нужно считать информацию.
Код:
Снимок4.jpg



Снимок2.jpg

Снимок1.PNG

Снимок3.PNG

______________________
Используйте тег [CODE] (кнопка с решеткой # в форме сообщения) при вставке кода на форум, а не картинки. И не злоупотребляйте форматированием.

Последний раз редактировалось ЕкатеринаБр; 20.04.2018 в 13:50.
ЕкатеринаБр вне форума Ответить с цитированием
Старый 20.04.2018, 13:38   #2
Stanislav
Квадрокоптерист
Участник клуба Подтвердите свой е-майл
 
Регистрация: 29.09.2007
Сообщений: 1,824
По умолчанию

На сколько я помню у яндекса был API у гугла не помню. если Ваш скрипт будет часто дергать страницу, выскочит капча от ботов.
Я часть той силы, что вечно хочет зла, но вечно совершает благо..
Stanislav вне форума Ответить с цитированием
Старый 24.04.2018, 22:22   #3
Ottava
Форумчанин
 
Регистрация: 05.09.2017
Сообщений: 157
По умолчанию

Цитата:
Сообщение от Stanislav Посмотреть сообщение
На сколько я помню у яндекса был API.
Совершенно точно, Яндекс.XML называется (https://habr.com/post/116479/ - пример работы из .Net среды). Надо регистрировать свой IP-адрес и подписывать лицензионное соглашение, иначе будет сначала капча, потом бан.

Гугль тоже забанит при большом количестве запросов.


ЕкатеринаБр, гуглите "Метапоисковая система", это поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счет смешивания и переранжирования результатов поиска других поисковых систем.
Безопасность с Content Security Policy

Последний раз редактировалось Ottava; 24.04.2018 в 22:25.
Ottava вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
C# Разработка информационно-поисковой системы (windows forms) natali75675 Фриланс 7 11.04.2016 22:01
Написать движок поисковой системы SilverLord Фриланс 0 14.05.2012 18:12
Создание поисковой системы L_Anya Помощь студентам 1 28.10.2011 23:18
Создание поисковой системы для программистов tarpedo Свободное общение 21 16.07.2009 16:22