Форум программистов
 
Контакты: о проблемах с регистрацией, почтой и по другим вопросам пишите сюда - alarforum@yandex.ru, проверяйте папку спам! Обязательно пройдите активизацию e-mail.

Вернуться   Форум программистов > Web > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail


Ответ
 
Опции темы
Старый 20.04.2018, 13:44   #1
ЕкатеринаБр
Новичок
 
Регистрация: 08.12.2015
Сообщений: 1
Репутация: 10
Вопрос Создание поисковой системы, используя Google и Яндекс

Нужно написать поисковую систему, которая используя поиск Гугла и Яндекса, выдает результаты поиска и спарсить содержимое с данных ссылок.

Для гугла результаты выдаются хорошо и постоянно, а вот для Яндекса, один запрос в день, как можно исправить данную ситуацию?

Вот код:
Снимок5.PNG


И второй вопрос. Парсинг, тоже работает странно. Ссылок гугла выдает к примеру 30,а у яндекса 25,в сумме 55, а парсятся всего ссылок 10-15. И как сделать,чтобы муссор(ввиде тегов не парсился). Проблема в том, что ссылок много и с них всех нужно считать информацию.
Код:
Снимок4.jpg



Снимок2.jpg

Снимок1.PNG

Снимок3.PNG

______________________
Используйте тег [CODE] (кнопка с решеткой # в форме сообщения) при вставке кода на форум, а не картинки. И не злоупотребляйте форматированием.

Последний раз редактировалось ЕкатеринаБр; 20.04.2018 в 14:50.
ЕкатеринаБр вне форума   Ответить с цитированием
Старый 20.04.2018, 14:38   #2
Stanislav
Квадрокоптерист
Профессионал
 
Регистрация: 29.09.2007
Сообщений: 1,804
Репутация: 532
По умолчанию

На сколько я помню у яндекса был API у гугла не помню. если Ваш скрипт будет часто дергать страницу, выскочит капча от ботов.
__________________
Я часть той силы, что вечно хочет зла, но вечно совершает благо..
Stanislav вне форума   Ответить с цитированием
Старый 24.04.2018, 23:22   #3
Ottava
Форумчанин
 
Регистрация: 05.09.2017
Сообщений: 105
Репутация: 121
По умолчанию

Цитата:
Сообщение от Stanislav Посмотреть сообщение
На сколько я помню у яндекса был API.
Совершенно точно, Яндекс.XML называется (https://habr.com/post/116479/ - пример работы из .Net среды). Надо регистрировать свой IP-адрес и подписывать лицензионное соглашение, иначе будет сначала капча, потом бан.

Гугль тоже забанит при большом количестве запросов.


ЕкатеринаБр, гуглите "Метапоисковая система", это поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счет смешивания и переранжирования результатов поиска других поисковых систем.

Последний раз редактировалось Ottava; 24.04.2018 в 23:25.
Ottava вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
C# Разработка информационно-поисковой системы (windows forms) natali75675 Фриланс 7 11.04.2016 23:01
Написать движок поисковой системы SilverLord Фриланс 0 14.05.2012 18:12
Создание поисковой системы L_Anya Помощь студентам 1 28.10.2011 23:18
Создание поисковой системы для программистов tarpedo Свободное общение 21 16.07.2009 16:22


12:07.


Powered by vBulletin® Version 3.8.8 Beta 2
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.

RusProfile.ru


Справочник российских юридических лиц и организаций.
Проекты отопления, пеллетные котлы, бойлеры, радиаторы
интернет магазин respective.ru