|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
|
Опции темы | Поиск в этой теме |
28.07.2016, 12:39 | #11 | |||
Пользователь
Регистрация: 24.01.2010
Сообщений: 92
|
Цитата:
Цитата:
Цитата:
|
|||
28.07.2016, 12:51 | #12 |
Старожил
Регистрация: 15.02.2010
Сообщений: 15,760
|
Давайте посмотрим на офф. цифры яндекса на 2013 год:
Паук рунет: Качающие сервера: 300; Нагрузка: 20 000 документов в секунду; Трафик: 400 МБайт/с (3200 Мбит/с). Робот (без серверов MapReduce) Российская база: Кластер вычисления факторов: 650; Варка поисковой базы: 169; Тестовые сервера: 878; Архив: 172. В базе хранится около 25 миллиардов документов (214 ТБ), два раза в неделю она полностью пересчитывается. И т.д. добавьте балансировщиков, кэширование, серверы для бд,... И что сделает ваша одна машина раз в неделю? И как вы сможете ее раз в неделю запускать, если сами посчитали, что на один запуск дней 10 надо? |
28.07.2016, 13:12 | #13 | |||
Пользователь
Регистрация: 24.01.2010
Сообщений: 92
|
Цитата:
Цитата:
Цитата:
|
|||
28.07.2016, 13:19 | #14 |
Форумчанин
Регистрация: 03.06.2015
Сообщений: 393
|
Может ты таки обратишь внимание на этот пост? http://programmersforum.ru/showpost....81&postcount=3
Особенно на первое предложение от p51x'a Хотя забей на все сарказмы и вопросы, начинай уже выбирать остров, который купишь с мегадохода P.S.: А название то хоть есть уже? P.P.S.: кажись мы кормим тролля или дурака (что одно и то же)
Вы там держитесь.
Последний раз редактировалось TaLadno; 28.07.2016 в 13:25. |
28.07.2016, 13:19 | #15 | ||||
Старожил
Регистрация: 15.02.2010
Сообщений: 15,760
|
Цитата:
Цитата:
Цитата:
Паук Все вместе: Качающие сервера: 700; Нагрузка: 35 000 документов в секунду; Трафик: 700 МБайт/с (5600 Мбит/с). Робот Кластер вычисления факторов: 650 + 301; Варка поисковой базы: 169 + 120; Тестовые сервера: 878 + ???; Архив: 172 + 60. Цитата:
Кстати, вы раньше не писали где-нибудь с подобной историей? А то она очень знакома... |
||||
28.07.2016, 13:38 | #16 |
Лис
Старожил
Регистрация: 18.09.2015
Сообщений: 2,409
|
Это не обработка запросов. А обход и разложение всех страниц по полочкам.
215 ТБ это без картинок и музаки- это индекс. Притом уже сжатий со степенью 30 % от интернета. Паук может генериррвать в секунду 1 000-60 000 запросов. Ограничение сокетов. Столькоже запросов может обработать один процессор. Рунет 30 милионов доменов. На каждом 30-1000 страниц. Так вот чтобы проиндексировать рунет вам потребуется 1-10 милион секунд. 8 тыс в сутках. Обход одного интернета у вас займёт 1 000 суток! 3 - года. У Яндекса качающих серверов 300 шт. 1000 суток/300 компов = 3,3 суток.
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
У дзен программиста программа делает то что он хотел, а не то что он написал . |
28.07.2016, 14:04 | #17 | ||||||
Пользователь
Регистрация: 24.01.2010
Сообщений: 92
|
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
Цитата:
|
||||||
|
Опции темы | Поиск в этой теме |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
C# Разработка информационно-поисковой системы (windows forms) | natali75675 | Фриланс | 7 | 11.04.2016 22:01 |
Написать движок поисковой системы | SilverLord | Фриланс | 0 | 14.05.2012 18:12 |
Организация многопоточности сервера игры для соц. сети | Willer55 | Gamedev - cоздание игр: Unity, OpenGL, DirectX | 1 | 07.12.2011 10:02 |
Создание поисковой системы | L_Anya | Помощь студентам | 1 | 28.10.2011 23:18 |
Создание поисковой системы для программистов | tarpedo | Свободное общение | 21 | 16.07.2009 16:22 |