Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > IT форум > Общие вопросы по программированию, компьютерный форум
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 11.04.2012, 06:13   #1
Mixim
Форумчанин
 
Регистрация: 29.10.2009
Сообщений: 259
Вопрос Сверхбольшие базы данных - VLDB

Решил немного почитать про базы данных и наткнулся на такое интересное понятие, как "Very Large DataBase", объем которых измеряется в петабайтах(1ПБ = 1024Тб). Произвел небольшой расчет: допустим, что нам необходимо хранить данные о 2'000'000'000 китайцах(имя, место рождения, место жительство и т.д.) под каждого из которых в базе потребуется 5Кбайт=>2000000000*5=10'000'000'000 Кбайт=9765625Мб=9536Гб=10Тб, т.е. до 1ПБ даже 2'000'000'000 китайцев не дотягивает и это с учетом того, что для хранения информации о каждом из них использовалось 5Кбайт, а 5Кбайт - это не так уж и мало.
Ладно, решил в сети найти примеры сверхбольших баз данных - нашел кучу конференций по их поводу, а конкретного примера нет.
Может кто сталкивался с такими базами или хотя бы что о них слышал - для чего они нужны, что в них хранится, сколько в них таблиц и полей в этих таблицах?
Из всех классических книг, посвященных программированию, ненавижу всего одну - русский перевод книги Роберта Седжвика-"Фундаментальные алгоритмы C++". Предпочитаю читать её в оригинале.
Mixim вне форума Ответить с цитированием
Старый 11.04.2012, 16:26   #2
DENGA-RU
Пользователь
 
Регистрация: 02.04.2009
Сообщений: 33
По умолчанию

Там наверно не обязательно текстовая информация хранится, вполне возможно это и биометрическая информация и фото, видео, аудио записи хранятся
DENGA-RU вне форума Ответить с цитированием
Старый 11.04.2012, 20:13   #3
s-andriano
Старожил
 
Аватар для s-andriano
 
Регистрация: 08.04.2012
Сообщений: 3,229
По умолчанию

5 Кбайт - это, конечно, немало, но, боюсь в них не поместится более или приемлемое фото китайца (чтобы по нему можно было отличить этого китайца от любого другого).
s-andriano вне форума Ответить с цитированием
Старый 11.04.2012, 21:49   #4
Alex&(R)
Пользователь
 
Аватар для Alex&(R)
 
Регистрация: 15.05.2011
Сообщений: 14
По умолчанию

А если вдруг понадобится хранить код ДНК, и не только китайцев, а каждого человека на Земле.
Alex&(R) вне форума Ответить с цитированием
Старый 12.04.2012, 12:51   #5
Mixim
Форумчанин
 
Регистрация: 29.10.2009
Сообщений: 259
Подмигивание

Цитата:
Сообщение от Alex&(R) Посмотреть сообщение
А если вдруг понадобится хранить код ДНК, и не только китайцев, а каждого человека на Земле.
Ну это уже бред!
Фото - я еще согласен - 1Мб * 2'000'000'000=2'000'000'000Мб=19531 25Гб=1907Тб. Однако лично я нигде не натыкался на БД, в которых хранятся фото. Можно пример?
Из всех классических книг, посвященных программированию, ненавижу всего одну - русский перевод книги Роберта Седжвика-"Фундаментальные алгоритмы C++". Предпочитаю читать её в оригинале.
Mixim вне форума Ответить с цитированием
Старый 12.04.2012, 14:47   #6
Аватар
Старожил
 
Аватар для Аватар
 
Регистрация: 17.11.2010
Сообщений: 19,042
По умолчанию

Одной из самых больших научных баз данных является база данных проекта BaBar. Целью эксперимента BaBar является изучение поведения B-мезонов, получаемых на коллайдере PEP-II в Стэндфордском центре линейного ускорителя (Stanford Linear Accelerator Center). Детектор BaBar поставляет около 500 Гбайт информации ежедневно. Данная информация сохраняется в базе данных BaBar, объем которой сегодня составляет более 500 Тбайт. Система включает в себя 2000 процессоров и 100 серверов.
Если бы архитекторы строили здания так, как программисты пишут программы, то первый залетевший дятел разрушил бы цивилизацию
Аватар вне форума Ответить с цитированием
Старый 12.04.2012, 15:17   #7
DiemonStar
Старожил
 
Регистрация: 08.02.2012
Сообщений: 2,173
По умолчанию

Цитата:
Ну это уже бред!
Почему бред? я прекрасно помню компьютеры с НЖМД аж в 60+ мегабайт информации. Сейчас уже и терабайтом мало кого удивишь - и такие объёмы заполняются с изрядной периодичностью. Тут по-моему сколько не давай - всегда найдётся чем заполнить)))
Правильно поставленная задача - три четверти решения.
DiemonStar вне форума Ответить с цитированием
Старый 13.04.2012, 14:52   #8
Mixim
Форумчанин
 
Регистрация: 29.10.2009
Сообщений: 259
Подмигивание

Цитата:
Сообщение от DiemonStar Посмотреть сообщение
Почему бред? я прекрасно помню компьютеры с НЖМД аж в 60+ мегабайт информации. Сейчас уже и терабайтом мало кого удивишь - и такие объёмы заполняются с изрядной периодичностью. Тут по-моему сколько не давай - всегда найдётся чем заполнить)))
"Хранить код ДНК каждого жителя Земли" - извиняюсь, но это даже звучит бредово. С учетом того, что из всей цепочки ДНК, кажется, расшифровано всего несколько процентов, это просто бессмысленно. Как-то читал статью про расшифровку ДНК(пару лет назад это было) и там приводились данные, что расшифровано всего ~5-10% процентов этой самой ДНК.
К тому же, зачем может понадобиться эта информация, чтобы лет через 200 "стряпать клонов" всяких Верок Сердючек, Пугачевых и т.д. Хранение такого набора данных должно быть четко и разумно обосновано, выражения из вида:"А вдруг это когда-то понадобиться" вызывают у меня один ответ:"Вдруг только понос у детей"(известное выражение), не прими его за хамство.
Цитата:
Сообщение от Аватар Посмотреть сообщение
Одной из самых больших научных баз данных является база данных проекта BaBar. Целью эксперимента BaBar является изучение поведения B-мезонов, получаемых на коллайдере PEP-II в Стэндфордском центре линейного ускорителя (Stanford Linear Accelerator Center). Детектор BaBar поставляет около 500 Гбайт информации ежедневно. Данная информация сохраняется в базе данных BaBar, объем которой сегодня составляет более 500 Тбайт. Система включает в себя 2000 процессоров и 100 серверов.
Спасибо за информацию, первый раз услышал про BaBar. Вот это действительно аргументация за большие базы данных. Но с учетом современных технологий, с учетом скорости обработки данных(относительно объема в сотни или тысячи петабайт), думаю все это проанализируется очень нескоро.
Мое личное мнение по поводу таких объемов и их обработки: нужны компьютеры другого уровня, другого поколения, чтобы все это переварить!
Из всех классических книг, посвященных программированию, ненавижу всего одну - русский перевод книги Роберта Седжвика-"Фундаментальные алгоритмы C++". Предпочитаю читать её в оригинале.
Mixim вне форума Ответить с цитированием
Старый 13.04.2012, 18:46   #9
s-andriano
Старожил
 
Аватар для s-andriano
 
Регистрация: 08.04.2012
Сообщений: 3,229
По умолчанию

Цитата:
Сообщение от Mixim Посмотреть сообщение
С учетом того, что из всей цепочки ДНК, кажется, расшифровано всего несколько процентов, это просто бессмысленно.
Вам не кажется, что для самого процесса расшифровки необходима достаточно представительная база ДНК?
А то получается как в анекдоте: "вы сначала плавать научитесь, а потом мы вам в бассейн воду нальем".

Насчет научных данных - никогда нельзя предсказать заранее, что именно потребуется, а что - нет.
И гораздо лучше, если 99% базы никогда не будет востребовано, чем если из необходимых данных в базе окажется лишь 99%.
Кстати, в Ленинской библиотеке более половины единиц хранения НИ РАЗУ не были затребованы. Но это совсем не значит, что такие библиотеки никому не нужны.
s-andriano вне форума Ответить с цитированием
Старый 21.04.2012, 11:13   #10
wm_leviathan
Форумчанин
 
Аватар для wm_leviathan
 
Регистрация: 17.02.2010
Сообщений: 399
По умолчанию

А к примеру социальные сети ? миллионы пользователей и у каждого куча фото видео и прочих данных и инфы. уверен что вконтакте точно измеряется петабайтами.
wm_leviathan вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Базы данных: репликация и хранилище данных Nikitashtab Фриланс 0 04.11.2011 23:11
Базы данных изменение данных (Delphi (ADO)). RuthlessD Помощь студентам 0 16.06.2011 19:57
проверка базы данных на корректность веденных данных samouelson БД в Delphi 1 20.12.2009 17:23