Компания Cleversafe, создающая объектные системы хранения данных, сделала сообщение о том, что при необходимости она сможет построить систему для хранения 10 экзабайт данных (1 экзабайт равен миллиард гигабайт).
Чтобы получить приблизительное представление о подобном объеме данных, прикинем: 1 тысяча гигабайт составляет 1 террабайт, память емкостью в 1 Тбайт может вместить до 300 часов видео. Соответственно емкость новой системы хранения Cleversafe больше в миллион раз!
Для создания системы хранения в 10 Эбайт в разрабатываемом проекте требуется до 4,5 млн жестких дисков емкостью в 3 Тбайт. На данный момент стоимость такого диска составляет около $150, то есть для создания системы заявленного масштаба потребуется до $700 млн. — и это только за сами накопители. Стоимость же системы в целом, учитывая затраты на стойки, сетевое оборудование и программное обеспечение, составит миллиарды, признал Расс Кеннеди, вице-президент компании по стратегии в области продуктов.
Системы хранения данных в таком масштабе еще не существует, но компания уже развернула эталонную конфигурацию на несколько десятков петабайт, распределенную по ЦОД в восьми штатах, включая Нью-Джерси, Калифорнию, Флориду, Техас и Иллинойс.
«Эту конфигурацию мы создали для демонстрации работоспособности большой системы, — пояснил Кеннеди. — А построим систему в полной конфигурации, когда у пользователей возникнет в ней необходимость. Сейчас у нас есть несколько очень интересных запросов».
Частная компания Cleversafe основана в 2004 году. Она финансируется из венчурных фондов, в том числе In-Q-Tel, образованного ЦРУ для инвестирования стартапов, занимающихся перспективными с точки зрения спецслужб технологиями. Объем финансирования составляет $31 млн. в год.
Инструменты для анализа больших объемов данных используются для самых разнообразных целей — от анализа шаблонов трафика, позволяющих выявить мошенничество, до изучения потребительского спроса в интернет-магазинах.
Для создания гигантской системы хранения данных Cleversafe использует оригинальную технологию Dispersed Storage; перед записью в память данные разделяются с помощью алгоритма Коши Рида-Соломона. Разделенные данные, или «слои данных», как их называют в Cleversafe, распределяются по многочисленным узлам хранения, для обмена данными используется протокол TCP/IP.
Все данные хранятся в едином пространстве под одним доменным именем, поэтому для клиента вся емкость представляется единым пулом. Система является безопасной по сути, поскольку каждый отдельный слой данных не может быть воссоздан без использования метаданных, хранящихся в центральной базе, а без этого хранящаяся в нем информация не поддается распознаванию.
До сих пор у Cleversafe нет еще ни одного заказа на систему 10-экзабайтного масштаба, но Кеннеди сказал, что компании уровня "Fortune 50" уже проявляют к ней большой интерес.
«Идея рассредоточения и возможности хранить крупные неструктурированные объекты, в которой можно было бы избежать необходимости применять копирование или тиражирование способствует росту интереса к системам такого типа, — отметил он. — Большинству современных объектных систем хранения требуются не одна, а несколько копий данных для гарантии их сохранности. Мы же обеспечиваем все необходимые требования на единственной копии».