Масштабирование реальное и мнимое: почему не все NAS-платформы класса All-Flash одинаковы

Поделиться:
Copied!

Широко известно, что горизонтально-масштабируемые NAS-системы могут объединять множество узлов и хранить невероятные объемы данных, а использование флэш-памяти позволяет им достигать высочайшей скорости работы и эффективности — по крайней мере, в теории. К сожалению, не все NAS-платформы класса All-Flash одинаковы.

Isilon — рыночный и технологический лидер среди NAS-платформ с горизонтальным масштабированием: она достигла такого признания благодаря многолетним инновациям. В платформе Isilon была впервые представлена концепция горизонтально-распределенной файловой системы на основе серверов/узлов стандартной архитектуры x86. Ниже приводится краткий обзор ряда последних достижений в технологиях NAS-платформ с горизонтальным масштабированием, которые мы реализовали в Isilon:

Многопротокольное озеро данных. Доступ к одному срезу данных по различным файловым (IP) протоколам. Например, мы можем массировано записывать данные по протоколу FTP, записанные данные тут же анализировать, используя HDFS и различные дистрибутивы Hadoop, а результаты аналитики предоставить в онлайн-режиме через WEB, используя протокол Open Stack Swift.

Небольшие подразделения, центральный ЦОД, облако. Расширение центрального озера данных Isilon включая: программное определяемые СХД (SDS) для небольших подразделений (департаментов) с возможностью двухсторонней репликации в центральный массив Isilon, в основном ЦОДе, и расширенные политики по миграции архивных данных в облака (публичные и частные). Предоставление клиентам единого репозитория с глобальным охватом.

Платформа Isilon класса All-Flash. Мы сделали революционный шаг, выпустив платформу Isilon нового поколения, работающую полностью на флэш-памяти (класс All-Flash).

Платформа Dell EMC Isilon класса All-Flash  удовлетворяет потребности наших клиентов при работе с неструктурированной (файловой) информацией. Но производительность этой NAS-платформы высока не только благодаря флэш-памяти. Платформа Isilon класса All-Flash — это комбинация нашей новой специализированной ультраплотной архитектуры флэш-узлов с нашей уже зарекомендовавшей себя файловой системой OneFS, ориентированной на горизонтальное масштабирование. Флэш-память расширяет возможности Isilon, сохраняя всю функциональность OneFS. В итоге пользователи получают массу преимуществ, среди которых:

  • Поддержка различных файловых протоколов, в том числе и протоколы аналитических систем (HDFS);
  • Полная автоматизация передачи данных между клиентской системой, ЦОД и облаком;
  • Безопасное управление корпоративными данными;
  • Автоматическое распределение по уровням на основе политик;
  • Неограниченное масштабирование и производительность.

NAS-платформа с горизонтальным масштабированием может показаться пользователям довольно простой, однако спроектировать, создать и протестировать такой продукт очень сложно. Возможности таких систем очень широки, но и клиенты ожидают от них все большего, поэтому для достижения успеха необходимо прикладывать постоянные усилия — конкурентная гонка ведется в формате марафона, а не спринта.  В качестве демонстрации мы представим серию статей, где подробно рассмотрим функции NAS с горизонтальным масштабированием, необходимые для успеха клиентов, и подход к их реализации у нас и у других поставщиков.

Конкуренция в сфере NAS-платформ класса All-Flash с горизонтальным масштабированием

Одна из характерных особенностей технологической отрасли — активная конкуренция между поставщиками. Это идет на пользу клиентам, ведь чтобы выиграть в конкурентной борьбе, поставщики вынуждены постоянно поднимать планку качества для своих продуктов и услуг. Однако некоторые поставщики неправильно понимают смысл конкуренции. Они дают все более громкие обещания, за которыми их продукты просто не поспевают.

Чтобы узнать правду, скрывающуюся за подобной рекламной мишурой, мы рассмотрим самые громкие (а иногда просто смехотворные) из таких заявлений. И в первой статье мы поговорим о масштабируемости, которая, естественно, является основной характеристикой NAS-платформы с горизонтальным масштабированием.

Для начала, рассмотрим заявление Pure Storage о том, что их NAS-платформа FlashBlade «МАСШТАБНАЯ. До десятков петабайт».

Шасси FlashBlade, заполненное блейд-серверами с максимальной емкостью, содержит всего 1607 ТБ «полезной» емкости, если поверить в универсальную применимость к наборам файловых данных заявленного Pure сжатия в соотношении 3:1 (см. текст мелким шрифтом под спецификациями).

Один кластер FlashBlade поддерживает «масштабирование» до «полезной» емкости двух шасси, или 3,2 ПБ, что как минимум втрое меньше, чем «десятки петабайт».  Можно ли считать такую архитектуру горизонтально-масштабируемой, если она не способна поддерживать более двух шасси? Возможно, Pure считает, что масштабирование — это конгломерация множества независимых систем, например, целый склад USB-накопителей?

Из-за низкой масштабируемости FlashBlade появляются фрагментированные «острова» хранения данных — ту самую проблему, для решения которой и используются Scale-Out NAS-системы.  Что бы вы предпочли как клиент: единую файловую систему, охватывающую свыше 100 узлов (которая упрощает управление и устраняет проблемы с монтированием томов и переносом данных), или управление множеством изолированных систем?

 

Или, если поставить вопрос иначе: какой тип «масштабирования» был бы оптимальным для организаций, столкнувшихся с волной роста неструктурированных данных? Рассмотрим два примера.

Благодаря тому, что секвенирование генома человека значительно подешевело, эта технология становится доступнее для людей во всем мире. Современные секвенсоры генов могут создавать геномную последовательность каждый час. Всего за 30 дней один секвенсор создаст около 100 ТБ предварительно сжатых данных. В результате всего четыре секвенсора истощат ресурсы кластера FlashBlade спустя немногим более 90 дней. А теперь представьте накопительный эффект на 2-м или 3-м году. Без автоматического перенаправления архивных наборов данных на другой уровень вам придется создавать отдельные хранилища и переносить данные вручную.

Другой пример: при автоматизированном проектировании микросхем (EDA) слагаемые успеха — это инновации и скорость выхода на рынок. Необходимая емкость хранилища для EDA измеряется десятками петабайт, причем в каждый конкретный момент времени активно лишь 20–30 % данных, а по мере того как микросхемы становятся компактнее, наборы данных вырастают, ежегодно удваивая требования к емкости для производителя микросхем. Если предположить, что сегодня производителю EDA требуется 40 ПБ данных, организациям с активным хранилищем на 10 ПБ, которые хотят использовать решения FlashBlade, скорее всего, придется создавать несколько хранилищ данных, чтобы обойти ограничения своего пространства имен.

И это не исключения. В эпоху стремительного развития цифровой экономики ИТ-организации всего мира вынуждены поддерживать неограниченную масштабируемость и высочайшую производительность мощных приложений. Именно поэтому утверждение Pure Storage о масштабируемой  на десятки петабайт системе не выдерживает никакой критики.

Тогда как Dell EMC Isilon класса All-Flash поддерживает действительно большие наборы данных с масштабированием до 144 узлов и 33 ПБ флэш-памяти в рамках одной файловой системы. Вам не нужно сразу 33 ПБ флэш-памяти Isilon? Нет проблем. Можно начать с малого — с одного шасси с 4 узлами на 72 ТБ. А теперь представьте, насколько удобно было бы менять шины у болида «Формулы-1», не заезжая в пит-стоп, в то время как он мчится по трассе со скоростью свыше 300 км/ч. Горизонтальное масштабирование кластера Isilon выполняется именно так. Без прерывания работы. Легко — всего одним нажатием. А еще — быстро:  вы сможете нарастить производительность и емкость кластера Isilon менее чем за 60 секунд.

Поскольку в Isilon данные автоматически распределяются по уровням на основе политик, в вашем центре обработки данных не будут множиться изолированные флэш-хранилища. Благодаря поддержке различных типов узлов — All-Flash, гибридных и архивных — вы можете выбрать для себя подходящую комбинацию, чтобы консолидировать свои неструктурированные данные и значительно сократить совокупную стоимость владения.

Впрочем, необязательно верить нам на слово. Поверьте организациям, таким как институт исследования генома Translational Genomics Research Institute (TGEN) и киностудия Lightstorm Entertainment, которые выбирают платформу Isilon класса All-Flash за ее невероятную мощность и реальные возможности горизонтального масштабирования.

Continue Reading
Вы хотели бы видеть больше похожих материалов?
Все комментарии проходят модерирование. Комментарии не по теме и вопросы сервисного характера публиковаться не будут, как и любой материал, который будет признан неуместным, в том числе рекламные либо оскорбительные материалы. Технические вопросы просьба адресовать сюда: Support Forums, по вопросам техподдержки и сервиса просьба обращаться сюда: поддержка Dell EMC.