Dell EMC Isilon и Dell EMC DSS 8440: тестирование эталонной архитектуры

Поделиться:
Copied!

Ключевые функции массива Isilon делают его мощным хранилищем для решений DL. Мы представили высокопроизводительную архитектуру для DL, объединив серверы Dell EMC DSS 8440 с графическими процессорами Tesla V100, NAS Dell EMC Isilon F800 All-Flash и коммутаторы Dell EMC POWERSWITCH S5232. Эта новая эталонная архитектура делает решение задач ИИ более простым и доступным для каждой организации.

2-процессорный сервер DSS 8440 в корпусе 4U обеспечивает высокую производительность вычислений. Его открытая архитектура максимально расширяет возможности выбора инфраструктуры машинного обучения, а также предоставляет лучшие в своем классе технологии (объединяя технологии поставщика серверов №1 и поставщика графических процессоров №1). Это позволяет адаптировать инфраструктуру машинного обучения к конкретным потребностям.

Сервер оснащается 4, 8 или 10 графическими процессорамми NVIDIA® Tesla® V100 Tensor Core в сочетании с 2 процессорами Intel для системных функций, а также высокопроизводительной коммутирующей фабрикой PCIe для быстрого ввода-вывода он содержит до 10 локальных накопителей NVMe и SATA для оптимизированного доступа к данным. Этот сервер обладает как высокой производительностью, так и гибкостью, что делает его идеальным решением для задач машинного обучения, а также других ресурсоемких рабочих нагрузок, таких как моделирование, предиктивная аналитика и анализ в инженерных и научных средах.

Сервер Dell EMC DSS 8440 с 10 графическими процессорами Tesla V100.

NVIDIA GPU Cloud (NGC) предлагает реестр оптимизированных контейнеров для широкого спектра сред машинного обучения, включая TensorFlow, PyTorch, и

MXNet. Наряду с настроенным на производительность стеком NVIDIA AI эти интегрированные контейнеры включают набор инструментов NVIDIA® CUDA®, библиотеки глубокого обучения NVIDIA и лучшее программное обеспечение ИИ. Они помогают ученым и исследователям данных быстро создавать, обучать и развертывать модели искусственного интеллекта.

Тестирование

Мы предлагаем нашим клиентам осознанный выбор и гибкость при развертывании высокопроизводительного DL в масштабе. Чтобы проверить эту архитектуру, мы провели несколько тестов классификации изображений и представили данные о производительности системы на основе скорости обработки изображений и профиля пропускной способности ввода-вывода.

 

Результаты тестов

Результаты тестов: пропускная способность системы при обучении модели (представлены результаты для контейнера 19.03-py3).

Тесты проводились с графическими процессорами Tesla V100-PCIE-32GB, установленными на сервере DSS 8440.

Из результатов тестов можно сделать несколько выводов.

  • Максимальная поддерживаемая пропускная способность Isilon достигается с10 графическими процессорами. Общая пропускная способность хранилища составила 831 МБ/с. Это далеко от максимальной пропускной способности кластера Isilon, используемого в этом тесте, которая может превышать 15 000 МБ/с (в зависимости от схемы ввода-вывода).
  • Для всех тестов загрузка каждого GPU составляла до 97% или выше. Это указывает на то, что узким местом был графический процессор.
  • Максимальная загрузка ЦП на сервере DSS 8440 составила 60%.

Мы также провели мониторинг и представили статистику использования ЦП, использования графического процессора и памяти, которая показала, что ресурсы графического процессора были задействованы полностью, при этом ввод-вывод не был полностью насыщен.

На протяжении всех тестов мы проверяли способность Isilon All-Flash F800 поддерживать скорость вычислений и линейно масштабировать производительность в сочетании с серверами Dell EMC DSS 8440.

Важно отметить, что алгоритмы DL предъявляют разнообразные требования к профилям вычислений, памяти, ввода-вывода и емкости диска. Тем не менее, представленные здесь сведения можно использовать в качестве отправной точки для построения решений DL, адаптированных к различным наборам требований к ресурсам. Все компоненты этой архитектуры являются линейно масштабируемыми и могут независимо наращиваться для решений DL, работающих с петабайтными массивами данных.

Таким образом, решения DL на базе массива Isilon обеспечивают емкость (до 58 ПБ на кластер), производительность и высокий уровень параллелизма для устранения узких мест в системе хранения ввода-вывода для задач ИИ. Это обеспечивает надежную основу для крупномасштабных решений DL корпоративного уровня с перспективной архитектурой горизонтального масштабирования, которая отвечает потребностям современных нагрузок ИИ и легко наращивается для будущих задач.

Continue Reading
Вы хотели бы видеть больше похожих материалов?

Related Posts

Борис Щербаков – профессор ИБДИ РАНХиГС

Мы рады поздравить Бориса Щербакова, вице-президента и генерального директора компании Dell Technologies в России, с присвоением звания профессора-практика Института бизнеса и делового администрирования РАНХиГС … ЧИТАТЬ БОЛЬШЕ

DellEMC Russia 25 декабря 2019 г.

IIoT: четыре шага на пути миграции к “умному предприятию”

Благодаря миниатюризации датчиков практически все системы и инфраструктуру предприятия сегодня можно интегрировать в сеть. Однако для работы в оптимизированном и автономном режиме производственные площадки на о … ЧИТАТЬ БОЛЬШЕ

DellEMC Russia 23 декабря 2019 г.

Борис Щербаков рассказал, как ИТ-рынок готовится к 2020 году

Журнал CRN собрал прогнозы крупнейших игроков рынка ИТ на тему будущей трансформации отрасли в 2020 году. Борис Щербаков, вице-президент и генеральный директор компании Dell Technologies в России рассказал о то … ЧИТАТЬ БОЛЬШЕ

DellEMC Russia 20 декабря 2019 г.

Как помочь предприятиям ориентироваться в сложных мультиоблачных ландшафтах

Мультиоблачные модели подразумевают проектирование мультиоблачной среды, внедрение и интеграцию частных и публичных облаков. Именно здесь партнеры могут открыть для себя новые возможности: помочь организациям о … ЧИТАТЬ БОЛЬШЕ

DellEMC Russia 13 декабря 2019 г.
Загрузить больше
Все комментарии проходят модерирование. Комментарии не по теме и вопросы сервисного характера публиковаться не будут, как и любой материал, который будет признан неуместным, в том числе рекламные либо оскорбительные материалы. Технические вопросы просьба адресовать сюда: Support Forums, по вопросам техподдержки и сервиса просьба обращаться сюда: поддержка Dell EMC.