Контакты

Dell EMC Isilon и Dell EMC DSS 8440: тестирование эталонной архитектуры

Поделиться:
Copied!

Ключевые функции массива Isilon делают его мощным хранилищем для решений DL. Мы представили высокопроизводительную архитектуру для DL, объединив серверы Dell EMC DSS 8440 с графическими процессорами Tesla V100, NAS Dell EMC Isilon F800 All-Flash и коммутаторы Dell EMC POWERSWITCH S5232. Эта новая эталонная архитектура делает решение задач ИИ более простым и доступным для каждой организации.

2-процессорный сервер DSS 8440 в корпусе 4U обеспечивает высокую производительность вычислений. Его открытая архитектура максимально расширяет возможности выбора инфраструктуры машинного обучения, а также предоставляет лучшие в своем классе технологии (объединяя технологии поставщика серверов №1 и поставщика графических процессоров №1). Это позволяет адаптировать инфраструктуру машинного обучения к конкретным потребностям.

Сервер оснащается 4, 8 или 10 графическими процессорамми NVIDIA® Tesla® V100 Tensor Core в сочетании с 2 процессорами Intel для системных функций, а также высокопроизводительной коммутирующей фабрикой PCIe для быстрого ввода-вывода он содержит до 10 локальных накопителей NVMe и SATA для оптимизированного доступа к данным. Этот сервер обладает как высокой производительностью, так и гибкостью, что делает его идеальным решением для задач машинного обучения, а также других ресурсоемких рабочих нагрузок, таких как моделирование, предиктивная аналитика и анализ в инженерных и научных средах.

Сервер Dell EMC DSS 8440 с 10 графическими процессорами Tesla V100.

NVIDIA GPU Cloud (NGC) предлагает реестр оптимизированных контейнеров для широкого спектра сред машинного обучения, включая TensorFlow, PyTorch, и

MXNet. Наряду с настроенным на производительность стеком NVIDIA AI эти интегрированные контейнеры включают набор инструментов NVIDIA® CUDA®, библиотеки глубокого обучения NVIDIA и лучшее программное обеспечение ИИ. Они помогают ученым и исследователям данных быстро создавать, обучать и развертывать модели искусственного интеллекта.

Тестирование

Мы предлагаем нашим клиентам осознанный выбор и гибкость при развертывании высокопроизводительного DL в масштабе. Чтобы проверить эту архитектуру, мы провели несколько тестов классификации изображений и представили данные о производительности системы на основе скорости обработки изображений и профиля пропускной способности ввода-вывода.

 

Результаты тестов

Результаты тестов: пропускная способность системы при обучении модели (представлены результаты для контейнера 19.03-py3).

Тесты проводились с графическими процессорами Tesla V100-PCIE-32GB, установленными на сервере DSS 8440.

Из результатов тестов можно сделать несколько выводов.

  • Максимальная поддерживаемая пропускная способность Isilon достигается с10 графическими процессорами. Общая пропускная способность хранилища составила 831 МБ/с. Это далеко от максимальной пропускной способности кластера Isilon, используемого в этом тесте, которая может превышать 15 000 МБ/с (в зависимости от схемы ввода-вывода).
  • Для всех тестов загрузка каждого GPU составляла до 97% или выше. Это указывает на то, что узким местом был графический процессор.
  • Максимальная загрузка ЦП на сервере DSS 8440 составила 60%.

Мы также провели мониторинг и представили статистику использования ЦП, использования графического процессора и памяти, которая показала, что ресурсы графического процессора были задействованы полностью, при этом ввод-вывод не был полностью насыщен.

На протяжении всех тестов мы проверяли способность Isilon All-Flash F800 поддерживать скорость вычислений и линейно масштабировать производительность в сочетании с серверами Dell EMC DSS 8440.

Важно отметить, что алгоритмы DL предъявляют разнообразные требования к профилям вычислений, памяти, ввода-вывода и емкости диска. Тем не менее, представленные здесь сведения можно использовать в качестве отправной точки для построения решений DL, адаптированных к различным наборам требований к ресурсам. Все компоненты этой архитектуры являются линейно масштабируемыми и могут независимо наращиваться для решений DL, работающих с петабайтными массивами данных.

Таким образом, решения DL на базе массива Isilon обеспечивают емкость (до 58 ПБ на кластер), производительность и высокий уровень параллелизма для устранения узких мест в системе хранения ввода-вывода для задач ИИ. Это обеспечивает надежную основу для крупномасштабных решений DL корпоративного уровня с перспективной архитектурой горизонтального масштабирования, которая отвечает потребностям современных нагрузок ИИ и легко наращивается для будущих задач.

Continue Reading

Related Posts

Эволюция рабочего места

Руководители бизнеса и отраслевые эксперты делятся своими соображениями о том, как недавние события изменили место работы и технологические стратегии на будущее. Недавно я принял участие в виртуальном круглом с … ЧИТАТЬ БОЛЬШЕ

Dave Roberts 29 июля 2020 г.

Борис Щербаков о лидерстве в турбулентное время

Борис Щербаков, вице-президент и генеральный директор Dell Technologies в России, отвечает на самые важные вопросы о бизнес-лидерстве и технологическом превосходстве в трудные кризисные времена. В: Как пережил/ … ЧИТАТЬ БОЛЬШЕ

DellEMC Russia 29 июля 2020 г.

Как искусственный интеллект трансформирует розничную торговлю

Трей Макмиллан, генеральный директор Dell Technologies по технологиям для ритейла, поделился своим видением трансформации ритейла в своем свежем подкасте. Аудиоверсию можно услышать здесь. Предлагаем текстовую … ЧИТАТЬ БОЛЬШЕ

DellEMC Russia 15 июля 2020 г.
Загрузить больше