HPC : Lustre fait briller votre stockage

Qui n’a pas besoin de davantage de stockage ? En 2025, la monde créera 163 Zo de données, soit dix fois le volume généré en 2016. Pour les organisations qui exploitent des applications HPC et IA basées sur de grands volumes de données, le succès passera par des architectures de stockage performantes et extrêmement évolutives. Lustre est le système qu’il leur faut.

Dès lors que l’on parle d’applications HPC (high performance computing), il n’y a tout simplement jamais trop de stockage. Quelle que soit la direction vers laquelle vous regardez, vous verrez que les applications HPC gonflent comme des ballons.

Quelques exemples :

  • AccuWeather, la plus importante source mondiale de prévisions et alertes météorologiques, répond à plus de 30 milliards de requêtes chaque jour.
  • La vague de données médicales qui va déferler sur le monde devrait atteindre 2 314 exaoctets en 2020.
  • Si on imprimait une cartographie du génome humain, la pile de papier nécessaire mesurerait 91 mètres, soit la hauteur de la statue de la liberté.

Les années à venir ne feront que renforcer encore la tendance. IDC estime qu’en 2025, la « datasphère » mondiale grossira de 163 zettaoctets par an, soit mille milliards de gigaoctets, dix fois plus qu’en 2016.

Pour les organisations qui exploitent des applications AI et HPC très consommatrices de données, les implications sont assez claires. La performance de ces applications va de plus en plus dépendre de l’évolutivité des architectures de stockage et de leur capacité à tenir le rythme d’un déluge de données qui ne fait que s’intensifier. Et c’est justement ici que Lustre s’illustre.

Augmenter les volumes sans réduire les performances

Lustre est un système de fichiers parallèle conçu pour relever les challenges des environnements HPC. Basés sur de très grandes grappes de serveurs, les supercalculateurs exploitent plusieurs dizaines de milliers de cœurs de calcul, voire centaines de milliers pour les plus puissants, qui vont chacun réaliser une part du calcul global. Les temps d’accès aux données nécessaires à ces calculs risquent néanmoins de ralentir les opérations. Pour éviter cela, Lustre va distribuer les données de manière intelligente sur les différents supports, à la fois pour les placer au plus près des cœurs CPU et pour permettre aux multiples nœuds d’y accéder simultanément et non de façon séquentielle.

Pour les entreprises qui recherche une « scalabilité » extrême sans avoir à craindre de dégradation des performances, Lustre s’avère donc une excellente option. Il permet en effet d’augmenter ou diminuer la capacité de stockage en fonction des besoins applicatifs, tout en maintenant le niveau de performance requis. Le système de fichiers se charge de distribuer les données au bon endroit pour conserver la rapidité du traitement au fur et à mesure que le volume grandit.

Les projets Lustre restent néanmoins complexe à mettre en œuvre et les tâches de configuration peuvent s’avérer chronophages. L’installation et l’administration sont normalement effectuées via une interface en ligne de commande nécessitant une forte expertise et la gestion du système de stockage, une fois en place, peut consommer une large partie du temps de l’administrateur (pour plus de détails, vous pouvez vous référer à notre livre blanc technique sur le stockage Lustre).

L’étoile du calcul petaflopique

C’est pourquoi Dell EMC propose des infrastructures prêtes à l’emploi, comme Ready Solutions for HPC Lustre Storage. La solution embarque l’outil Integrated Manager for Lustre, qui offre une interface de gestion intuitive pour simplifier le déploiement, la gestion et la surveillance du matériel et des composants systèmes. La plateforme repose sur la richesse du portefeuille Serveur/Stockage et Data Protection de Dell EMC. Elle est basée sur les serveurs PowerEdge, les équipements Dell EMC Networking et le stockage PowerVault ME, et conçue pour que la capacité et la performance puissent évoluer simplement dans le temps avec l’ajout de briques matérielles supplémentaires.

Cet accès simplifié à la technologie contribue d’année en année à la hausse de sa popularité. L’université technologique de Swinburne en Australie par exemple, exploite Lustre au sein de son supercalculateur OzSTAR. Bâti sur la plateforme Ready Solutions for HPC Storage, il dispose de 5 pétaoctets d’espace de stockage. Grâce à l’intégration de Lustre sur une infrastructure moderne, les données peuvent être déplacées à travers le système à une vitesse de 80 giga-octets par seconde. Fort de l’efficacité de son stockage, OzSTAR peut atteindre une puissance de calcul de 1,2 petaflop. Le système HPC est essentiellement utilisé par l’Australian Research Council (ARC) et son centre d’excellence pour la détection des ondes gravitationnelles (OzGrav) pour rechercher ces ondes et étudier des sujets aussi complexes que les trous noirs et la déformation de l’espace-temps. « En une seule seconde, OzSTAR peut effectuer 10 000 calculs pour chacune des 100 milliards d’étoiles de notre galaxie », indique le directeur d’OzGrav, le professeur Matthew Bailes.

Bien que Lustre ait été largement déployé à ses débuts pour des projets de recherche académiques, il affiche aujourd’hui une belle progression dans les environnements d’entreprise. Lustre a été installé dans des milliers de datacenters, aussi bien dans les secteurs de l’énergie que de la santé, de la finance ou encore de l’industrie et, comme le souligne le spécialiste du stockage DDN, il s’affirme d’année en année comme « le système de fichiers de référence pour les ordinateurs les plus rapides du monde ».

About the Author: Rahmani Cherchari

En charge de l’organisation France Pre Sales. Fort d’une expérience professionnelle de 22 ans dans le domaine de L’IT : l’architecture, le conseil et l’avant-vente, autour des activités du Datacenter Mon expérience professionnelle au sein de différentes organisations - SSII, Système Intégrateur et Constructeur informatique, me permet d’avoir une vision élargie des problématiques et des attentes de nos clients dans un contexte IT en pleine mutation.