Projekt Nautilus: pro úspěšnou plavbu oceánem IoT dat

Digitální transformace je důvodem, proč se od roku 2000 ve Fortune 500 udržela jen polovina společností. Senzory internetu věcí generují miliony datových prvků v téměř spojitých tocích. Ty je nutné v reálném čase zachytávat, v reálném čase analyzovat a ukládat k následné hlubší analýze, například pomocí systémů využívajících strojového učení. Právě za tímto účelem vznikl projekt Nautilus společnosti Dell Technologies, softwarově definované řešení pro ukládání a analýzu velkých objemů dat z různých typů koncových zařízení internetu věcí, jehož smyslem je umožnit rozhodování v reálném čase.

Internet věcí (IoT) přináší nové možnosti, ale aby jich podniky dokázaly využít, musí být schopné shromažďovat, v reálném čase zpracovávat a smysluplně využívat nesmírné objemy dat, které koncová zařízení internetu věcí neustále generují – od chytré elektroniky a domácích čidel přes připojená vozidla po průmyslové snímače a senzory v rozvodných sítích. Data jsou totiž krví, která pohání život internetu věcí. Avšak v mnoha případech jsou nestrukturovaná. Raketový růst jejich objemu značně zatěžuje IT infrastrukturu, komplikuje provoz, omezuje akceschopnost a vede k nekontrolovatelnému růstu nákladů.

Vedle objemu dat je jedním z hlavních problémů jejich různorodost a dynamičnost, kterou se odlišují od dosavadních typů dat. Zatímco dříve aplikace pracovaly s konečným množství statických dat, dnes musí zpracovávat nepřetržité toky dat v reálném čase. Data navíc přitékají v nahodilém pořadí, někdy opakovaně a někdy neúplná. Tento nový model klade zcela odlišné nároky na IT infrastrukturu a vyžaduje změnu celkového přístupu ke koncepci podnikového IT.

„Jak to vidíš, trenére?“

Ve světě IoT platí, že zásadní roli hraje čas – doba reakce na nový poznatek má vliv na to, zda podnik využije obchodní příležitost nebo ji promarní. Potřebují tak nějaký nástroj, který jim umožní vhodně reagovat na situaci v lokálních podmínkách, v reálném čase. Firmy tedy potřebují něco, co plní funkci takového fotbalového trenéra. Dnes běžně vidíte, že u postranní čáry stojí, sedí či emotivně pobíhá pán, který má největší zodpovědnost za úspěch či neúspěch svého týmu. Přitom se na hřišti de facto neukáže. Avšak je to právě on, kdo sleduje hru a ihned reaguje na její vývoj díky poznatkům, které z ní získává. Takže pokud zjistí, že soupeřův pravý obránce dneska nemá den, může tomu okamžitě přizpůsobit taktiku. A právě roli takového trenéra bude mít projekt Dell Technologies nazvaný Nautilus.

Představuje se projekt Nautilus

Nyní přicházíme s novým konceptem. Vybudovali jsme řešení, které má radikálně zjednodušit infrastrukturu pro zpracování kontinuálních dat z IoT a nahradit stávající improvizované platformy. Nautilus zpracovává veškerá data z IoT zařízení v reálném čase a ukládá je lokálně nebo v cloudu. Zjednodušuje celý proces analýzy v reálném čase a zavádí nový koncept nazývaný „streamované úložiště“. Cíl je jasný – získat klíčové businessové poznatky.

Platforma Nautilus využívá open-sourcový software Pravega pro ukládání toků dat, který umožňuje přijímat a ukládat velké množství datových toků současně. Pravega spojuje příchozí data z různých zdrojů do sekvencí bytů (toků), teoreticky nekonečných, omezených pouze kapacitou datového úložiště. Dalším klíčovým prvkem platformy Nautilus je opět open-sourcové řešení Apache Flink pro zpracování toků různých typů dat z různých zdrojů. Flink zpracovává události průběžně, nikoli dávkově, a zajišťuje tak analytické výstupy v reálném čase.

Hardwarová stránka platformy je založená na snadno škálovatelných a automatizovaných serverech Dell PowerEdge, které jsou koncipované pro budování flexibilní podnikové architektury a poskytují maximální výkon u všech typů workloadů – virtualizovaných, konvergovaných, hyperkonvergovaných, softwarově definovaných, cloudových i jiných.

Servery PowerEdge jsou propojené s úložišti Isilon typu NAS nebo cloudovým řešením Elastic Cloud Storage (ECS). Úložiště Isilon slouží k ukládání a správě velkých objemů nestrukturovaných dat. Ta jsou pak snadno škálovatelná a propojitelná do klastrů s extrémní kapacitou až 100 PB. Cloudová úložiště ECS umožňují příjem a analýzu dat v reálném čase, přičemž jsou takřka neomezeně škálovatelná. Jsou k dispozici jako hardwarové zařízení, samotný software pro běh na libovolné infrastruktuře, nebo jako cloud spravovaný společností Dell EMC.

Zatímco dříve bylo velmi obtížné zvládat exponenciální nárůst objemu dat ze stoupajícího počtu koncových zařízení a velká část dat zůstávala nevyužitá nebo nebyla vůbec zachycena, dnes je možné s pomocí řešení jako je Nautilus veškerá data přitékající z internetu věcí efektivně uchovávat, zpracovávat a smysluplně využívat.

About the Author: Dell Technologies