Dzięki uprzejmości firmy AVM w nasze ręce trafiło kolejne urządzenie marki FRITZ! Tym razem po raz pierwszy mieliśmy okazję przetestować produkt z ekosystemu FRITZ! Smart Home - bramkę FRITZ!Smart Gateway, wprowadzoną na rynek polski w marcu bieżącego roku. Urządzenie rozszerza ekosystem inteligentnego domu od AVM o ob...
Stworzony w 2005 roku, Endpoint Central (wcześniej znany jako Desktop Central) miał na celu zrewolucjonizowanie sposobu, w jaki firmy zarządzają swoim IT. Przez prawie dwie dekady rozwijał się wraz z dynamicznie zmieniającymi się potrzebami nowoczesnych przedsiębiorstw. Jest dowodem na siłę nieustannej innowacji, oferu...
Podczas konferencji VMware Explore 2024, firma Broadcom ogłosiła wprowadzenie VMware Tanzu Platform 10, platformy aplikacyjnej zbudowanej w oparciu o technologie chmurowe, która przyspiesza dostarczanie oprogramowania, zapewniając zespołom inżynierów lepsze zarządzanie i efektywność operacyjną, a jednocze...
Rozwiązania klasy UTM (Unified Threat Management) to zaawansowane narzędzia zabezpieczające brzeg sieci. Urządzenia o tyle ważne, że pozostają pierwszą i najważniejszą barierą ochronną przed zagrożeniami. Aby sprostać specyficznym potrzebom administracji publicznej (obejmującym ochronę danych wrażliwych, zapobieganie z...
Użytkownikom laptopów czy smartfonów zdarza się zauważyć, że po uruchomieniu nowego sprzętu od innego producenta pojawiają się na nim aplikacje, których nie było na poprzednim. Dzieje się tak mimo tego, że urządzenia pracują na tym samym systemie operacyjnym. Większość producentów preinstalu...
Jak wynika z opublikowanego przez Fortinet dokumentu „2023 Cloud Security Report”, w chmurze publicznej znajduje się już ponad połowa danych prawie 40% ankietowanych przedsiębiorstw. W ciągu najbliższych 12-18 miesięcy odsetek tych firm zwiększy się do 58%, co spowoduje, że wyzwań związanych z zabezpieczani...
W miarę jak sztuczna inteligencja (AI) przekształca kolejne branże, przedsiębiorstwa poszukują bardziej opłacalnych, bezpiecznych i skalowalnych sposobów uruchamiania obciążeń. Chociaż usługi w chmurze publicznej oferują dużą elastyczność, to obwarowane są wyzwaniami związanymi z kosztami, prywatnością danych i zgodnością z regulacjami. Rozwiązanie VMware Private AI Foundation with NVIDIA stanowi alternatywę w postaci infrastruktury on-premise, łączącej VMware Cloud Foundation (VCF) z platformą NVIDIA AI Enterprise, zaprojektowaną pod kątem wydajnych obciążeń inferencyjnych z wykorzystaniem systemów NVIDIA HGX.
Korzyści dla przedsiębiorstw z prywatnej infrastruktury AI?
1. Optymalizacja wykorzystania GPU: w środowiskach on-premise procesory graficzne często są niedostatecznie wykorzystywane z powodu błędnej alokacji lub nadmiernej rezerwacji zasobów. Platforma VMware umożliwia dynamiczne przydzielanie GPU, zapewniając ich maksymalną wydajność.
2. Elastyczność zbliżona do chmury publicznej: dynamicznie rozwijający się rynek AI wymaga środowisk, które zapewniają badaczom danych wygodę pracy, jednocześnie dając zespołom IT kontrolę nad infrastrukturą.
3. Bezpieczeństwo i zgodność danych: ponieważ modele AI często przetwarzają wrażliwe dane, prywatne rozwiązania AI gwarantują lepszą ochronę, zgodność z regulacjami i kontrolę dostępu do modeli oraz zbiorów danych.
4. Znane narzędzia zarządzania VMware: administratorzy IT mogą korzystać z dobrze znanych narzędzi VMware, minimalizując koszty szkoleń i obciążenie operacyjne.
Kluczowe komponenty VMware Private AI Foundation with NVIDIA
● VMware Cloud Foundation (VCF): Kompleksowa platforma chmury prywatnej integrująca vSphere, vSAN, NSX oraz Aria Suite.
● NVIDIA AI Enterprise: Obejmuje m.in. NVIDIA vGPU (C-Series), mikrousługi NIM, NeMo Retriever oraz gotowe schematy wdrożeń (AI Blueprints), optymalizując pracę z modelami AI.
● Systemy HGX: Serwery certyfikowane przez NVIDIA, wyposażone w 8 procesorów H100/H200 połączonych za pomocą NVSwitch i NVLink, oferujące najwyższą wydajność w branży.
● Sieć Ethernet: Wydajna komunikacja sieciowa dzięki NVIDIA Spectrum-X Ethernet, zapewniająca szybki transfer danych pomiędzy węzłami.
Architektura referencyjna
Rozwiązanie zostało zaprojektowane z myślą o przedsiębiorstwach wdrażających obciążenia AI we własnych centrach danych, a jego główne elementy obejmują:
1. Architektura fizyczna
● Serwery inferencyjne: 4-16 systemów NVIDIA HGX z procesorami H100/H200
● Sieć: 100 GbE dla obciążeń inferencyjnych oraz 25 GbE na potrzeby zarządzania i pamięci masowej
● Serwery zarządzające: 4 węzły kompatybilne z vSAN, hostujące podstawową infrastrukturę VMware
2. Architektura zwirtualizowana
● Warstwa zarządzania: odpowiada za środowisko chmury prywatnej, w tym SDDC Manager, vCenter, NSX i Aria Suite.
● Warstwa obciążeń: hostuje zadania AI, wykorzystując Supervisor Clusters do uruchamiania Deep Learning Virtual Machines (DLVMs) oraz klastrów Kubernetes dla AI.
● Wektorowe bazy danych: PostgreSQL z rozszerzeniem pgVector umożliwia wzbogacanie generatywnego AI o mechanizmy RAG (Retrieval-Augmented Generation).
Warto podkreślić, że VMware i NVIDIA testują wydajność rozwiązania za pomocą benchmarku GenAI-Perf, porównując środowiska zwirtualizowane z wdrożeniami bare-metal. Zoptymalizowana platforma zapewnia wysoką przepustowość i niskie opóźnienia, gwarantując skalowalną i opłacalną inferencję AI.
VMware Private AI Foundation with NVIDIA zapewnia maksymalne wykorzystanie GPU, bezpieczeństwo klasy korporacyjnej, wysoką efektywność operacyjna dzięki znanym narzędziom VMware oraz skalowalność i gotowość na ewolucję obciążeń AI
Więcej szczegółów na temat powyżej przedstawionych zagadnień znajdziesz w technicznym dokumencie VMware Private AI Foundation with NVIDIA on HGX Servers - Reference Design for Inference.
