HotChips 2019: przegląd sprzętowych akceleratorów SI

Habana Gaudi

Gaudi (nazwany na cześć hiszpańskiego architekta) to drugi akcelerator firmy Habana, przeznaczony do przyspieszania uczenia sieci neuronowych. Ma architekturę podobną do układu Goya: chip składa się z dwóch rodzajów jednostek obliczeniowych (GEMM i TPC) oraz układu zarządzania dostępem do pamięci. Podobnie jak w przypadku akceleratora wnioskowania Goya, nie opisano szczegółowo wewnętrznej budowy układu. Wiemy tylko, że Gaudi ma największą efektywność, kiedy operuje na 16-bitowych liczbach zmiennoprzecinkowych (FP16 lub BFLOAT16), ale może też operować na liczbach FP32.

Gaudi ma zintegrowaną w jednej obudowie pamięć HBM2 – cztery stosy o łącznej pojemności 32 GB i przepustowości 1 TB/s. Chip jest produkowany w TSMC w procesie technologicznym klasy 16 nm i wymaga chłodzenia mogącego odprowadzić 300 W.

Gaudi można podłączyć do centralnego procesora za pomocą łącza PCI-E 4.0 ×16. Chip został zaprojektowany z myślą o łączeniu w duże sieci pracujące wspólnie nad jednym zadaniem. W układzie zintegrowano 20 kontrolerów 50-gigabitowej sieci Ethernet, które mogą również pracować jako 10 łącz o prędkości 100 Gb/s. Kontrolery obsługują RoCE (RDMA over Converged Ethernet), czyli technikę umożliwiającą bezpośredni dostęp do pamięci urządzenia podłączonego przez sieć, zarządzany sprzętowo i nie wymagający interwencji systemu operacyjnego. Ethernet z RoCE jest używany zamiast preferowanych przez inne firmy łącz zapewniających spójność pamięci (np. NVLink, CCIX, a w przyszłości CXL). Zdaniem inżynierów Habany korzyści z zastosowania tego rozwiązania przewyższają jego wady: operatorzy centrum danych mogą wykorzystać standardowe okablowanie i przełączniki Ethernet, a problem spójności pamięci Habana planuje rozwiązać dostosowując odpowiednio oprogramowanie. Nad wykorzystaniem sieci Ethernet zamiast własnych łącz pracują również Nvidia i HP, co dodaje wiarygodności zapewnieniom Habany.

Dzięki zintegrowanym łączom Ethernet i wykorzystaniu standardowych przełączników można połączyć 64 akceleratory Gaudi w jeden klaster o niemal dowolnej topologii, albo 8 chipów Gaudi połączonych każdy z każdym. Habana zamierza sprzedawać akceleratory Gaudi przede wszystkim w formie komputerów HLS-1: gotowych do użycia szuflad 3U z ośmioma Gaudi zainstalowanymi na modułach OAM. To konfiguracja bardzo podobna do komputerów HGX Nvidii: trzeba ją podłączyć do centralnego procesora okablowaniem PCI-E, ale każdy HGX Nvidii wymaga własnego hosta, podczas gdy akceleratory Gaudi można połączyć bezpośrednio między sobą przez Ethernet. Oprócz tego akceleratory Gaudi będą dostępne w postaci 2-slotowych kart rozszerzeń PCI-E lub pojedynczych modułów OAM.

Habana obecnie rozsyła testowe wersje układów klientom; niedawno opublikowano również otwartoźródłowe sterowniki do Linuksa.