artykuły

HotChips 2019: przegląd sprzętowych akceleratorów SI

8
4 września 2019, 15:21 Mateusz Brzostek

Habana Gaudi

Gaudi (nazwany na cześć hiszpańskiego architekta) to drugi akcelerator firmy Habana, przeznaczony do przyspieszania uczenia sieci neuronowych. Ma architekturę podobną do układu Goya: chip składa się z dwóch rodzajów jednostek obliczeniowych (GEMM i TPC) oraz układu zarządzania dostępem do pamięci. Podobnie jak w przypadku akceleratora wnioskowania Goya, nie opisano szczegółowo wewnętrznej budowy układu. Wiemy tylko, że Gaudi ma największą efektywność, kiedy operuje na 16-bitowych liczbach zmiennoprzecinkowych (FP16 lub BFLOAT16), ale może też operować na liczbach FP32.

Gaudi ma zintegrowaną w jednej obudowie pamięć HBM2 – cztery stosy o łącznej pojemności 32 GB i przepustowości 1 TB/s. Chip jest produkowany w TSMC w procesie technologicznym klasy 16 nm i wymaga chłodzenia mogącego odprowadzić 300 W.

Gaudi można podłączyć do centralnego procesora za pomocą łącza PCI-E 4.0 ×16. Chip został zaprojektowany z myślą o łączeniu w duże sieci pracujące wspólnie nad jednym zadaniem. W układzie zintegrowano 20 kontrolerów 50-gigabitowej sieci Ethernet, które mogą również pracować jako 10 łącz o prędkości 100 Gb/s. Kontrolery obsługują RoCE (RDMA over Converged Ethernet), czyli technikę umożliwiającą bezpośredni dostęp do pamięci urządzenia podłączonego przez sieć, zarządzany sprzętowo i nie wymagający interwencji systemu operacyjnego. Ethernet z RoCE jest używany zamiast preferowanych przez inne firmy łącz zapewniających spójność pamięci (np. NVLink, CCIX, a w przyszłości CXL). Zdaniem inżynierów Habany korzyści z zastosowania tego rozwiązania przewyższają jego wady: operatorzy centrum danych mogą wykorzystać standardowe okablowanie i przełączniki Ethernet, a problem spójności pamięci Habana planuje rozwiązać dostosowując odpowiednio oprogramowanie. Nad wykorzystaniem sieci Ethernet zamiast własnych łącz pracują również Nvidia i HP, co dodaje wiarygodności zapewnieniom Habany.

Dzięki zintegrowanym łączom Ethernet i wykorzystaniu standardowych przełączników można połączyć 64 akceleratory Gaudi w jeden klaster o niemal dowolnej topologii, albo 8 chipów Gaudi połączonych każdy z każdym. Habana zamierza sprzedawać akceleratory Gaudi przede wszystkim w formie komputerów HLS-1: gotowych do użycia szuflad 3U z ośmioma Gaudi zainstalowanymi na modułach OAM. To konfiguracja bardzo podobna do komputerów HGX Nvidii: trzeba ją podłączyć do centralnego procesora okablowaniem PCI-E, ale każdy HGX Nvidii wymaga własnego hosta, podczas gdy akceleratory Gaudi można połączyć bezpośrednio między sobą przez Ethernet. Oprócz tego akceleratory Gaudi będą dostępne w postaci 2-slotowych kart rozszerzeń PCI-E lub pojedynczych modułów OAM.

Habana obecnie rozsyła testowe wersje układów klientom; niedawno opublikowano również otwartoźródłowe sterowniki do Linuksa.

Strona:
Bono[UG]Zobacz profil
Poziom ostrzeżenia: 0%
Bono[UG]2019.09.04, 16:18
No to tradycyjnie: pójdzie na tym Crysis? :E

Ciekawe rzeczy, coś nowego w świecie procesorów, choć na razie chyba głównie do komputerów obliczeniowych niż zwykłego konsumenta, no może z wyjątkiem smartfonów, gdzie trzeba się pochwalić użyciem SI.
Makavcio2Zobacz profil
Poziom ostrzeżenia: 0%
Makavcio22019.09.04, 16:45
Bono|UG| @ 2019.09.04 16:18  Post: 1216252
No to tradycyjnie: pójdzie na tym Crysis? :E


Weź, jak kiedyś zadałem to pytanie na szkoleniu w robocie, to myślałem, że cappo di tutti informatiki p-dolca dostanie :E

A obrazki bardzo ładne. Większość mi się podobała :)
Edytowane przez autora (2019.09.04, 16:47): Bono popsuł kłołtowanie
rlegoZobacz profil
Poziom ostrzeżenia: 0%
rlego2019.09.05, 14:28
i wlasnie o taki pclab nic nie robilem. Interesujacy art.
GandalfGZobacz profil
Poziom ostrzeżenia: 0%
GandalfG2019.09.06, 06:21
Najbardziej zaawansowaną technologią i użytymi rozwiązaniami zaskoczył mnie Cerberas.
Wyprodukowanie 'chipu' tej wielkości to jest wyzwanie. Ale zasilanie i schłodzenie układu który pobiera 15kW energii to jest dopiero osiągnięcie.
Polecam artykuł nt
https://techcrunch.com/2019/08/19/the-five...zBXWwv5-Q5iyDvg
znafcaZobacz profil
Poziom ostrzeżenia: 0%
znafca2019.09.06, 07:07
O, moze w koncu AI w civ 6 nie bedzie totalnym retardem.
Oh wait rajt...
supervisorZobacz profil
Poziom ostrzeżenia: 0%
supervisor2019.09.06, 10:52
Czyżby oni wszyscy nie wiedzieli że HBM to nieudana technologia (według niektórych zielonych ludków na forum)?
VoormisZobacz profil
Poziom ostrzeżenia: 0%
Voormis2019.09.06, 13:10
supervisor @ 2019.09.06 10:52  Post: 1216417
Czyżby oni wszyscy nie wiedzieli że HBM to nieudana technologia (według niektórych zielonych ludków na forum)?

Pewnie nie czytują światłych ludzi z tego forum. Nie pchaliby się w nieudane technologie :D
jot2019.09.08, 10:50
-2#8
Bitowe protezy. Szkoda, że autor nie poruszył kwestii tritów w AI/ML i perspektyw z tym związanych.
Funkcja komentowania została wyłączona. Do dyskusji zapraszamy na forum.
9