DEMAC, 3D -tiskana modularna gruča Beowulf: 23 korakov (s slikami)

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:03

HPC (High Performance Computation) je sposobnost obdelave podatkov in izvajanje zapletenih izračunov pri velikih hitrostih, je uporaba "superračunalnikov" pri računskih težavah, ki so za standardne računalnike prevelike ali pa bi trajale predolgo. Top500 je seznam, ki je objavljen dvakrat letno in uvršča med najhitrejše in najmočnejše računalnike na svetu. Države in velike organizacije porabljajo milijone sredstev za vzpostavitev in delovanje teh sistemov za znanstvenike, da bi uporabili najsodobnejšo tehnologijo in rešili kompleksne probleme.

Pred leti so računalniki izboljšali svoje zmogljivosti s povečanjem hitrosti procesorja. Ko smo se soočili z upočasnitvijo tovrstnega pristopa, so se razvijalci odločili, da bi morali za nadaljnje povečevanje zmogljivosti računalnikov združiti več jeder (ali računskih enot). Združevanje več računskih virov in mehanizmi za nadzor teh virov so tisto, čemur v računalništvu rečemo "paralelizem". Več jeder, ki opravljajo več nalog, zveni kot dober pristop za izboljšanje zmogljivosti računalnika … vendar se to odpira veliko vprašanje: kako učinkoviteje uporabiti te vire?

Ta vprašanja so računalniškega znanstvenika zaposlovala, obstaja več načinov, kako računalniku povedati, kako naj naredi stvari, obstaja še več načinov, kako več računalnikom povedati, kako naj naredijo stvari. Namen tega projekta je razviti cenovno ugodno platformo, kjer lahko vsi eksperimentirajo z zelo vzporednim strojem, preizkusijo obstoječe modele za uporabo v svojih projektih, razvijejo nove in ustvarjalne načine za reševanje računalniških težav ali pa ga preprosto uporabijo kot način poučevanja drugih o računalnikih. Upamo, da boste uživali v sodelovanju z DEMAC -om toliko kot mi.

DEMAC

Skupina modularnih sklopov Delaware (DEMAC) je razširljiva paleta vgrajenih sistemov (računalniki velikosti kartice) in niz okvirjev, natisnjenih v 3D, ki obdajajo plošče in dodatno strojno opremo, ki zagotavlja napajanje, hlajenje in dostop do omrežja.

Vsaka naprava ali vgrajen sistem je majhen računalnik, plošča Parallella, ki združuje vire dvojedrnega procesorja ARM, 16-jedrnega soprocesorja, imenovanega Epiphany, in vgrajenega FPGA s prilagodljivostjo celotnega odprtokodnega sklada. Nosilec je hišno izdelan 3D-tiskan okvir, ki omogoča nizkocenovno izvedbo in stopnjevalno strukturo. Zasnovan je tako, da ustreza 4 enotam stojala standardne velikosti (kot tiste, ki jih najdete v prostorih računalniških strežnikov).

Ta navodila vključujejo:

- Seznam potrebnih materialov

- Navodila za 3D tiskanje okvirjev

- Navodila za sestavljanje in povezovanje delov

- Vodnik za prenos in namestitev potrebne programske opreme

- Opis, kako se povezati in komunicirati z gručo

- "Zakaj to počnemo?" razdelek

Kdo smo mi?

Smo CAPSL (Computer Architecture and Parallel Laboratory) z Univerze v Delawareu. Verjamemo, da bi morala prihodnost računanja imeti močno podlago v teoriji podatkovnega toka (ki jo bomo kasneje razložili v tem navodilu, če vas zanima).

Zaloge

Ta seznam opisuje materiale, potrebne za izdelavo grozda s 4 ploščami

- 4 plošče Parallella (dobite jih lahko pri DigiKeyju ali drugih prodajalcih, več informacij najdete na njihovi spletni strani

-4 kartice micro-SD z najmanj 16 GB (tukaj je zelo poceni 10-paket ali kaj podobnega te prilagodljivejše kombinacije)

- 4 kabli mikro-USB dolžine najmanj 30 cm (priporočam te)

- USB polnilnik [z vsaj 4 vrati tipa A] (priporočam tega s 6 vrati ali enakim faktorjem oblike, ker je ohišje za to zasnovano)

- Hladilni ventilator [največja velikost 100 mm x 100 mm x 15 mm] (priporočam tega, ker je poceni in deluje, drugi pa s podobno velikostjo in konfiguracijo kabla delujejo)

- Napajanje za hladilni ventilator (če je vaša konfiguracija za več kot 8 plošč, priporočam to ali nekaj podobnega [AC 100 V/ 240 V do DC 12 V 10 A 120 W], ki ima lepo kovinsko ohišje in ga je mogoče tudi pritrditi do stikala) (Če nameravate priključiti samo dva ventilatorja ali manj, lahko uporabite kateri koli 12 V z vsaj 1 A izhodnim napajanjem, ki ga morda imate naokoli)

- 5 Ethernetnih kablov (4 so lahko kratki, kot so ti, odvisno od razdalje od stikala do plošč, eden pa mora biti dovolj dolg, da stikalo povežete z računalnikom ali modemom za dostop do omrežja gruče)

>> Pomembna opomba: Potreben je hladilni sistem, sicer se lahko plošče pregrejejo! <<<

3D-natisnjeni deli

- 4 pladnji za plošče (Frame_01)

- 1 ohišje plošče (okvir_02)

- 1 ohišje ventilatorja (Frame_03_B & Frame_03_T)

- 1 napajalno ohišje (okvir_04)

Korak: O DEMAC -u

DEMAC je del širše slike, prilagodljive in stopnjevalne platforme, ki nam omogoča razvoj in preizkušanje novih modelov izvajanja programiranja (PXM) za vzporedno računanje. PXM je več kot način za opisovanje izračunov, predstavlja hrbtenico, ki zagotavlja dogovor med načinom izražanja programa in načinom njegovega prevajanja v skupni jezik, ki ga lahko izvede stroj. Opisujemo niz elementov, ki uporabniku omogočajo ustvarjanje programov in način organiziranja izvajanja programa. Program lahko optimizira za ciljanje na določeno arhitekturo uporabnik ali avtomatizirano orodje na podlagi tega skupnega ozadja.

Več o tem projektu lahko izveste na koncu tega navodila, lahko tudi kliknete tukaj za več informacij o DEMAC ali tukaj za več informacij o CAPSL)

Korak: 3D tiskanje DEMAC

V tem razdelku najdete vodnik za 3D tiskanje okvirjev, ki obdajajo druge komponente in zagotavljajo strukturno podporo. Tudi če ste mojster 3D tiskanja, je tu nekaj nasvetov, ki jih lahko upoštevate pri tiskanju teh okvirjev. Vse okvirje lahko natisnete s 0,4 mm šobo z višino sloja 0,3 ali 0,2 (lahko uporabite tudi prilagodljivo). Vse sem natisnil s PLA, vendar ni pomembno, ali želite uporabiti druge materiale (če zagotavljajo strukturno stabilnost in prenašajo višje ali enake temperature kot PLA).

Datoteke STL:

www.thingiverse.com/thing:4493780

cults3d.com/en/3d-model/various/demac-a-mo…

www.myminifactory.com/object/3d-print-dema…

Pladenj za ploščo (Frame_01)

Dodatne podpore niso potrebne. Ta je precej preprost, le postavite ga z ravno površino proti tiskarski površini.

Ohišje plošče (okvir_02)

Ta bo morda potreboval nekaj podpore na srednjih nosilcih. Lahko trdite, da lahko dobro nastavljen stroj/rezalnik natisne te mostove brez dodatne podpore. Najprej poskusite z mostnimi stresnimi testi, če želite tiskati brez podpore, saj je bila ideja, da jih ne potrebujete. Po drugi strani stranski steni in stene zagotavljajo zadostno podporo za tiskanje brez dodatnih nosilnih struktur.

Ohišje ventilatorja (Frame_03_B & Frame_03_T)

Dodatne podpore niso potrebne. Oba dela postavite tako, da bo ravna površina obrnjena proti tiskalni površini.

Ohišje napajanja (okvir_04)

Podobno kot Frame_02 bo tudi ta morda potreboval nekaj podpore v srednjih nosilcih. To lahko poskusite tudi natisniti brez dodatnega podpornega materiala (kot je bilo predvideno). Stranski steni in stene zagotavljajo zadostno podporo za tiskanje brez dodatnih nosilnih struktur.

Izhodno hladilno ohišje (Frame_05_B & Frame_05_T)

Dodatne podpore niso potrebne. Oba dela postavite tako, da bo ravna površina obrnjena proti tiskalni površini.

3. korak: Sestavite DEMAC

Zdaj, ko imate vse potrebne dele, je čas, da začnete sestavljati gručo.

Ne pozabite odstraniti podpornega materiala, ki ga imate na okvirjih.

Korak: Namestite ventilator na ohišje

Preprosto potisnite ventilator v okvir Frame_03_B (s kablom v spodnjem desnem kotu), spodnji del pa se mora prilegati v majhne ukrivljene stene, ki držijo ventilator na mestu.

Postavite Frame_03_T z majhnimi ukrivljenimi stenami navzdol na vrh Frame_03_B (z ventilatorjem, ki je že nameščen). Pazite, da postavite najširši pokrov Frame_03_T proti širši (zadnji) strani Frame_03_B. Okvirji morajo klikniti, pokrovi pa naj ostanejo na svojem mestu.

5. korak: Ohišje plošče povežite z ohišjem za napajanje

Postavite Frame_02 na Frame_04, ta dva sta zasnovana tako, da se združita. Na spodnjem delu Frame_02 je majhna vdolbina, ki ustreza priključkom na vrhu Frame_04. Uporabite nežno silo, da jih povežete.

6. korak: Namestite hladilno enoto

Frame_03 (B&T) so zasnovani tako, da se pritrdijo skupaj z Frame_02, ventilator pa obrnemo proti deskam (pretok zraka mora iti navznoter Frame_02). V stolpcih Frame_02 so majhne vdolbine, ki bi se morale ujemati z oznakami v Frame_03_B. Rahlo pritiskajte na stranske ploskve konstrukcije, dokler okvirji ne kliknejo.

Korak 7: Postavite plošče na pladnje za plošče

Frame_01 ima 4 zatiče, ki se ujemajo z luknjami na plošči Parallella. Plošča naj se zlahka prilega v pladenj. Odvisno od kalibracije vašega 3D-tiskalnika so lahko prevelike ali premajhne, da jih držite na mestu ali jih malo pritisnete s kleščami, da zmanjšate premer.

>> Pomembna opomba: Ne pozabite postaviti hladilnikov na ploščo <<<

8. korak: Pladnje plošče potisnite v ohišje plošče

Frame_01 nudi reže, ki se prilegajo okvirjem Frame_02 za vsako raven. Upoštevajte, da je odprta samo ena stran za sprejem pladnja za ploščo. Obstaja tudi majhen udarec, ki pomaga ohraniti Frame_01 na mestu (pošteno bi lahko v prihodnji različici to izboljšalo).

Potisnite vse 4 pladnje za plošče z že postavljenimi deskami, po 1 na vsako raven.

9. korak: Vstavite napajalnik v ohišje

Napajalnik USB vstavite v okvir Frame_04 z vrati USB navzven. Na drugi strani je majhna odprtina za napajalni kabel, ki napaja pesto.

10. korak: Ventilator priključite na hladilno napajanje

Ventilator bi moral biti zdaj priključen na 12 V napajalnik, ki zagotavlja energijo hladilni enoti.

>> Pomembno opozorilo: Hladilni sistem naj deluje ves čas, ko so plošče priključene na napajanje <<<

11. korak: Konfigurirajte OS

1. Tukaj prenesite priporočeni OS (Parabuntu)

Obstajata dve reviziji čipov (z7010 [P1600/P1601] in z7020 [P1602/A101040], ki zahtevata različne datoteke.

Za obe reviziji obstajata različica brez glave (brez grafičnega uporabniškega vmesnika) in različica, ki zagotavlja podporo HDMI in grafični uporabniški vmesnik)

Če želite uporabiti izhod HDMI, ne pozabite dobiti kabla mini-HDMI.

Z brezglavo različico lahko povežete prek omrežja.

Več informacij in podrobne razlage najdete tukaj na uradni spletni strani.

Tu so koraki za namestitev operacijskega sistema z distribucijo, ki temelji na Linuxu. Za naslednje korake lahko uporabite ukaze v terminalu (brez simbola $) ali preverite druge postopke na spletnem mestu.

2. Namestite

- Vstavite kartico micro-SD v običajni računalnik- Razpakirajte sliko Ubuntu. Spremenite [releasename] za ime slike.

$ gunzip -d [ime izdaje].img.gz

3. Preverite pot do kartice SD

Natančna pot do vaše kartice SD je odvisna od distribucije Linuxa in nastavitev računalnika. S pomočjo spodnjega ukaza dobite pravo pot. Če iz izhoda ni jasno, katera pot je prava, poskusite z ukazom z in brez vstavljene kartice SD. V Ubuntuju je lahko vrnjena pot nekaj takega kot '/dev/mmcblk0p1'.

$ df -h

4. Odstranite kartico SD Pred zažiganjem kartice morate odstraniti vse particije na karticah SD. [Pot sd-particije] izhaja iz ukaza 'df' v 3. koraku.

$ umount [sd-particijska pot]

5. Posnemite sliko diska Ubuntu na kartico micro-SD

Zapišite sliko na kartico SD s pripomočkom 'dd', ki je prikazan v spodnjem primeru ukaza. Bodite previdni in potrdite pravilno pot, saj je ta ukaz nepopravljiv in bo prepisal kar koli na poti! Primer ukaza v Ubuntuju bi bil: „sudo dd bs = 4M if = my_release.img of =/dev/mmcblk0“. Bodite potrpežljivi, to lahko traja nekaj časa (več minut), odvisno od računalnika in kartice SD, ki jo uporabljate.

$ sudo dd bs = 4M if = [releasename].img od = [sd-partition-path]

6. Prepričajte se, da so vsi zapisi na kartico SD dokončani

$ sync

7. Vstavite kartico SD v režo za kartico SD na plošči

12. korak: Priključite ploščo na napajalnik

S kablom miniUSB-USB-A priključite eno od plošč v zvezdišče USB. Vrata in kable lahko označite ali določite vrstni red povezav, če boste morali pozneje odklopiti ploščo.

Korak: Nastavitev usmerjevalnika

Če nameščate OS brez glave, medtem ko ste v velikem omrežju, boste morali uporabiti usmerjevalnik in ga povezati z internetom, ploščami Parallella in osebnim računalnikom.

Če se ne morete povezati z usmerjevalnikom, lahko ploščo povežete tudi neposredno z računalnikom s kablom Ethernet, ta postopek je lahko nekoliko bolj zapleten in v tem navodilu ne bo zajet.

Ko je vse povezano, odprite vmesnik usmerjevalnika in ugotovite, kateri naslov IP je privzeto dodeljen vaši Parallella. Poiščite zavihek, na katerem piše Omrežje. Nato poiščite razdelek z imenom Seznam odjemalcev DHCP. Tam bi morali videti svojo ploščo Parallella in njen IP naslov.

S tem naslovom IP lahko SSH vstopite v Parallella in nastavite statični naslov IP.

Korak 14: Priključitev na Parallella Board s SSH

Opomba: V tem razdelku je [default_IP] dinamični naslov IP, ki ste ga našli na seznamu odjemalcev DHCP.

Preverite povezavo s ploščo

$ ping [default_IP]

Prvič vstavite SSH na ploščo (privzeto geslo je vzporedno)

$ ssh paralela@[privzeto_IP]

Korak 15: Nastavitev omrežja

- Spremenite ime gostitelja: uredite /etc /hostname

Tu lahko dodelite poljubno ime, priporočamo uporabo NOPA ##

Kjer ## označuje številko plošče (tj. 01, 02,…)

- Nastavite druge naslove IP naslove: uredite /etc /hosts

Nastavite statični naslov IP: dodajte spodnje besedilo za /etc/network/interfaces.d/eth0

#Primarni omrežni vmesnikauto eth0

iface eth0 inet statično

naslov 192.168.10.101 #IP mora biti v dosegu usmerjevalnika

maska omrežja 255.255.255.0

gateway 192.168.10.1 #To mora biti naslov usmerjevalnika

imenski strežnik 8.8.8.8

imenski strežnik 8.8.4.4

Ko ste plošči dodelili IP, lahko znova zaženete povezavo z ukazom

$ ifdown eth0; ifup eth0

ali znova zaženite ploščo

Korak 16: Nastavitev Keygen in dostopa brez gesla na ploščah

Na vsakem vozlišču (vključno z glavnim vozliščem) nastavite par zasebnih javnih ključev. Naredite začasno mapo, ustvarite nov ključ in ga pooblastite ter dodajte vse NOPA znanim gostiteljem, kot je prikazano spodaj.

mkdir tmp_sshcd tmp_ssh ssh -keygen -f./id_rsa

#Dvakrat pritisnite enter, da nastavite in potrdite prazno geslo

cp id_rsa.pub pooblaščeni_ključi

za i v `seq 0 24`; do j = $ (echo $ i | awk '{printf "%02d / n", $ 0}');

ssh-keyscan NOPA $ J >> known_hosts; Končano

17. korak: Namestitev Sshfs

- Uporaba sshfs omogoča skupno rabo datotek med ploščami v gruči. Zaženite naslednji ukaz:

$ sudo apt -get install -y sshfs

- Preverjanje / Ustvarjanje skupine varovalk

Preverite, ali obstaja skupina varovalk:

$ cat /etc /group | grep "varovalka"

Če skupina obstaja, izvedite naslednji ukaz

$ bash sudo usermod -a -G varovalka paralela

- Če skupina ne obstaja, jo ustvarite in ji dodajte uporabnika

varovalka $ sudo groupadd

$ sudo usermod -a -G varovalka paralela

- Odkomentirajte vrstico user_allow_other v datoteki fuse.config

$ sudo vim /etc/fuse.conf

18. korak: Konfigurirajte mapo NFS

- Spremenite datoteko /etc /fstab

$ sudo vim /etc /fstab

- Vsebino nadomestite s spodnjim besedilom

# [datotečni sistem] [točka pritrditve] [vrsta] [možnosti]

sshfs#parallella@NOPA01:/home/parallella/DEMAC_nfs/home/parallella/DEMAC_nfs komentar varovalke = sshfs, noauto, users, exec, rw, uid = 1000, gid = 1000, allow_other, ponovno poveži, transform_symlinks, BatchMode = ja, nič, _netdev, identityfile =/home/parallella/.ssh/id_rsa, default_permissions 0 0

Korak 19: Priključite ploščo na stikalo

Stikalo postavite pod gručo ali nekje v bližini, z ethernetnimi kabli povežite ploščo, ki ste jo že konfigurirali na stikalo. Stikalo in računalnik lahko povežete tudi z usmerjevalnikom, da dobite dostop do gruče.

Morali bi imeti možnost pinganja in ssh -a na ploščo, ki je zdaj povezana s stikalom s statičnim IP -jem.

IP in ime gostitelja lahko dodate tudi v datoteko /etc /hosts. Namesto vnosa celotnega naslova IP boste lahko uporabili ime gostitelja.

20. korak: Ponovite 11. do 19. korak za vsako tablo

Sledite postopku za konfiguracijo operacijskega sistema in omrežja za vsako ploščo.

>> Pomembna opomba: Uporabite različne hoste in IP za vsako ploščo! Morali bi biti edinstveni prek omrežja! <<<

21. korak: Povežite zunanje naprave

Prepričajte se, da ventilator deluje:

Prepričajte se, da ventilator dobiva moč in da pretok zraka teče navznoter v ohišje plošče. Povezava mora biti stabilna in neodvisna od drugih elementov. Ne pozabite, da se plošče lahko pregrejejo, če niso pravilno ohlajene.

Prepričajte se, da so plošče povezane s stikalom:

Na tej točki bi morali vsako ploščo konfigurirati ločeno. Plošče je treba priključiti tudi na stikalo. Priročnik za stikalo mora vsebovati informacije, s katerimi lahko preverite, ali je zagonski postopek pravilno zaključen, morda obstaja nekaj LED, ki označujejo stanje.

Priključite plošče na napajalnik:

Uporabite kabel mikro USB-USB-A, da vsako ploščo povežete z zvezdiščem USB. Vrata lahko označite ali določite vrstni red, če morate odklopiti eno ploščo.

Korak: Uporabite moč

1. Ventilator mora delovati.

2. Plošče je treba priključiti na stikalo Ethernet.

3. Preverite, ali so plošče povezane z zvezdiščem USB.

4. Napajajte zvezdišče USB.

5. Omogoči DEMAC!

6. Dobiček!

23. korak: Viri programske opreme

MPI (vmesnik za prenos sporočil)

MPI je komunikacijski protokol za programiranje vzporednih računalnikov. Podprta sta komunikacija od točke do točke in kolektivno.

www.open-mpi.org/

OpenMP (Odpri več procesiranja)

Vmesnik za aplikacijsko programiranje (API) OpenMP (Open Multi-Processing) podpira programiranje z več platformami v več platformah v skupnem pomnilniku v skupni rabi v C, C ++ in Fortran na številnih platformah. Sestavljen je iz niza direktiv prevajalnika, knjižničnih rutin in spremenljivk okolja, ki vplivajo na vedenje med izvajanjem.

www.openmp.org/

Parallella programska oprema

Razvijalci ponujajo odprtokodni niz programske opreme, vključno s SDK-jem za vmesnik s pospeševalnikom.

www.parallella.org/software/

Lahko najdete tudi priročnike in podrobnejše informacije.

Imajo tudi skladišča GitHub:

github.com/parallella

Prenesite in zaženite nekaj primerov, ena mojih najljubših je igra življenja, ki temelji na znameniti Conwayjevi igri življenja.

Izjava o omejitvi odgovornosti: Opredelitve so lahko kopirane iz wikipedije