Trenger du en maskin som kan levere hundrevis av billioner flytende beregninger per sekund? Eller trenger du en barhistorie om hvordan superdatamaskinen i kjelleren din vendte en breaker? Å bygge din egen High Performance Compute -klynge, a.k.a. Teknisk sett er en moderne superproputer med flere prosessorer et nettverk av datamaskiner som jobber parallelt for å løse et problem. Denne artikkelen vil kort beskrive hvert trinn i prosessen, med fokus på maskinvare og programvare.
Trinn
Trinn 1. Bestem først maskinvarekomponentene og ressursene som trengs
Du trenger en hodeknute, minst et dusin identiske databehandlingsnoder, en Ethernet -bryter, en strømfordelingsenhet og et stativ. Bestem det elektriske behovet, kjøling og plass som kreves. Bestem deg også for hvilken IP -adresse du vil ha for dine private nettverk, hva du skal navngi noder, hvilke programvarepakker du vil installere, og hvilken teknologi du vil tilby parallelle databehandlingsmuligheter (mer om dette senere).
- Selv om maskinvaren er dyr, er all programvare som er oppført i denne veiledningen gratis, og de fleste er åpen kildekode.
- Hvis du vil se hvor rask superdatamaskinen din teoretisk sett vil være, kan du bruke dette verktøyet:
Trinn 2. Bygg opp beregningsnodene
Du må sette sammen beregningsnodene eller skaffe forhåndsbygde servere.
- Velg et dataserverchassis som maksimerer plass, kjøling og energieffektivitet.
- Eller du kan bruke et dusin eller så brukte, utdaterte servere - hvis helhet vil oppveie summen av delene, men samtidig spare deg for en betydelig mengde penger. Alle prosessorer, nettverkskort og hovedkort bør være identiske for at hele systemet skal spille godt sammen. Selvfølgelig, ikke glem RAM og lagring for hver node og minst en optisk stasjon for hodnoden.
Trinn 3. Installer serverne i stativet
Start fra bunnen, så stativet er ikke topptungt. Du trenger en venn for å hjelpe deg med dette - de tette serverne kan være veldig tunge, og det er vanskelig å lede dem inn i skinnene som holder dem i stativet.
Trinn 4. Installer Ethernet -svitsjen over serverchassiset
Ta deg tid til å konfigurere bryteren: tillat jumbo -rammestørrelser på 9000 byte, sett IP -adressen til den statiske adressen du bestemte deg for i trinn 1, og slå av unødvendige rutingsprotokoller som SMTP Snooping.
Trinn 5. Installer PDU (Power Distribution Unit)
Avhengig av hvor mye strøm nodene dine kan trenge ved maksimal belastning, kan du trenge 220 volt for høytytende databehandling.
Trinn 6. Med alt installert kan du starte konfigurasjonsprosessen
Linux er de facto OS for HPC -klynger - ikke bare er det det ideelle miljøet for vitenskapelig databehandling, men det koster ikke noe å installere det på hundrevis eller tusenvis av noder. Tenk hvor mye det ville koste å installere Windows på alle disse nodene!
- Begynn med å installere den nyeste versjonen av hovedkortets BIOS og fastvare, som skal være den samme på alle noder.
- Installer din foretrukne linux -distro på hver node, med et grafisk brukergrensesnitt for hodetoden. Populære valg inkluderer CentOS, OpenSuse, Scientific Linux, RedHat og SLES.
- Denne forfatteren anbefaler på det sterkeste å bruke Rocks Cluster Distribution. I tillegg til å installere alle verktøyene som er nødvendige for at en beregningsklynge skal fungere, bruker Rocks en flott metode for å 'distribuere' mange forekomster av seg selv til nodene veldig raskt ved hjelp av PXE -oppstart og Red Hat 'Kick Start' -prosedyre.
Trinn 7. Installer meldingsformidlingsgrensesnittet, ressursbehandling og andre nødvendige biblioteker
Hvis du ikke installerte Rocks i forrige trinn, må du konfigurere nødvendig programvare manuelt for å aktivere parallelle databehandlingsmekanismer.
- Først trenger du et bærbart bash-styringssystem, for eksempel Torque Resource Manager, som lar deg bryte opp og distribuere oppgaver til flere maskiner.
- Koble dreiemoment med Maui Cluster Scheduler for å fullføre oppsettet.
- Deretter må du installere meldingsoverføringsgrensesnittet, som er nødvendig for at de enkelte prosessene på de separate beregningsnodene skal dele de samme dataene. OpenMP er en no-brainer.
- Ikke glem multi-threading matematiske biblioteker og kompilatorer for å bygge parallelle databehandlingsprogrammer. Nevnte jeg at du bare burde installere Rocks?
Trinn 8. Nettverk beregningsnodene sammen
Hovednoden sender beregningsoppgavene til beregningsnodene, som igjen må sende resultatet tilbake, samt sende meldinger til hverandre. Jo raskere jo bedre.
- Bruk et privat ethernet -nettverk for å koble alle nodene i klyngen.
- Hovednoden kan også fungere som en NFS-, PXE-, DHCP-, TFTP- og NTP -server over Ethernet -nettverket.
- Du må skille dette nettverket fra offentlige nettverk, noe som sikrer at kringkastingspakker ikke forstyrrer andre nettverk i ditt LAN.
Trinn 9. Test klyngen
Det siste du kan gjøre før du slipper all denne datakraften til brukerne, er å teste ytelsen. HPL (High Performance Lynpack) benchmark er et populært valg for å måle beregningshastigheten til klyngen. Du må kompilere den fra kilde med alle mulige optimaliseringer som kompilatoren tilbyr for arkitekturen du valgte.
- Du må selvfølgelig kompilere fra kilden med alle mulige optimaliseringsalternativer for plattformen din. For eksempel, hvis du bruker AMD -CPUer, kompilerer du med Open64 med -0hurt optimaliseringsnivå.
- Sammenlign resultatene dine på TOP500.org for å sammenligne klyngen din med de raskeste 500 superdatamaskinene i verden!
Video - Ved å bruke denne tjenesten kan noe informasjon bli delt med YouTube
Tips
- For virkelig høye nettverkshastigheter, se på InfiniBand -nettverksgrensesnittene. Vær imidlertid forberedt på å betale premiumpriser.
- IPMI kan gjøre administrasjonen av en stor klynge til en lek ved å tilby KVM-over-IP, ekstern energisykling og mer.
- Bruk Ganglia til å overvåke beregningsbelastningen på nodene.
