Efektywne szeregowanie zadań w superkomputerach, z uwzględnieniem buforów impulsowych

W ciągu ostatnich lat, branża HPC (high-performance computing) coraz częściej zaczyna wykorzystywać tzw. bufory impulsowe, czyli dodatkową warstwę pamięci, zbudowanej z dysków SSD lub pamięci NVRAM. W związku ze wzrostem popularności tej technologii, dzisiejsze, rozwijane latami rozwiązania do obsługi klastrów obliczeniowych, muszą dostosować się do tego trendu, rozszerzając swoje funkcjonalności o możliwość optymalnego zarządzania nowym typem zasobu, jakim są bufeory impulsowe.

W trakcie prezentacji, przedstawię moje doświadczenia związane z pracą nad rozszerzeniem algorytmu szeregowania popularnego oprogramowania Slurm o poprawne wsparcie dla wspomnianych burst bufferów. Prócz omówienia uzyskanych rezultatów, postaram się również odpowiedzieć na takie pytanie jak:

Rozwijanie i debugowanie oprogramowania szeregującego - co może pójść nie tak?
Jak w prosty sposób usprawnić istniejący algorytm szeregowania backfill, aby uwzględniał więcej niż jeden typ zasobów?
W jaki sposób, w ciągu jednego dnia przeprowadzić emulację roku pracy klastra 100 maszyn, mając do dyspozycji jeden komputer?
Dlaczego ewaluacja efektywności algorytmów szeregowania jest problematyczna? Jak oszukać popularne metryki wydajności klastra obiczeniowego?

Zapraszam,
Karol Waszczuk

Bibliografia:

Błażej Mróz

Proof of Space and Time - alternatywny sposób na rozproszony konsensus

Ostatnio wiele słyszymy na temat ogromnego zużycia energii spowodowanego „kopaniem” kryptowalut. Sam Bitcoin zużywa więcej energii, niż takie kraje jak Szwajcaria, czy Finlandia. Jednym z popularniejszych rozwiązań tego problemu stało się zastąpienie konsensusu opartego na Proof of Work (PoW) dużo bardziej oszczędną alternatywą - Proof of Stake (PoS). Zamiast mocy obliczeniowej, transakcje zabezpiecza “postawiony na szali” kapitał.

Jest to sensowna alternatywa - do tego stopnia, że druga pod względem wielkości kryptowaluta - Ethereum, właśnie migruje z PoW na PoS. Również wiele nowych projektów od razu implementuje PoS. Rozwiązanie to ma jednak swoje wady.

Stąd, niedawno pojawiła się kolejna alternatywa - Proof of Space and Time (PoST). Tym razem, pomysł polega na tym, żeby zamiast mocy CPU/GPU użyć miejsca na dysku. Sam pomysł nie jest nowy; jednak w tym roku została uruchomiona jego ciekawa, praktyczna implementacja - blockchain Chia, za którym stoi Bram Cohen, twórca protokołu BitTorrent. Podczas prezentacji omówię, na przykładzie Chia, na czym dokładniej polega Proof of Space and Time oraz jakie problemy autorzy musieli rozwiązać przy jego projektowaniu.

Zapraszam,
Błażej Mróz

Bibliografia: