Seminarium: Systemy Rozproszone
7 grudnia 2023 12:15, sala 4070
Kacper Sołtysiak, Adam Cichy



Empowering Azure Storage with RDMA



Rozwiązania chmurowe cieszą się w ostatnich czasach dużą popularnością ze względu na oferowaną elastyczność i wydajność.

Jedną z najpowszechniejszych usług chmurowych jest przechowywanie danych - storage. W obliczu rosnącej adopcji pamięci zdezagregowanej w centrach danych, wzrasta znaczenie sieci jako medium pozwalające zapewnić dobrą wydajność oraz niezawodność. Jednym z możliwych rozwiązań sieciowych jest użycie transportu opartego o Remote Direct Memory Access (RDMA).

W mojej prezentacji opowiem o tym, jak Azure wdrożyło RDMA na poziomie regionów w celu wsparcia ich storage'a. Dowiemy się o korzyściach płynących z tego wdrożenia, a także o wyzwaniach, z jakimi się ono wiązało.

Zapraszam,
Kacper Sołtysiak



Bibliografia:





Triangulating Python Performance Issues with SCALENE



Python w ostatnich latach zdominował rankingi popularności i to nawet w dziedzinach wymagających znacznej wydajności. Dzięki bibliotekom typu numpy, pytorch, opakowującym zoptymalizowany kod niskopoziomowy w wygodne API stał się językiem powszechnie stosowanym w uczeniu maszynowym. Jednak stosowanie pakietów do obliczeń nie gwarantuje zawsze zadowalającej szybkości działania. Dość łatwo popełnić błędy, sprawiające, że program wykona dużo zbędnej pracy w wolnym kodzie Pythonowym, np. konwertując struktury natywne do Pythonowych i z powrotem. Kiedy nasz kod działa wolno lub zużywa zbyt dużo zasobów warto sięgnąć po narzędzia do profilowania.

SCALENE to nowy profiler dla Pythona, pozwalający precyzyjnie mierzyć użycie CPU, pamięci i GPU. Wyniki są podzielone na część Pythonową i kod natywny. Przy tym nie powoduje znacznego spowolnienia programu podczas profilowania.

Opowiem o tym, jak działa SCALENE i jakie problemy można napotkać tworząc profiler dla Pythona. Ponadto przedstawię kilka przykładów, ilustrujących jak SCALENE oraz profilowanie w ogólności mogą wspomóc optymalizację kodu.

Zapraszam,
Adam Cichy



Bibliografia: