Seminarium: Systemy Rozproszone
13 grudnia 2018, godzina 12:15, sala 4070
Janusz Marcinkiewicz

DFC: Rozproszony schowek na pliki zoptymalizowany pod AI



Jedną z najszybciej rozwijających się dziedzin w informatyce, w ostatnich latach, stał się Machine Learning i Artificial Inteligence. Rozwój ten spowodował, że istniejące rozwiązania, czy to jeżeli chodzi o hardware czy o software są niewystarczające. Jednym z elementów, które są nieodłączone podczas uczenia maszynowego są dane. W dzisiejszej dobie chmur, dane te zazwyczaj są składowane w takich serwisach jak AWS (Amazon Web Services) czy GCP (Google Computing Cloud). Choć serwisy te udostępniają szeroki wachlarz usług, to problemem często jest prędkość odczytu danych, a przy szybkiej pamięci i kartach graficznych chcielibyśmy, aby dostęp i obróbka danych była równie szybka.

W mojej prezentacji przedstawię architekturę DFC, spróbuję odpowiedzieć na pytanie dlaczego ten system jest rozwijany i jak odpowiada na dzisiejsze zapotrzebowania uczenia maszynowego. Omówię także zintegrowaną z DFC funkcjonalność, która pozwala na wstępną obrbókę petabajtowych ilości danych, bez używania map-reducowych maszynerii takich jak Spark czy Hadoop.

Zapraszam!
Janusz Marcinkiewicz



Bibliografia: