Seminarium: Systemy Rozproszone
20 listopada 2014, godzina 12:15, sala 4070
Maciej Dębski

Jak działa Internet? Jak obsłużyć O(Google) zapytań na sekundę?

W swojej prezentacji opowiem o tym jak działa prawdopodobnie największy na świecie system rozproszony - Internet. Przedstawię pokrótce BGP - protokół używany do automatycznej konfiguracji routingu. Zademonstruję jak można obserwować co dzieje się w internecie i opowiem o kilku historycznych przypadkach globalnych problemów.

W drugiej części będę mówił o tym w jaki sposób przeskalować usługę do ogromnej liczby klientów. Wbrew pozorom, kupno wielu szybkich serwerów to dopiero początek... Opowiem o równoważeniu obciążenia i zapewnianiu wysokiej dostępności przy użyciu różnych mechanizmów - DNS, Anycast, L7 HTTP load balancing. Przedstawię czym jest spójne haszowanie (consistent hashing) i pokażę czemu świetnie nadaje się do równoważenia obciążenia.
Powiem trochę o tym jak robi to Google - choć niestety szczegóły rozwiązań w tej dziedzinie nie są publiczne - i pokażę jak można samemu zaobserwować co dzieje się z naszymi zapytaniami. Postaram się także powiedzieć co z tego da się zrobić "w domu" - za pomocą zwykłego sprzętu i otwartego oprogramowania.

Zapraszam!
Maciej Dębski

Bibliografia:

• Google Compute Engine Load Balancing
• Luiz André Barroso, Jeffrey Dean, Urs Hölzle The Google Cluster Architecture
• David Karget, Eric Lehman, Tom Leighton, Matt Levine, Daniel Lewin, Rina Panigrahy Consistent Hashing: Load Balancing in a Changing World
• Cedric F. Lam, Hong Liu, Bikash Koley, Xiaoxue Zhao, Valey Kamalov, Vijay Gill, Google Inc. Fiber Optic Communication Technologies: What’s Needed for Datacenter Network Operations
• John Lamping, Eric Veach, Google A Fast, Minimal Memory, Consistent Hash Algorithm