Seminarium: Systemy Rozproszone
16 stycznia 2025 12:15, sala 4070
Mateusz Cegiełka, Mateusz Wasilewski

An exabyte a day: throughput-oriented, large scale, managed data transfers with Effingo

Opowiem o Effingo, czyli serwisie do kopiowania danych na olbrzymią skalę wprowadzonym przez firmę Google. Omówione zostanie jak Effingo optymalizuje koszty sieci wymaganej do transferów, budując drzewa kopiowań oraz dynamicznie zmieniając zachowanie w zależności od stanu sieci. Serwis już obecnie przetwarza ponad eksabajt danych dziennie, a w jednym serwisie korzystanie z Effigo zaoszczędziło więcej opłat za sieć, niż kosztowało napisanie tego systemu.

Zapraszam,
Mateusz Cegiełka

Bibliografia:

• An exabyte a day: throughput-oriented, large scale, managed data transfers with Effingo

TwinPilots: A New Computing Paradigm for GPU-CPU Parallel LLM Inference

How can we optimize LLM inference time using available system resources?
This paper introduces TwinPilots, a new computing paradigm for LLM inference, which utilizes both CPU and GPU to improve inference time.
We will discuss:

• The importance of high throughput memory bus for Machine Learning.
• The benefits of using both CPU and GPU for LLM inference.
• Differences among various deployment environments.

Zapraszam,
Mateusz Wasilewski

Bibliografia:

• TwinPilots: A New Computing Paradigm for GPU-CPU Parallel LLM Inference