Wstęp

Szeregowanie procesów jest jedną z najważniejszych cech systemu operacyjnego.

Nie istnieje optymalny algorytm szeregujący

• przydzielały odpowiednim procesom odpowiednio długie kwanty czasu
• ich czas wykonywania był jak najkrótszy

Scheduler w początkowych wersjach systemu Linux

Początkowa niezmienniczość

Idea działania

Podział na epoki

Klasy procesów

• SCHED_FIFO
• SCHED_RR

• SCHED_OTHER

• przyjdzie proces czasu rzeczywistego o wyższym priorytecie.
• proces sam, dobrowolnie odda procesor
• proces zablokuje się na operacji wejścia/wyjścia

Struktury procesu wykorzystywane przez algorytm szeregujący

• counter - mówi przez ile jeszcze taktów proces może używać procesora w aktualnej epoce
• need_resched - wartość mówiąca, czy potrzebne jest przeszeregowanie. Algorytm szeregujący zostanie uruchomiony tak szybko jak to możliwe
• nice - określa statyczny priorytet procesu. Może przyjmować wartości od -20 (najważniejszy) do +19 (najmniej ważny). Wartość ta jest używana przy liczeniu dynamicznego priorytetu procesu oraz przy wyliczaniu kwantu czasu na początku każdej epoki.
• policy - określa klasę procesu, a tym samym "politykę" jaką algorytm szeregujący ma wobec niego stosować
• rt_priority - dla procesów czasu rzeczywistego określa ich priorytet
• state - określa aktualny stan procesu

Funkcja schedule()

• bezpośrednio
Wywołanie takie ma miejsce, gdy:
• proces kończy się (poprzez funkcję do_exit())
• proces zawiesza się na operacji wejścia/wyjścia lub oczekuje zasobu, który w danej chwili jest dla niego niedostępny
• pośrednio
Wywołanie takie następuje, jeżeli dla danego procesu wartość need_resched ma wartość 1. Dochodzi do tego gdy:
• proces wykorzystał już swój kwant czasu w danej epoce.
  Sprawdza to funkcja update_process_times, która jest wywoływana po każdym takcie przez funkcję do_timer (z /kernel/timer.c)
• zjawił się proces o wyższym priorytecie (przeszedł do stanu TASK_RUNNING)
  Sprawdza to funkcja reschedule_idle wywoływana przez funkcję budzącą dany proces: wake_up_process

• Zakładane są wszelkie blokady oraz sprawdzane jest, czy wywołanie schedulera w danym momencie jest dozwolone, czyli czy np. nie znajdujemy się w obsłudze przerwania. Następnie sprawdzane jest, czy wykonywany dotychczas proces nie jest procesem czasu rzeczywistego typu Robin Round. Jeżeli tak, to jest on wstawiany na koniec kolejki oraz jezeli zwolnienie przez niego procesora nastąpiło w wyniku wyczerpania całego kwantu, to dodatkowo jest on odnawiany.

	if (prev->policy == SCHED_RR)
	    if (!prev->counter) {
	        prev->counter = NICE_TO_TICKS(prev->nice);
	        move_last_runqueue(prev);
	        }
	 

• Sprawdzany jest stan aktualnego procesu. Jeżeli jest on inny niż TASK_RUNNING, to jest on usuwany z kolejki procesów oczekujących. Wyjątkiem jest, gdy stan ma wartość TASK_INTERRUPTIBLE. Wtedy, jeżeli proces ma nadal jakieś nieobsłużone sygnały, to "dostaje szansę" na ich obsłużenie: nie tylko nie jest usuwany z kolejki procesów oczekujących, ale także jego stan zmieniany jest na TASK_RUNNING.

	switch (prev->state) {
	    case TASK_INTERRUPTIBLE:
	        if (signal_pending(prev)) {
	            prev->state = TASK_RUNNING;
	            break;
	        }
	    default:
	        del_from_runqueue(prev);
	    case TASK_RUNNING:
	} 
	 

• Zerowana jest flaga need_resched.

	 prev->need_resched = 0;
	 

• Domyślnie, jako nowy proces do wykonania bierze się proces idle, a jeżeli ostatnio wykonywany proces nadal jest w stanie TASK_RUNNING, to bierze się jego. Na zmiennej c ustawiana jest waga wybranego domyślnie procesu.

	next = idle_task(this_cpu);
	c = -1000;
	if (prev->state == TASK_RUNNING) {	 
	    c = goodness(prev, this_cpu, prev->active_mm);
	    next = prev;
	}	 
	 

• Teraz dla każdego procesu z kolejki procesów oczekujących wyliczana jest jest jego waga. Jeżeli jest dla jakiegoś procesu ona lepsza, niż aktualnie największa waga, to nowym kandydatem do wykonania (zapamietanym na zmiennej next) staje sie właśnie ten proces.

	list_for_each(tmp, &runqueue_head) {
	   p = list_entry(tmp, struct task_struct, run_list);
	   if (can_schedule(p, this_cpu)) {
	        int weight = goodness(p, this_cpu, prev->active_mm);
	        if (weight > c)
	            c = weight, next = p;
		}
	}
	 

• Jeżeli nie został znaleziony żaden proces, który mógłby zostać wykonany, tzn. że wszystkim aktywnym skończyły się kwanty czasu. Należy przydzielić procesom nowe kwanty czasu rozpoczynając tym samym nową epokę, a w algorytmie powrót do punktu czwartego (zerowanie flagi need_resched).

	if (!c)
	{
	    struct task_struct *p;
	    for_each_task(p)
	        p->counter = (p->counter >> 1) + NICE_TO_TICKS(p->nice);
	}
	 

• Jeżeli najlepszy znaleziony proces, czyli ten, który za chwilę dostanie procesor, nie jest aktualnym procesem, to następuje zmiana kontekstu. W szczególności aktualizowane są wszystkie zmienne globalne, w tym current.

	switch_to(prev, next, prev);	
	

• Jeżeli nowy proces ma ustawioną flagę need_resched, to cały algorytm wykonywany jest od początku.

	if (current->need_resched)
	    goto poczatek;
	return;	 
	 

Funkcja goodness()

• Jeżeli proces p sam zrezygnował z procesora, to zwracana jest dla niego wartość -1
• Dla zwykłego procesu zwracana jest pozostała liczba taktów w danej epoce powiększona o pewne "bonusy":
  • wynikające z wartości nice
  • jeżeli nowe strony nie będą musiały zostać załadowane do pamięci
  • dla wielu procesorów: jeżeli proces dotychczas wykonywał się na danym procesorze
• Dla procesów czasu rzeczywistego zwracana jest wartość 1000 + p->rt_priority

	static inline int goodness(struct task_struct * p, int this_cpu, struct mm_struct *this_mm)
	{
	    int weight;
	    weight = -1;

	/* Przypadek, że proces sam oddał procesor: ustawiona flaga SCHED_YIELD */
	    if (p->policy & SCHED_YIELD)
		    goto out;

	    if (p->policy == SCHED_OTHER) {
		    weight = p->counter;
		    if (!weight)
			    goto out;
			
	/* Przypadek dla wielu procesorów */ 			
	#ifdef CONFIG_SMP
		    if (p->processor == this_cpu)
			    weight += PROC_CHANGE_PENALTY;
	#endif

		    if (p->mm == this_mm || !p->mm)
			    weight += 1;
		    weight += 20 - p->nice;
		    goto out;
	    }

	/* Przypadek dla procesów czasu rzeczywistego */
	    weight = 1000 + p->rt_priority;
	out:
	return weight;
	}
	

Podsumowanie schedulera z wersji jądra 2.4

• Złożoność liniowa!
Jest to chyba największa wada tego algorytmu szeregującego. Każde jego wywołanie miało złożoność liniową względem aktualnej liczby procesów. Dla małej liczby zadań nie był to problem, ale im więcej było wykonywanych, tym dłużej trwało jedno przeszeregowanie, a jak wpomniane zostało wcześniej, szeregowanie w systemach wieloprogramowych musi być wykonywane bardzo często. Dla bardzo dużej liczby procesów może dojść do paradoksu, w którym procesor spędza więcej czasu na szeregowaniu procesów niż wynosi przydzielany przez niego kwant czasu.
• Zakładanie blokady na jedyną kolejkę procesów nawet w systemach wieloprocesorowych
Dla zwiększenia czytelności kodu nie zostało to pokazane, ale na wszystkie sekcje krytyczne w funkcji schedule() (oraz w innych wykorzystywanych funkcjach) zakładana jest blokada. Problem polega na tym, że jest tylko jedna blokada. Wobec tego, jeśli jeden procesor wybiera kolejny proces do wykonania i zjawiają się kolejne procesory, które również chciałyby to zrobić, to muszą one bezczynnie czekać, aż pierwszy procesor zakończy swoje operacje.
• Zwiększanie znaczenia procesów wykonująych częste operacje wejścia wyjścia
Kiedy rozpoczynana jest nowa epoka, scheduler odnawia każdemu procesowi wartość pozostałej liczby taktów. Jeżeli proces w poprzedniej, właśnie zakończonej epoce nie wykorzystał wszystkich swoich taktów (np. ponieważ zawiesił się na operacji wejścia wyjścia), to dostaje nie tylko liczbę taktów wynikającą ze swojego priorytetu, ale także dodaje się do niej połowę liczby taktów niewykorzystanej we właśnie zakończonej epoce.
Założenie było zapewne takie, aby podwyższyć priorytet procesów interaktywnych, które nie powinny się zacinać, ale oprócz tego bardzo często podwyższany był priorytet procesów, które wcale tego nie potrzebowały.
• Słabe wsparcie dla procesów czasu rzeczywistego
Spowodowane to było głównie tym, że jądro nie mogło zostać wywłaszczone, a przez to nie było żadnej gwarancji, że proces czasu rzeczywistego wykona się w jakichkolwiek nałożonych na niego ograniczeniach czasowych.

• Priority Level Scheduler - stara się zmiejszyć liczbę procesów sprawdzanych podczas pojedyńczego szeregowania
• Multi-Queue Scheduler - stara się zmiejszyć liczbę sytuacji, w których procesory czekają na przeszeregowanie z powodu założonej blokady na kolejce.

Zupełnie nowy scheduler

• Czas jednego przeszeregowania procesów jest stały względem ich liczby. Stad wzięła się właśnie jego nazwa O(1).
• Zapewniona została skalowalność względem liczby procesorów w architekturach SMP. Teraz większa liczba procesorów nie prowadzi już do bezproduktywnych przestojów.
• Lepiej obsługiwane są procesy interaktywne, czyli w szczególności takie z których korzystają domowi użytkownicy, jak odtwarzanie filmów, muzyki oraz środowisko graficzne. W założeniu procesy powinny wykonywać się płynnie nawet przy dużej liczbie innych procesów.
• Jest bardziej sprawiedliwy - procesy nie są głodzone i otrzymują krótsze kawnty czasu przez co złudzenie równoległości jest większe.

• Posiada rozbudowany kod
• Nie zapewnia pełnej interaktywności
• Może osiągać słabe wyniki dla aplikacji poziomu użytkownika, które nie wykorzystują technik zapewniających wysoką wydajność, manipulacji wątkami itp, na przyklad dla gier, przede wszystkim dla gier odpalanych przez wine, gdzie nie mamy kontroli nad oryginalnym kodem
• Możliwość zagłodzenia procesów programów poziomu użytkownika (It's not the occasional stalls in userspace that are a problem but real world workloads that cause complete starvation of some userspace programs at extremely light loads (mainline is starveable at loads of 1). That is singularly unacceptable.)

 						Priority rank
	Iteration Base	-1	-2	-3	-4	-5 	-6	-7	-8	-9	...
	1 	 1 	 1 	 1 	 1 	 1 	 1 	 1 	 1 	 1 	 1
	2 		 2	 1	 1	 1 	 1	 1	 1	 1	 1
	3 			 3	 1	 1 	 1	 1	 1	 1	 1
	

• Interaktywny poprzez mechanizm działania, a nie skomplikowane algorytmy rozpoznawania interaktywności
• Niewielkie opóźnienia dla normalnych procesów
• Prosta budowa

• Odporny na zagłodzenia
• Brak jakichkolwiek oszacowań "stopnia interaktywności" procesu, ani też związanych z tym bonusów
• Całkowita sprawiedliwość oparta jedynie na nice procesu
• Niewielkie opóźnienia(low latency)
• Duża interaktywność w granicach wyznaczonych przez powyższe cechy

Jak się to wszystko zaczęło?

"Modular Scheduler Core and Completely Fair Scheduler"

• Podziękowania dla Cona Kolivasa za pokazanie swoim SD, że idea Fairness ma sens i może być efektywna :)
• Przede wszystkim zmieniono strukturę danych, stare wysłużone kolejki (runqueues) zostały zastąpione przez drzewo czerwonow-czarne (rbtree) modelujące kolejność wykonywania.
• Wprowadzono granularyzację bazującą na nanosekundach, nie zaś na jiffies/HZ. Do dostosowywania granularyzacji służy:
  /proc/sys/kernel/sched_granularity_ns
  
  pozwala to dostosowywać scheduler do działania np. na komputerach domowych, gdzie oczekujemy jak najmniejszych opóźnień związanych z aplikacjami, lub też w drugą stronę do optymalizacji dla serwerów dla dobrego grupowania (good batching). Standardowo mamy opcje dla komputerów desktopowych
  
• W prowadzone rozwiązania czynią system odpornym na znane dotej pory sposoby zaburzania pracy schedular poprzez np dobieranie procesów złośliwie wbrew stosowanej przez niego heurystyce
• Silniejsza obsługa poziomów nice oraz SCHED_BATCH, jeszcze większe rozróżnienie pomiędzy procesami obliczeniowymi, a normalnymi

There are countless improvements in -v24 (see the shortlog further below 
for details), but here are a few highlights:

 - improved interactivity via Peter Ziljstra's "virtual slices" feature.
   As load increases, the scheduler shortens the virtual timeslices that 
   tasks get, so that applications observe the same constant latency for 
   getting on the CPU. (This goes on until the slices reach a minimum 
   granularity value)

 - CONFIG_FAIR_USER_SCHED is now available across all backported 
   kernels and the per user weights are configurable via 
   /sys/kernel/uids/. Group scheduling got refined all around.

 - performance improvements

 - bugfixes

99% of these changes are already upstream in Linus's git tree and they 
will be released as part of v2.6.24. (there are 4 pending commits that 
are in the small 2.6.24-rc3-v24 patch.)

Mówimy o cechach, pomówmy o implementacji...

http://people.redhat.com/mingo/cfs-scheduler/sched-design-CFS.txt
"Ideal multi-tasking CPU" is a (non-existent  :-))  CPU that has 100%
physical power and which can run each task at precise equal speed, in
parallel, each at 1/nr_running speed. For example: if there are 2 tasks
running then it runs each at 50% physical power - totally in parallel.

On real hardware, we can run only a single task at once, so while that
one task runs, the other tasks that are waiting for the CPU are at a
disadvantage - the current task gets an unfair amount of CPU time. In
CFS this fairness imbalance is expressed and tracked via the per-task
p->wait_runtime (nanosec-unit) value. "wait_runtime" is the amount of
time the task should now run on the CPU for it to become completely fair
and balanced.

( small detail: on 'ideal' hardware, the p->wait_runtime value would
  always be zero - no task would ever get 'out of balance' from the
  'ideal' share of CPU time. )

CFS's task picking logic is based on this p->wait_runtime value and it
is thus very simple: it always tries to run the task with the largest
p->wait_runtime value. In other words, CFS tries to run the task with
the 'gravest need' for more CPU time. So CFS always tries to split up
CPU time between runnable tasks as close to 'ideal multitasking
hardware' as possible.

Most of the rest of CFS's design just falls out of this really simple
concept, with a few add-on embellishments like nice levels,
multiprocessing and various algorithm variants to recognize sleepers.

In practice it works like this: the system runs a task a bit, and when
the task schedules (or a scheduler tick happens) the task's CPU usage is
'accounted for': the (small) time it just spent using the physical CPU
is deducted from p->wait_runtime. [minus the 'fair share' it would have
gotten anyway]. Once p->wait_runtime gets low enough so that another
task becomes the 'leftmost task' of the time-ordered rbtree it maintains
(plus a small amount of 'granularity' distance relative to the leftmost
task so that we do not over-schedule tasks and trash the cache) then the
new leftmost task is picked and the current task is preempted.

The rq->fair_clock value tracks the 'CPU time a runnable task would have
fairly gotten, had it been runnable during that time'. So by using
rq->fair_clock values we can accurately timestamp and measure the
'expected CPU time' a task should have gotten. All runnable tasks are
sorted in the rbtree by the "rq->fair_clock - p->wait_runtime" key, and
CFS picks the 'leftmost' task and sticks to it. As the system progresses
forwards, newly woken tasks are put into the tree more and more to the
right - slowly but surely giving a chance for every task to become the
'leftmost task' and thus get on the CPU within a deterministic amount of
time.
Some implementation details:

 - the introduction of Scheduling Classes: an extensible hierarchy of
   scheduler modules. These modules encapsulate scheduling policy
   details and are handled by the scheduler core without the core
   code assuming about them too much.

 - sched_fair.c implements the 'CFS desktop scheduler': it is a
   replacement for the vanilla scheduler's SCHED_OTHER interactivity
   code.

   I'd like to give credit to Con Kolivas for the general approach here:
   he has proven via RSDL/SD that 'fair scheduling' is possible and that
   it results in better desktop scheduling. Kudos Con!

   The CFS patch uses a completely different approach and implementation
   from RSDL/SD. My goal was to make CFS's interactivity quality exceed
   that of RSDL/SD, which is a high standard to meet :-) Testing
   feedback is welcome to decide this one way or another. [ and, in any
   case, all of SD's logic could be added via a kernel/sched_sd.c module
   as well, if Con is interested in such an approach. ]

   CFS's design is quite radical: it does not use runqueues, it uses a
   time-ordered rbtree to build a 'timeline' of future task execution,
   and thus has no 'array switch' artifacts (by which both the vanilla
   scheduler and RSDL/SD are affected).

   CFS uses nanosecond granularity accounting and does not rely on any
   jiffies or other HZ detail. Thus the CFS scheduler has no notion of
   'timeslices' and has no heuristics whatsoever. There is only one
   central tunable:

         /proc/sys/kernel/sched_granularity_ns

   which can be used to tune the scheduler from 'desktop' (low
   latencies) to 'server' (good batching) workloads. It defaults to a
   setting suitable for desktop workloads. SCHED_BATCH is handled by the
   CFS scheduler module too.

   Due to its design, the CFS scheduler is not prone to any of the
   'attacks' that exist today against the heuristics of the stock
   scheduler: fiftyp.c, thud.c, chew.c, ring-test.c, massive_intr.c all
   work fine and do not impact interactivity and produce the expected
   behavior.

   the CFS scheduler has a much stronger handling of nice levels and
   SCHED_BATCH: both types of workloads should be isolated much more
   agressively than under the vanilla scheduler.

   ( another detail: due to nanosec accounting and timeline sorting,
     sched_yield() support is very simple under CFS, and in fact under
     CFS sched_yield() behaves much better than under any other
     scheduler i have tested so far. )

 - sched_rt.c implements SCHED_FIFO and SCHED_RR semantics, in a simpler
   way than the vanilla scheduler does. It uses 100 runqueues (for all
   100 RT priority levels, instead of 140 in the vanilla scheduler)
   and it needs no expired array.

 - reworked/sanitized SMP load-balancing: the runqueue-walking
   assumptions are gone from the load-balancing code now, and
   iterators of the scheduling modules are used. The balancing code got
   quite a bit simpler as a result.