UvA-DARE is a service provided by the library of the University of Amsterdam (https://dare.uva.nl)
UvA-DARE (Digital Academic Repository)
Understanding and mastering dynamics in computing grids: processing
moldable tasks with user-level overlay
Mościcki, J.T.
Publication date
2011
Link to publication
Citation for published version (APA):
Mościcki, J. T. (2011). Understanding and mastering dynamics in computing grids: processing
moldable tasks with user-level overlay.
General rights
It is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s), other than for strictly personal, individual use, unless the work is under an open content license (like Creative Commons).
Disclaimer/Complaints regulations
If you believe that digital publication of certain material infringes any of your rights or (privacy) interests, please let the Library know, stating your reasons. In case of a legitimate complaint, the Library will make the material inaccessible and/or remove it from the website. Please Ask the Library: https://uba.uva.nl/en/contact, or a letter to: Library of the University of Amsterdam, Secretariat, Singel 425, 1012 WP Amsterdam, The Netherlands. You will be contacted as soon as possible.
Streszczenie po polsku
Spo leczno´sci naukowe u˙zywaja coraz wi, ekszej liczby system´, ow obliczeniowych: od lo-kalnych system´ow typu batch, specjalizowanych serwis´ow obliczeniowych i superkom-puter´ow a˙z po globalnie rozproszone infrastruktury typu gridowego. G l´ownym zada-niem globalnych infrastruktur obliczeniowych jest zwiekszanie potencja lu badawczego, w nauce poprzez udostepnianie na wielka skal, e zasob´, ow obliczeniowych oraz prze-chowywania danych. Cecha charakterystyczn, a zdecentralizowanych system´, ow grid-owych jest chaotyczno´s´c i niejednorodno´s´c; jest to ´srodowisko, w kt´orym wystepuj, a, trudne do przewidzenia obcia˙zenia zasob´, ow i czeste awarie podsystem´, ow. Zrozumienie i opanowanie niejednorodno´sci oraz dynamiki tego ´srodowiska jest praktycznie niewykon-alne przez pojedynczego u˙zytkownika, je˙zeli nie jest on wyposa˙zony w odpowiednie metody i narzedzia. Czas niezb, edny na nauk, e r´, o˙znorodnych interfejs´ow u˙zytkownika wielu ´srodowisk obliczeniowych stanowi kolejne wyzwanie.
Skr´ocenie czasu wykonania zada´n obliczeniowych oraz latwiejsze jego przewidywanie jest jednym z najwa˙zniejszych czynnik´ow zwiekszaj, acych efektywno´, s´c pracy u˙zytkown-ik´ow. Technika p´o´znego wiazania zasob´, ow (late binding) pozwala osiagn, a´,c te cele i mo˙ze zosta´c wykorzystana, poniewa˙z wiekszo´, s´c wykonywanych zada´n obliczeniowych w systemach gridwych jest “gietka” (moldable). Gi, etko´, s´c oznacza, ˙ze zadanie mo˙ze zosta´c efektywnie wykonane na zmiennej liczbie zasob´ow obliczeniowych (procesor´ow) gdy˙z mo˙ze ono zosta´c elastycznie podzielone na dowolna liczb, e podzada´, n (w przeciwie´nstwie do typowych zada´n r´ownoleg lych). Gietko´, s´c charakteryzuje zadania z wielu dziedzin za-stosowa´n takich jak symulacje Monte Carlo, dob´or optymalny parametr´ow (parameter sweep), zadania typu grafowego (DAG), analiza danych itp.
W tej pracy jest analizowana przestrzenna i czasowa dynamika globalnej infrastruk-tury gridowej – EGEE Grid. W celu analizy zmienno´sci wydajno´sci systemu gridowego zosta l opracowany model przetwarzania zada´n gridowych, w kt´orym parametry sys-temu gridowego reprezentowane sa jako zmienne losowe o rozk ladach empirycznych. W, oparciu o ten model zosta la przeprowadzona analiza metryk jako´sci us lug gridowych zwiazanych z przetwarzaniem zada´, n takich jak wariancja rozpieto´, sci czasu wykonania
170 STRESZCZENIE
zada´n (variance of makespan). Analiza ta umo˙zliwia por´ownanie metody p´o´znego i wczesnego wiazania zasob´, ow. Stosujac przybli˙zenie ci, ag le modelu dyskretnego i funda-, mentalne prawa statystyki, zosta lo wykazane, ˙ze w la´sciwo´sci metody p´o´znego wiazania, zasob´ow pozwalaja na popraw, e metryk jako´, sci us lug systemu gridowego. Do analizy dyskretnego modelu przetwarzania zada´n zosta la zastosowana symulacja metoda Monte, Carlo, co pozwala na uwzglednienie dodatkowych parametr´, ow takich jak narzuty ko-munikacyjne. Przeprowadzona analiza pozwala stwierdzi´c, ˙ze w pewnych przypadkach metoda p´o´znego wiazania zasob´, ow pozwala na skr´ocenie czasu wykonania zada´n o rzad, wielko´sci w por´ownaniu do metody wczesnego wiazania.,
W tej pracy zosta ly opisane te˙z zasady tworzenia lekkiej nak ladki u˙zytkownika (User-level Overlay), kt´ora wykorzystuje p´o´zne wiazanie zasob´, ow w celu poprawy jako´sci przetwarzania zada´n w systemach obarczonych du˙za niepewno´, scia i nieprzewidywal-, no´scia. Opracowana w tej pracy strategia, bazuje na lu´, zno zintegrowanych narzedziach, dostepnych bezpo´, srednio dla u˙zytkownika: DIANE jest silnikiem zarzadzania zadaniami, przetwarzanymi przez zbi´or wez l´, ow obliczeniowych zarzadzanych za pomoc, a interfejsu, Ganga. Takie podej´scie umo˙zliwia latwe tworzenie algorytm´ow wyboru zasob´ow (na przyk lad za pomoca mechanizm´, ow heurystycznych) oraz latwe tworzenie algorytm´ow zarzadzania zadaniami (na przyk lad za pomoc, a metod adaptacyjnych i r´, ownowa˙zenia obcia˙zenia zasob´, ow). Pozosta le kluczowe cechy tego systemu to dostep do szerokiej, gamy rozproszonych system´ow obliczeniowych, mo˙zliwo´s´c rozszerzenia i adaptacji sys-temu do specyficznych wymaga´n konkretnych aplikacji, latwo´s´c u˙zycia i jednorodny interfejs u latwiajacy korzystanie z niejednorodnych ´, srodowisk obliczeniowych.
Nak ladka User-level Overlay umo˙zliwia osiagniecie nowych zdolno´, sci zarzadzania, zadaniami w stosunku do klasycznych system´ow obliczeniowych. Zdolno´sci te zosta ly zaprezentowane na przyk ladzie istniejacych aplikacji w ´, srodowisku gridowym i obej-muja: zwi, ekszenie wydajno´, sci oblicze´n o kr´otkim terminie wykoniania (short-deadline), zwiekszon, a niezawodno´, s´c i automatyzacje wykonywania zada´, n, wsparcie dla algoryt-m´ow przeszukiwania przestrzeni parametr´ow (parameter sweep), automatyzacja zada´n typu grafowego i workflow oraz zdolno´s´c pracy p´o l-interaktywnej.
Zaprezentowane zosta ly dwa przypadki realizacji aplikacji typu Capability Comput-ing i Capacity ComputComput-ing z wykorzystaniem nak ladki User-level Overlay. Pierwszy przypadek obejmuje koordynacje du˙zej liczby zada´, n o bardzo kr´otkim czasie wykona-nia dla oblicze´n zwiazanych z planowaniem nowych standard´, ow nadawania cyfrowego w ramach konferencji RRC06 Miedzynarodowej Unii Telekomunikacyjnej (ITU). Drugi, przypadek obejmuje priorytezacje zada´, n oraz selekcje zasob´, ow obliczeniowych dla symu-lacji Lattice QCD w fizyce teoretycznej dla potrzeb eksperyment´ow na cie˙zkich jonach, (LHC, RHIC).
Niniejsza praca stanowi wk lad do bada´n nad sposobami zwiekszenia jako´, sci us lug zwiazanych z przetwarzaniem zada´, n w systemach gridowych na poziomie u˙zytkownika i aplikacji. Zosta lo zademonstrowane, i˙z istotnie jest to mo˙zliwe poprzez wyja´snienie podstaw teoretycznych wp lywu metody p´o´znego wiazania zasob´, ow oraz wdro˙zenie z sukcesem nak ladki User-level Overlay w wielu praktycznych zastosowaniach naukowych.
