PLAN VAN AANPAK: PROMETHEUS

(1)

Meeus Hidde

VITO NV Boeretang 200 2400 Mol

PLAN VAN AANPAK:

PROMETHEUS

(2)

1

Stagebedrijf: VITO NV

De Vlaamse Instelling voor Technologisch Onderzoek (VITO) is gesitueerd op de Boeretang, te Mol. VITO Mol bevindt op dezelfde site als SCK-CEN, het studiecentrum voor kernenergie.

VITO streeft ernaar om de transitie naar een duurzame wereld te versnellen, het innovatierisico voor bedrijven weg te nemen en het economische en maatschappelijke weefsel in Vlaanderen te versterken.

Ik ben terechtgekomen op de Informatica-afdeling, in het SAS-team. Op het gelijkvloers worden vooral het netwerk en de storage beheerd en op de bovenverdieping wordt vooral aan development en DevOps gedaan, ter ondersteuning van VITO. In totaal werken er 850 mensen bij VITO, waarvan 7 IT’ers in het SAS-team op de bovenverdieping, waar ik stage loop, en nog een aantal op het gelijkvloers. In het SAS-team wordt vooral ontwikkeld voor onderzoekers die een custom applicatie nodig hebben en IT-diensten verleend aan andere departementen die zelf geen IT-dienst hebben.

(4)

3

Aanleiding en achtergrond

Momenteel hebben de werknemers hier enkel overzicht van de aanwezige services, servers,…

aan de hand van Nagios en Munin. Deze oplossingen zijn stilaan verouderd waardoor het proces minder efficiënt verloopt. Daarom is het tijd voor verandering. Het deployen van een applicatie of een website is het mogelijk dat er fouten optreden en dan kan men de zoektocht naar het probleem beginnen. Prometheus is hier dus een mooie aanvulling.

Prometheus is een systems monitoring en alerting-toolkit. Door deze technologie te implementeren kan men de status van alle aanwezige servers eenvoudig weergeven en worden er alerts verstuurd als er iets mis gaat gaan. Dit is ook wat er verbeterd kan worden.

Door meteen de status van bepaalde services of servers te kunnen zien, kan men op elk moment van het proces zien hoe het verloopt of waar er iets mis is. Dankzij de alerting kan men ook eventuele errors monitoren voor deze zich voordoen.

(5)

4

Doelstellingen

Het eindproduct van de stage is een volledig werkende implementatie van Prometheus.

Correct geïnstalleerd, geconfigureerd en draaiend in de productie. Aangezien de initiële installatie niet de volledige stage in beslag neemt, worden extra features incrementeel toegevoegd aan de implementatie van Prometheus zoals bv Loki, Grafana,…. Deze extra features worden in overleg met Karel Styns en Koen Dierckx bepaald wanneer het vorige gegeven afgewerkt is. Bij deze initiële installatie horen ook enkele werkende instanties van exporters. Exporters zijn de stukjes software die informatie van de clients gaan schrapen, deze informatie aanbieden op een endpoint waarna Prometheus op deze endpoints de informatie zal binnenhalen. Zonder exporters kan Prometheus geen data verwerken, dus liggen de exporters in het verlengde van Prometheus. Er zijn een groot aantal exporters beschikbaar, daarom zal ik beginnen met een essentieel aantal en telkens wanneer deze exporters werkende zijn, zullen er incrementeel extra exporters toegevoegd worden.

De eerste stap is de installatie en configuratie van Prometheus in een testomgeving, om te bekijken hoe dit correct in de operationele omgeving terecht moet komen. Aangezien het Network en Storage team ook een Prometheus-server voor Windows heeft en ik deze voor Linux ga opzetten voor het SAS-team, is het combineren van deze twee instanties ook een doelstelling voor de stage. Zo kan deze opstelling voor zowel Linux- als Windows-hosts gebruikt worden. In de VITO-omgeving werkt men met Puppet. Er zal dus telkens gebruik worden gemaakt van Puppet om mijn code toe te passen.

De tweede stap is de realisatie van de testomgeving omzetten naar een werkende realisatie in de productie. Prometheus kan op veel verschillende manieren geïmplementeerd worden.

Statische of dynamische configuratie, rechtstreeks configureren of gebruik maken van een configuratie manager zoals Puppet, er zijn heel veel verschillende mogelijkheden. Samen met Koen Dierckx zal er gekeken worden naar de optimale wijze van implementatie in de productie-omgeving van VITO. Wanneer deze wijze bepaald is, zal de implementatie van Prometheus op deze manier gebeuren. De doelstelling van de tweede stap is dus mijn configuratie van Prometheus aanpassen aan de VITO-standaarden, om deze te deployen in de productie.

Om het geheel overzichtelijk te maken, ga ik gebruik maken van custom Grafana-dashboards.

De eisen voor deze dashboards worden door Koen Dierckx meegedeeld, waarna ik naargelang deze eisen de dashboards zal opstellen. Ter beveiliging van mijn project zal ik gebruik maken van basic authentication in samenwerking met LDAP, zodat men met zijn VITO-gegevens kan inloggen.

(6)

5

Business case

Men wil Prometheus op VITO implementeren zodat duidelijke, dynamische monitoring van de infrastructuur aan het verhaal wordt toegevoegd. Men wil een duidelijk overzicht van de benodigde infrastructuur om hun applicaties en websites te deployen. Eventuele problemen worden zo ook snel opgemerkt en opgelost. Dankzij de alerting van Prometheus kan men ook opkomende errors voorkomen in plaats van genezen, wat altijd beter is. Momenteel gebruikt men een combinatie van Nagios en Munin. Deze oplossing is heel statisch en stilaan verouderd. Prometheus daarentegen is dankzij verschillende andere oplossingen, waaronder Grafana, compleet zelf te configureren en dynamisch.

Het resultaat is initieel voor de development-verdieping bedoeld. Na combinatie met de Prometheus-server op het gelijkvloers, is het geheel voor zowel development als network and storage bedoeld. Beiden halen hier dezelfde voordelen uit: duidelijk overzicht van de status van de infrastructuur en zijn onderdelen, duidelijke waarschuwingen wanneer er een error kan opkomen en minder zoekwerk als er toch iets fout loopt. Dit alles zal de algemene efficiëntie verhogen, van zowel development als network and storage. Des te meer extra features ik afgewerkt krijg, des te efficiënter Prometheus gebruikt zal kunnen worden.

De eerste feature op de planning is Grafana: door Grafana met Prometheus te combineren zal ik de data die Prometheus schraapt, kunnen omzetten in overzichtelijke grafieken en dashboards. Verdere features zijn bijvoorbeeld Traefik, Grafana dashboard provisioning en dynamisch ontdekken van targets.

Planning

Fase 1 (02/03 – 20/03): opstellen van Plan van Aanpak, onderzoek naar Prometheus en opzetten van test omgeving, onderzoeken welke exporters ik nodig zal hebben, hoe deze werken en hoe ze geïmplementeerd moeten worden.

Fase 2 (23/03 – 27/04): testen in Puppet-testomgeving, voor elke exporter een respectievelijke instantie opzetten om informatie te laten schrapen, dashboards naargelang de wensen van Koen Dierckx opstellen

Fase 3 (enkele dagen na de succesvolle tests): oplossing in productie brengen, LDAP authenticatie van Grafana instellen, Prometheus-server samenvoegen met server van Network and Storage-team

Fase 4 (indien de initiële Prometheus-installatie operationeel is, gedurende de rest van de stage): incrementele uitbreiding van extra functies: deze fase bevat de voorgaande fases als stappenplan. Bij elke nieuwe functie zal ik deze eerst onderzoeken, daarna uittesten en uiteindelijk ook operationeel maken.

(7)

6

Projectorganisatie

Binnen VITO rapporteer ik aan Karel Styns en Koen Dierckx. Enerzijds aan Karel voor het organisatorisch aspect en aan Koen voor inhoudelijke en technische aspecten.

Informatie en rapportering

Doorheen de stage ga ik dagelijks een logboek aanvullen met wat ik die dag uitgevoerd en meegemaakt heb op stage, wat ik hiervan vond, wat ik hier mee gedaan heb en eventuele oplossingen documenteren. Van dit logboek maak ik een wekelijks verslag dat ik uiterlijk elke vrijdag naar zowel mijn stagebegeleider, Jochen Mariën, als mijn stagementor, Karel Styns, zal sturen.

Bij aanvang van de stage zal een startvergadering plaatsvinden, om mijn opdracht te kaderen in VITO. Hiervan zal ik ook een verslag opstellen dat op mijn portfolio geplaatst zal worden.

Verder heb ik 23 maart en 27 april terugkommomenten ingepland om mijn vooruitgang en mijn stage algemeen te bespreken. Alles wat ik van documenten opstel, zal uiteindelijk bij zowel stagementor als begeleider terechtkomen. Wat ik tijdens mijn stage opstel zal ik zoveel mogelijk doorsturen naar Karel Styns voor feedback, zodat ik op het juiste pad blijf en hij samen met mij overzicht kan behouden.

Om de realisatie van mijn stage gedetailleerd te verklaren zal ik een uitgebreid document voorzien. In dit document wordt de werking en configuratie van mijn gehele project geïllustreerd aan de hand van screenshots en specifieke voorbeelden, vergezeld van de nodige uitleg. De installatie zal in een ander document geanalyseerd worden, aangezien deze analyse in de eerste weken van de stage vereist is.

Uiteindelijk zal ik ook een reflectie van mijn stage voorzien. Deze reflectie bevat een persoonlijke en een technisch inhoudelijke reflectie over de gehele stage.