AI in video herkenning
Beoordelen van video-opnames met een machine learning
algoritme
AI in video herkenning
Beoordelen van video-opnames met een machine learning algoritme
Veel bedrijven maken video-opnames voor toepassingen zoals inspectie,
kwaliteitscontrole, bewaking of procesbeheer. Alle situaties waarin video-monitoring wordt toegepast, hebben met elkaar gemeen dat er veel mensenwerk vereist is om de opnames te beoordelen. Hier komt echter artificial intelligence (AI) goed van pas.
Het is tegenwoordig bijna onmogelijk om zonder AI te werken, en de toepassingen ervan zijn enorm divers: van zelfrijdende voertuigen en apps die kunnen beoordelen of een moedervlek tot kanker kan leiden tot het automatisch detecteren van koeien die op het punt staan kalven te baren door middel van beelden van camera’s die aan drones zijn bevestigd. Dit zijn allemaal mogelijke toepassingen van artificial intelligence, met name machine learning en deep learning. Dit whitepaper beschrijft de toepassingen van machine learning voor automatische herkenning en classificatie van video-opnames. In welke vormen van videoherkenning kan AI van nut zijn? Wat zijn de voordelen? En hoe ziet de business case er uit?
Diverse toepassingen van videoherkenning
Dit voorjaar zijn er in Nederland grote aantallen vogelnesten uitgerust met camera’s om vogelliefhebbers in staat te stellen het broedproces te volgen. Toch gebeurt er het grootste deel van de dag niet veel op deze beelden. Zou het niet handig zijn als een algoritme automatisch zou kunnen herkennen wanneer er iets van belang gebeurt, en uiteindelijk de selectie van relevante beelden zou opnemen in een video met highlights? Een soortgelijke AI-toepassing kan worden ingezet om de video-opnames van een bewakingscamera te beoordelen. In zo’n situatie hoeven bewakingsmedewerkers niet langer alle camerabeelden te controleren, maar ze hoeven alleen te kijken naar de real-time beelden van de momenten waarop er iets gebeurt. Het beoordelen van die beelden wordt nog steeds door mensen gedaan, maar ze hoeven niet langer de opnames te controleren waarop er niets gebeurt.
Een andere categorie van AI-toepassingen bestaat uit het automatisch herkennen en inventariseren van objecten zoals producten in een verpakkingsproces. In de meeste vleesfabrieken worden verschillende soorten vlees na elkaar ingepakt, omdat het verpakkingsproces de verschillende soorten vlees niet zelf kan herkennen. De vleessnijmachine selecteert het vlees en plaatst het in kratten, waardoor het vlees te lang blijft liggen en zijn sap verliest. Het zou bijzonder handig zijn als een camera het verschil zou kunnen bepalen tussen een ronde steak en een varkenskarbonade en automatisch de vervolgstappen zou kunnen besturen. Op die manier zou seriële productie kunnen worden getransformeerd naar parallelle verwerking.
Andere voorbeelden van videoherkenning voor het inventariseren van objecten zijn onder andere het tellen van het aantal containers op een overslagterrein, monitoren van de groei van landbouwgewassen of het maken van onderscheid tussen gewas en onkruid.
Een laatste categorie van toepassingen van videoherkenning is inspectie. Medewerkers van waterschappen moeten voor hun inspecties nog steeds fysiek naar de dijken in hun gebied om te beoordelen of ze sterk genoeg zijn. Op momenten waarop het water plotseling stijgt, maken ze overuren om alle kritieke dijken te inspecteren. Zou het onze veiligheid niet verhogen als een drone van dichtbij video-opnames van een dijk zou kunnen maken en een getraind algoritme de inspecteurs van de dijken zou informeren over potentiële risico’s?
AI voor videoherkenning: hoe werkt dit?
Getrainde AI-modellen maken het mogelijk videobeelden automatisch te classificeren. Dit wordt uitgevoerd met een model dat is getraind in beeldherkenning. Een voorwaarde voor het adequaat trainen van het model is de beschikbaarheid van voldoende beeldgegevens, die tevens een duidelijke relatie hebben met het doel waarvoor de AI wordt toegepast. Een bewakingscamera die inbrekers moet onderscheiden van werknemers en voorbijgangers heeft voldoende beelden nodig van elk van deze drie situaties. In werkelijkheid zal het aantal beelden waarop inbrekers voorkomen zeer beperkt zijn, en hierdoor is het zelden mogelijk een werknemer te onderscheiden van een inbreker. Het is echter wel mogelijk beelden te onderscheiden van mensen die een gebouw binnengaan van gewone voorbijgangers.
Naast de beschikbaarheid van voldoende gegevens die een duidelijke relatie met het doel hebben, is het tevens van belang het leerproces te monitoren. Een van de eigenschappen van AI is het feit dat het model zelf leert van alle nieuwe input.
Dit is alleen mogelijk als de nieuwe gegevens een eenduidige relatie met het doel hebben, zodat het algoritme begrijpt wat het moet leren. Als de bewakingscamera’s ook zaken registreren als kleine dieren zoals katten en konijnen die het gebouw binnengaan, kan het model worden getraind om ze als zodanig te herkennen. Dit leerproces moet echter worden gemonitord zodat het algoritme een man die onder een hek van prikkeldraad doorkruipt niet verwart met een hond.
De reden waarom dit van zulk cruciaal belang is, is dat AI vaak tekortschiet in zaken waar wij als mensen goed in zijn:
context herkennen en overeenkomstig reageren. AI herkent alleen zaken waarvoor het specifiek getraind is, en niet de zaken waarvoor het niet getraind is. Neem bijvoorbeeld de AI die wordt gebruikt voor het herkennen van borstkanker op een mammografie: deze algoritmes zijn beter en sneller in het vaststellen van de beginfasen van kanker dan een radioloog, maar ze kunnen geen andere ziektes herkennen. Dit maakt ze bijzonder geschikt voor het screenen op borstkanker, maar om vrouwen te helpen die naar de kliniek komen met algemene gezondheidsproblemen is een breder beeld nodig.
Use case: weginspecties
We leggen deze voorwaarden en de onderliggende business case nader uit aan de hand van een use case uit de praktijk.
Het inspecteren van asfalt door het bouwbedrijf BAM. Deze inspectie wordt uitgevoerd met camerabeelden die door een opnamevoertuig zijn gemaakt. Alle beelden worden bekeken door specialisten, en wanneer zij schade op de beelden zien, trekken ze er een kader omheen en maken er aantekeningen bij.
In samenwerking met ICT Group heeft BAM onderzocht of het herkennen van schade ook kan worden uitgevoerd door een zelflerend algoritme. Hiervoor is een model gebruikt dat getraind is in beeldherkenning. Voor het trainen van het model is gebruikgemaakt van een verzameling van 2500 beelden van acht verschillende soorten schade aan het asfalt. Dit is de manier waarop het model schade leert herkennen en de verschillende soorten schade van elkaar leert te onderscheiden.
Tijdens het leerproces ontdekte het team dat sommige schadegevallen te breed waren ingekaderd en dit bemoeilijkte het leren door het algoritme. Het algoritme zorgde bijvoorbeeld niet voor een juiste herkenning van dierenresten op het asfalt omdat de annotatie grote gebieden van schoon asfalt bevatte. Het annotatiekader wordt nu ingeperkt, zodat het algoritme minder ruis hoeft te verwerken, en dit resulteert in voorspellingen met een grotere mate van nauwkeurigheid. Het algoritme heeft bovendien grote moeite met schadegevallen die ook moeilijk te herkennen zijn door mensen, bijvoorbeeld rafeling van het asfalt. Dit is logisch want de beelden van rafeling die niet als zodanig zijn geannoteerd zijn ook in de beeldenverzameling voor de training terecht gekomen. Soms is er sprake van een subtiel verschil tussen een gezond en een beschadigd wegdek. Voor deze schadegevallen wordt het algoritme gevoed met een grotere verzameling trainingsmateriaal.
Het uiteindelijke doel is classificatie door menselijke specialisten te vervangen door kwalificatie van schadegevallen door AI.
‘Getrainde AI-modellen maken het mogelijk videobeelden
automatisch te classificeren.
Dit wordt uitgevoerd met
een model dat is getraind in
beeldherkenning’
Het model is zodanig gestructureerd dat valse negatieven worden vermeden, met andere woorden, er wordt voorkomen dat er beelden van schade worden gemist. Dit is de reden waarom de eerste versie relatief meer valse positieven bevat: beelden waarover het algoritme twijfelt, maar die bij nader onderzoek door een menselijke specialist onbeschadigd blijken te zijn. Deze input wordt gebruikt om het algoritme te verfijnen, zodat het beter in staat is de mate van schade aan het asfalt te voorspellen.
Het eerste algoritme dat door BAM werd gebruikt, kon 80% van de beelden als onbeschadigd beoordelen. Dit betekende dat de inspecteurs slechts de resterende 20% van de beelden hoefden te analyseren. De bespaarde tijd werd gebruikt om het algoritme verder te trainen en het leerproces te monitoren.
Op de lange duur zal dit percentage toenemen in de richting van 99% automatische detectie en 1% menselijke interventie.
Menselijke interventie zal nog ruime tijd nodig zijn omdat he beeldmateriaal altijd ongebruikelijke beelden kan bevatten die het algoritme nog nooit gezien heeft en niet kan verklaren. Omdat deze uitzonderingen zelden voorkomen heeft het algoritme te weinig trainingsgegevens om deze situaties uit zichzelf te herkennen. Om die reden blijft het toepassen van AI een combinatie van mens en machine.
Eén gegevensverzameling, verschillende trainingsdoelen
In sommige gevallen kan een gegevensverzameling voor verschillende doeleinden worden gebruikt. In de use case van BAM bestaat het beeldmateriaal van het asfalt uit een aanpassing van de beelden die genomen zijn met een Horus autocamera, een soortgelijk apparaat als de camera die door Google Street View wordt gebruikt. Dit betekent dat het oorspronkelijke materiaal veel meer informatie bevat dan alleen de schade aan het asfalt. De beelden tonen bijvoorbeeld ook de locatie en de toestand van de bebording in straten. Op basis van die informatie kan het onderhoud van de borden worden gepland.
Daarnaast is het ook mogelijk te beoordelen of verkeerssituaties goed geregeld zijn: staan de borden op een duidelijk zichtbare plek en op logische plaatsen? Met de toename van zelfrijdende voertuigen neemt ook het belang van goed geregelde verkeerssituaties toe. AI kan ervoor zorgen dat dit veel sneller wordt beoordeeld.
Het voorbeeld van verkeersborden laat ook zien dat de benodigde trainingsverzameling al naar gelang de toepassing varieert. Elk land heeft een beperkt aantal verkeersborden. Het algoritme hoeft ze slechts eenmalig te leren om ze in de toekomst te herkennen. Maar AI zal nog steeds niet in staat zijn om op de juiste manier een persoon te onderscheiden die een T-shirt draagt met een plaatje van een verkeersbord, en daarom blijft menselijke interventie altijd nodig om alle situaties te kunnen beoordelen. De trainingsverzameling kan echter veel beperkter zijn dan in een toepassing waarin het algoritme verschillende soorten schade aan het asfalt moet herkennen.
Voordelen van het gebruik van AI
Het gebruik van AI biedt een groot aantal voordelen:
1. Verhoogde efficiëntie
Mensen hoeven niet langer alle camerabeelden te bekijken, maar kunnen zich beperken tot de beelden die waarschijnlijke afwijkingen tonen. Hierdoor kunnen ze meer werk in minder tijd doen.
2. Interessantere werkzaamheden
Voor de specialisten die het beeldmateriaal moeten bekijken, wordt het werk interessanter.
Ze hoeven alleen nog maar de complexere gevallen te beoordelen.
3. Verhoogde kwaliteit
Algoritmen worden niet moe en hebben geen last van concentratieverlies, wat wel het geval is bij mensen. Een AI-model levert altijd voorspelbare output. De kwaliteit van die output is afhankelijk van hoe goed het algoritme getraind is. Aanvankelijk zijn de prestaties van een algoritme suboptimaal. De uitdaging is om het model zodanig te trainen dat het aantal valse negatieven tot 0 wordt teruggebracht.
4. Snellere beslissingen
Omdat mensen meer werk in minder tijd kunnen doen, kunnen ze zorgen voor een versneld besluitvormingsproces voor camerabeelden die menselijke tussenkomst vereisen. Dit is een groot voordeel in noodsituaties.
5. Continuïteit
Een AI-model wordt niet ziek, gaat niet op vakantie en kan 24x7 blijven doorwerken.
6. Schaalbaarheid
Een AI-model kan eenvoudig worden gedupliceerd op andere virtuele machines om de verwerkingssnelheid te verhogen. Hierdoor wordt het mogelijk gelijktijdig een enorme hoeveelheid videobeelden te verwerken.
7. Verlaagde kosten
De bovengenoemde voordelen – met name het efficiëntievoordeel – resulteren in sterk verlaagde kosten.
8. Nieuwe bedrijfsmodellen
De combinatie van verlaagde kosten en verhoogde kwaliteit schept mogelijkheden voor nieuwe bedrijfsmodellen.
Inspecties kunnen bijvoorbeeld vaker worden uitgevoerd zodat fouten sneller hersteld kunnen worden. Daarnaast is het mogelijk schadegevallen veel eerder vast te stellen en het schadeproces nauwkeurig te monitoren, en dit opent mogelijkheden voor een ander onderhoudsschema.
9. Menselijke capaciteit
Menselijke capaciteit speelt niet langer een rol.
Business cases liggen net om de hoek
Het aantal mogelijke AI-toepassingen op het gebied van beeldherkenning is enorm groot. Toch zijn er nog maar weinig implementaties in de echte wereld. Dit komt doordat men denkt dat de technologie nog maar in haar kinderschoenen staat. Niets is minder waar. Neurale netwerken werden al in de tachtiger jaren van de vorige eeuw ingezet, en de eerste toepassingen op het gebied van beeldherkenning werden in de jaren negentig van de vorige eeuw ontwikkeld. In het huidige millennium wordt beeldherkenning breed toegepast bij onderzoek naar misdaad door de politie, zoals bijvoorbeeld kentekenplaatherkenning en automatische gezichtsherkenning. Ook in de medische wereld wordt AI veel toegepast, bijvoorbeeld bij het opsporen van kankercellen in een MRI. Kortom, de technologie is volwassen, en dit heeft geleid tot een verlaging van de kosten voor zelflerende modellen.
De daadwerkelijke kosten worden bepaald door de kwaliteit van de trainingsgegevens. Hoe groter de gegevensverzameling en hoe nauwkeuriger de annotaties, des te sneller kan het algoritme worden getraind. Als de trainingsgegevens echter slecht gelabeld zijn, moet als eerste stap de kwaliteit worden verhoogd. Zoals we al eerder zeiden, leert een algoritme sneller naarmate het onmiddellijk begrijpt wat het moet herkennen in een beeld of video.
Als u meer wilt weten over de mogelijke inhoud van uw business case, schroom dan niet om met ons te praten. Wij kunnen de kwaliteit van uw gegevens evalueren en u een schatting sturen van de kosten die nodig zijn voor verbetering.
Neem voor meer informatie contact op met:
BAS LAMME FRANK THOMSON
BUSINESS DEVELOPMENT MANAGER DATA SCIENTIST
+31 (0)6 25 73 33 27 +31 (0)6 28 60 09 89
bas.lamme@orangenxt.com frank.thomson@orangenxt.com
