In dit onderzoek is geprobeerd een antwoord te vinden op de volgende onderzoeksvraag:
“Kan beeldherkenning met behulp van deep learning ingezet worden om landopper-vlak te classificeren als verhard of groen?”
Om deze vraag te beantwoorden is ten eerste gezocht naar een buurt die zich leent voor de case study. Het Regentessekwartier in Den Haag is gekozen. In deze buurt is met ’Operatie Steenbreek’ verharding verruild voor groen, waardoor het interessant was om te zien of dit terug te zien is in de resultaten van dit onderzoek.
Voor dit onderzoek is gekozen om met behulp van een HSV mask te annoteren op infra-roodfoto’s. Deze manier bleek in de praktijk kwalitatief nagenoeg gelijk aan manuele annotatie en gaf de kans om zeer snel miljoenen pixels te classificeren. Met behulp van deze geannoteerde dataset zijn meerdere deep learning modellen getraind. Er is gekozen om U-Net, Linknet en FPN modellen te trainen, daar deze modellen zich goed lenen voor image segmentation. Ver-schillende modelspecificaties zijn voor deze drie modellen geprobeerd, waaruit volgt dat een U-Net model met pretrained weights en een Inceptionv3 backbone de beste resultaten oplevert.
Op de niet-groen klasse scoort dit model een precisie van 0.98 en een recall van 0.97. Voor de groenklasse levert dit model een precisie van 0.87 en een recall van 0.90. De andere modellen met de Inceptionv3 backbone leveren soortgelijke, maar net minder accurate resultaten op. De modellen met de ResNet34 backbone leveren geen nuttige resultaten op. Het blijft onduidelijk waarom dit het geval is.
Wanneer het model wordt gebruikt voor de classificatie van oppervlakte in het Regentes-sekwartier is te zien dat in 2016 en 2017 het percentage ongeveer gelijk blijft met 17%. In 2018 is het groenoppervlak gestegen naar 23%. Wanneer gekeken wordt naar de voorspellingen van het model op het niveau van een tegel van 128 bij 128 meter is meer gedetailleerd te zien waar in het Regentessekwartier veranderingen waar te nemen zijn in het groenoppervlak. Op deze manier kan gericht gekeken worden naar de ontwikkelingen van het groen in een bepaald gebied. Wanneer deze gebieden onderzocht worden is meermaals te zien dat het model een verandering in groen correct heeft bepaald. Aanleg of verwijdering van groenoppervlak en het verschil in droogte per jaar zijn hierin bepalende factoren. Echter, sommige veranderingen in groenoppervlak zijn te wijten aan andere factoren die niets zeggen over het groenoppervlak. Zo maakt het model soms misclassificaties bij kunstgras en bij gebieden in de schaduw. Ook speelt de hoek waaronder de luchtfoto is genomen een rol in de buurt van relatief hoge gebouwen.
Geconcludeerd kan worden dat het mogelijk is om een deep learning netwerk te gebruiken om groen te herkennen op RGB luchtfoto’s. Indien er geen infraroodfoto’s beschikbaar zijn kan een een deep learning model dus uitkomst bieden. Een HSV mask op een infrarood foto blijft echter nauwkeuriger.
6.1 Verder Onderzoek
Binnen dit onderzoek is gebleken dat het op luchtfoto’s met een resolutie van 25cm bij 25cm lastig is om manueel een nauwkeurigere annotatie maken in vergelijking met een HSV mask op een infraroodfoto. Echter, luchtfoto’s met een hogere resolutie (10cm bij 10cm) zijn gemakkelij-ker manueel te annoteren. Op deze resolutie zijn ook groenoppervlaktes in de schaduw relatief goed waar te nemen. Het trainen van een deep learning model op een handmatig geannoteerde
dataset is binnen dit onderzoek niet uitgevoerd en zou dus andere en betere resultaten kunnen geven. Hiervoor is data met een hogere resolutie nodig. Deze data is op dit moment niet openbaar aanwezig.
Ondanks dat er vele modelspecificaties zijn gebruikt om tot nauwkeurige resultaten te ko-men, zijn er nog steeds zeer veel modelspecificaties voor neurale netwerken niet geprobeerd binnen dit onderzoek. Het zou kunnen dat andere modelspecificaties leiden tot betere resulta-ten.
Een van de aanleidingen om een neuraal netwerk te gebruiken voor de taak van het herkennen van groenoppervlak is dat deze optie wellicht de mogelijkheid biedt om de taak complexer te maken. Bijvoorbeeld het herkennen van verschillende soorten groen zou tot de mogelijkheden behoren. Dit is echter niet getest binnen dit onderzoek. Verder onderzoek hiernaar geeft meer inzicht in het nut van het gebruik van deep learning modellen binnen dit thema.
6.2 Aanbevelingen
Uit dit onderzoek blijkt dat het gebruik van een HSV mask op infraroodbeelden de voorkeur geniet boven het gebruik van een deep learning model op RGB beelden, wanneer er wordt gezocht naar de meest accurate schattingen van het percentage groen. Het is dus aan te raden de eerstgenoemde techniek te gebruiken voor schattingen indien infraroodbeelden beschikbaar zijn.
Daarnaast is aan te raden om de mogelijkheid te onderzoeken om te werken met beeldma-teriaal van een hogere resolutie (10cm bij 10cm). De eerste indruk is dat met deze resolutie groen met het menselijk oog veel beter te herkennen is dan groen in beeldmateriaal van 25cm bij 25cm. De kans is groot dat een deep learning model nauwkeurigere schattingen zal doen op deze beelden.
Bibliografie
Bosch, D., Jong, R. d., Jongh, L. d., A., P., and Steeg, A. v. d. (2018). Grant report paving of public and private domains in the netherlands; analyses of spatial and temporal patterns during the last decades.
Canziani, A., Paszke, A., and Culurciello, E. (2017). An analysis of deep neural network models for practical applications. ArXiv, abs/1605.07678.
Chaurasia, A. and Culurciello, E. (2017). Linknet: Exploiting encoder representations for effi-cient semantic segmentation. In 2017 IEEE Visual Communications and Image Processing (VCIP), pages 1–4. IEEE.
Delfos, J. (2019). Aerial segmentation. https://github.com/jeroenatijenv/
aerial-segmentation.
Eindhoven Duurzaam (2019). Subsidie aanvragen. https://www.eindhovenduurzaam.nl/
klimaat/subsidie-aanvragen. Accessed on 12-09-2019.
Garcia-Garcia, A., Orts-Escolano, S., Oprea, S., Villena-Martinez, V., and Garcia-Rodriguez, J. (2017). A review on deep learning techniques applied to semantic segmentation. arXiv preprint arXiv:1704.06857.
Gemeente Den Haag (2017). Den Haag klimaatbestendig maken. https:
//www.denhaag.nl/nl/in-de-stad/natuur-en-milieu/duurzaamheid/
den-haag-klimaatbestendig-maken.htm#. Accessed on 11-09-2019.
Gemeente Eindhoven (2018). Gemeentelijk Rioleringsplan Eindhoven - GRP Eindhoven 2019-2022. https://raadsinformatie.eindhoven.nl/user/voorstel/action=showannex/
gdb=306/Bijlage_3_-_Gemeentelijk_Rioleringsplan_Eindhoven_November.pdf.
Gemeente Groningen (2019). Klimaat. https://gemeente.groningen.nl/klimaat. Accessed on 12-09-2019.
Gemeente Heerlen (2019). Subsidie aanvraag voor het afkoppelen van hemelwater. https://
www.heerlen.nl/subsidie-aanvraag-voor-het-afkoppelen-van-hemelwater.html.
Accessed on 12-09-2019.
Gemeente Leiden (2019). Duurzaam leiden. https://gemeente.leiden.nl/
inwoners-en-ondernemers/wonen-en-bouwen/duurzaam-leiden/. Accessed on 12-09-2019.
Gemeente Leidschendam-Voorburg (2019). Subsidie groen dak, zonnepanelen, isolatie. https:
//www.lv.nl/subsidie-groen-dak-zonnepanelen-isolatie-2. Accessed on 12-09-2019.
Gemeente Veenendaal (2019). Maak de tuin groener. https://www.duurzaamveenendaal.nl/
regenwater/maatregelen+regenwater/1399371.aspx. Accessed on 12-09-2019.
Gemeente Venlo (2019). Gemeente venlo. https://www.venlo.nl/. Accessed on 12-09-2019.
Gemeente Zwolle (2019). Subsidies en coaching. https://www.zwolle.nl/
wonen-en-leven/natuur-en-milieu/klimaatmakers/wat-kan-ik-zelf-doen/
hulp-tips/subsidies-en-coaching. Accessed on 12-09-2019.
Kemker, R., Salvaggio, C., and Kanan, C. (2018). Algorithms for semantic segmentation of mul-tispectral remote sensing imagery using deep learning. ISPRS journal of photogrammetry and remote sensing, 145:60–77.
Kirillov, A., Girshick, R., He, K., and Doll´ar, P. (2019). Panoptic feature pyramid networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6399–6408.
Nationaal Georegister (2019). Luchtfoto 2019 25cm rgb open data. https:
//www.nationaalgeoregister.nl/geonetwork/srv/dut/catalog.search#/metadata/
64ff8561-5c56-4cc1-ae0e-94366fb70b7e?tab=contact. Accessed on 05-11-2019.
Office for National Statistics (2019). Green spaces in residential gardens.
Greenspacesinresidentialgardens. Accessed on 05-11-2019.
Ronneberger, O., Fischer, P., and Brox, T. (2015). U-net: Convolutional networks for biome-dical image segmentation. In International Conference on Mebiome-dical image computing and computer-assisted intervention, pages 234–241. Springer.
Stanfort Vision Lab (2012). ImageNet Large Scale Visual Recognition Challenge 2012 (ILS-VRC2012). http://image-net.org/challenges/LSVRC/2012/index. Accessed on 06-12-2019.
United Nations (2019). Goal 11: Make cities inclusive, safe, resilient and sustainable. https:
//www.un.org/sustainabledevelopment/cities/. Accessed on 04-09-2019.
Yakubovskiy, P. (2019). Segmentation models. https://github.com/qubvel/segmentation_
models.