UvA-DARE is a service provided by the library of the University of Amsterdam (https://dare.uva.nl)
UvA-DARE (Digital Academic Repository)
Semi-interactive construction of 3D event logs for scene investigation
Dang, T.K.
Publication date
2013
Link to publication
Citation for published version (APA):
Dang, T. K. (2013). Semi-interactive construction of 3D event logs for scene investigation.
General rights
It is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s), other than for strictly personal, individual use, unless the work is under an open content license (like Creative Commons).
Disclaimer/Complaints regulations
If you believe that digital publication of certain material infringes any of your rights or (privacy) interests, please let the Library know, stating your reasons. In case of a legitimate complaint, the Library will make the material inaccessible and/or remove it from the website. Please Ask the Library: https://uba.uva.nl/en/contact, or a letter to: Library of the University of Amsterdam, Secretariat, Singel 425, 1012 WP Amsterdam, The Netherlands. You will be contacted as soon as possible.
Samenvatting
∗
Het doel van dit proefschrift is een verbetering van het proces van onderzoeken van een scene, zoals een plaats delict, door het ontwikkelen van geautomatiseerde technieken die een rechercheur ondersteunen in het opnemen en achteraf analyseren van de scene. Onze bijdrage is een compleet raamwerk om 3D event logs te maken die een volledige reconstructie geven van de scene, alsmede het proces van opnemen zelf. Om dit te bereiken zijn de mogelijkheden en beperkingen van bestaande methodes bekeken en succesvolle componenten zijn opgenomen in het raamwerk. Van daaruit zijn nieuwe automatische en semi-interactieve methodes ontwikkeld. Het onderzoek leidend naar het raamwerk is beschreven in vijf hoofdstukken.
In het raamwerk staat het gebruik van 3D modellen van de scene centraal omdat diverse taken in het onderzoeksproces zo’n model vereisen. Het meten van bepaalde objecten kan bijvoorbeeld achteraf en buiten de scene gebeuren zonder tijdens het opname proces keuzes te hoeven maken over welke objecten gemeten moeten worden. Moeilijkere taken zoals het valideren van een hypothese hebben zeker een 3D model van de scene nodig. Het zou dus ideaal zijn als we op basis van een paar beelden, of nog beter een video opname van de scene, op eenvoudige wijze zo’n model zouden kunnen reconstrueren.
In hoofdstuk 2 beschouwen we de mogelijkheid om automatische methodes voor 3D reconstructie toe te passen om een 3D model te maken op basis van video opnames. Dit type 3D reconstructie op basis van beelden of videos is uitgebreid bestudeerd in de literatuur. Er zijn goede resultaten bereikt voor gecontroleerde omgevingen en opname omstandigheden, met name voor buiten scenes. Wij on-derzoeken de uitdagingen die onstaan als reconstructie plaats moet vinden voor ongecontroleerde om-standigheden, in het bijzonder voor scenes binnen. Dit hoofdstuk geeft daarom een overzicht van het hele proces en geeft een review van gerelateerd werk voor elk van deze stappen. Door dit te doen iden-tificeren we de mogelijkheden om 3D reconstructie van beelden/video toe passen voor het onderzoeken van binnen scenes.
Een aspect dat de bruikbaarheid van een 3D model bepaalt voor onderzoek van scenes is de nauwkeurigheid van het model. In hoofdstuk 3 gaan we in op een van de aspecten die invloed hebben op de nauwkeurigheid van het gereconstrueerde 3D model namelijk de nauwkeurigheid van de feature detectoren. Veel van de feature detectoren zoals SIFT, SURF en Hessiaan-Affien detecteren structuren in de vorm van blobs. Door hun robuustheid zijn deze detectoren heel populair in diverse applicaties. Omdat wij focuseren op 3D reconstructie is naast robuustheid de nauwkeurigheid van het resultaat een belangrijke factor. We identificeren drie factoren die het resultaat beinvloeden namelijk de lens
∗Summary in Dutch
118 Samenvatting
vervorming, stochastische fouten en perpectief fouten. De eerste twee hiervan zijn goed bestudeerd in de literatuur, wij beschouwen daarom de perspectief fouten. Onze analyse is gebaseerd op de observatie dat blob detectoren gebaseerd zijn op het zwaartepunt van de projecties van representatieve blobs van een structuur; maar als gevolg van perspectief fouten worden deze zwaartepunten in de projecties niet afgebeeld op de zwaartepunten van de representatieve blobs. We analyseren de resulterende foutieve localisaties met behulp van een gesimplificeerd theoretisch model en laten zien dat het effect klein is, maar systematisch en meetbaar voor zes moderne blob detectoren. Daarnaast voorspellen we twee effecten in 3D reconstructie, die we bevestigen in een standaard experimentele setup. In de praktijk blijken de random fouten en de lens verstoringen een grotere impact te hebben. We concluderen dat in praktische gevallen prioriteit gegeven moet worden aan het reduceren van deze twee foutbronnen voordat naar de perspectief fout wordt gekeken.
Hoofdstuk 4 bestudeert de intrinsieke problemen die optreden bij het opnemen van binnen scenes, het type scene dat we meestal in scene onderzoek tegenkomen. Er bestaan veel methodes voor het re-construeren van buiten scenes maar binnen is dat veel moeilijker. Door de beperkte bewegingsruimte is de input data vaak bijna gedegenereerd. Voor zulke input data is het maken van een model onmogelijk zonder gebruik te maken van intelligente voorbewerkingen van de data. Dit hoofdstuk presenteert een raamwerk voor het modelleren van binnen scenes. We analyseren eerst de video om het op te delen in reguliere en gedegenereerde segmenten. In plaats van de gedegenereerde segmenten te negeren, ge-bruiken we ze om een model te bouwen dat veel completer is dan wat behaald wordt met traditionale raamwerken. Hoewel we komen tot verbeteringen wat betreft compleetheid bij het automatisch recon-strueren van scenes, is het resultaat nog ver verwijderd van wat de praktijk vereist. De nauwkeurigheid van 3D modellen die automatisch zijn gebouwd is namelijk beperkt en wisselend wat betreft visuele kwaliteit.
In hoofdstuk 5 presenteren we een semi-interactieve methode voor 3D reconstructie speciaal geschikt voor binnen scenes die computer visie technieken combineert met efficiente interactie. Als startpunt nemen we panorama foto’s, populair omdat ze zo’n breed blikveld geven. Het is echter duidelijk dat ze geen diepte kunnen laten zien. Gebruikmakend van de kennis van de eindgebruikers, middels een schets van de ortogonaliteit en paralleliteit van de scene, ontwerpen we intelligente inter-actie methoden voor semi-automatisch reconstructie van de scene van grof tot gedetailleerd nivo. Het raamwerk is flexibel en efficient. Gebruikers kunnen een grof muren-en-vloer model maken in 5 muis clicks, of een gedetailleerd model dat alle meubelstukken laat zien na een paar minuten van interactie. We laten reconstructie resultaten zien van vier verschillende scenes. De nauwkeurigheid van het gere-construeerde model is vrij hoog, ongeveer een procent fout op de schaal van een volledig kamer. We concluderen dat ons raamwerk een goede keuze is voor applicaties die hoge nauwkeurigheid vereisen alsook voor applicaties die slechts een 3D impressie van de scene willen geven.
Hoofdstuk 6 presenteert de kernresultaat van het proefschrift, een compleet raamwerk gebruikmak-end van 3D modellen om het onderzoeks proces aan scenes te verbeteren. Voor scene onderzoek is het eenvoudiger om een video log te produceren dan gebruik te maken van foto’s en aantekeningen. Door de introductie van video analyse en computer visie technieken laten we zien dat het mogelijk is om een compleet systeem te maken die eind gebruikers in staat stelt om door de onderzoekslogs te navigeren in ruimte en tijd. Om het raamwerk te realiseren gebruiken we de in de voorgaande hoofdstukken gere-aliseerde technieken voor het verwerken van video logs en presenteren een gebruikers interface voor het navigeren in de resultaten. De verwerking bevat (i) het segmenteren van de log in events, gebruikmak-end van een innnovatief structuur en beweging gebaseerd feature, zodat het beter toegankelijk wordt in de tijdsdimensie, en (ii) technieken om de video frames aan een 3D model toe te wijzen zodat het model ruimtelijk genavigeerd kan worden. Onze resultaten laten zien dat gebruikmakend van onze kenmerken we 70 procent van alles video frames correct kunnen herkennen en dat we alle events kunnen vinden. Op basis daarvan geven we een methode om semi-interactief de gevonden events toe te wijzen aan de juiste plek in het 3D model wat lukt voor 80 procent van de events. Het resultaat is een plaats-tijd
repre-Samenvatting 119
sentatie van het onderzoek dat op een elegante manier ondersteuning geeft aan taken zoals het teruggaan naar de scene, het nauwkeurig analyseren van het onderzoek zelf, of het verifieren van hypotheses.
Samenvattend, hoofdstuk 2, 3, 4 zijn onze zoektocht om te komen tot onze hoofdbijdrage in hoofd-stuk 5 en 6: een oplossing voor het construeren van 3D event logs voor scene onderzoek.
