• No results found

Fish4Knowledge: Large scale coral reef fish monitoring using undersea computer vision methods

N/A
N/A
Protected

Academic year: 2022

Share "Fish4Knowledge: Large scale coral reef fish monitoring using undersea computer vision methods"

Copied!
20
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)

Fish4Knowledge  

Large  scale  coral  reef  fish  monitoring  using   undersea  computer  vision  methods  

Lynda  Hardman  

CWI  (Centrum  Wiskunde  &  InformaBca),  Amsterdam,  NL  

Centre  for  MathemaBcs  &  Computer  Science  

(2)

THE FISH4KNOWLEDGE PROJECT

1.  Collec(ng  Video  Data  

•  CollecBng  videos  

•  DetecBng  fish  

•  Recognizing  fish  species  

•  Recognizing  fish  behaviors  

•  EvaluaBng  video  analysis  accuracy  

2.   Exploring  Video  Data  

•  Exploring  fish  counts  

•  InvesBgaBng  species  composiBon  

•  Checking  potenBal  biases  

2   fish4knowledge.eu  

(3)

THE FISH4KNOWLEDGE PROJECT

1.  Collec(ng  Video  Data  

•  CollecBng  videos  

•  DetecBng  fish  

•  Recognizing  fish  species  

•  Recognizing  fish  behaviors  

•  EvaluaBng  video  analysis  accuracy  

2.   Exploring  Video  Data  

•  Exploring  fish  counts  

•  InvesBgaBng  species  composiBon  

•  Checking  potenBal  biases  

3   fish4knowledge.eu  

(4)

COLLECTING VIDEO DATA

 Mul(ple  video  streams:  9  Cameras,  >20,000  hours  of  videos  (Dec.  2012)  

  Terabyte-­‐scale  data  pla@orm  

  High-­‐performance  servers  for  data  access    

4   fish4knowledge.eu  

(5)

DETECTING FISH

 Detec(on  of  fish  in  each  frame    

 Descrip(on  of  fish  contour,  color,  texture...  (>30  features)  

 Tracking  of  single  fish  over  several  frames  

 Handling  par(al  and  total  occlusions  

 Over  400  million  fish  detec(ons    

5   fish4knowledge.eu  

(6)

RECOGNIZING FISH SPECIES

 Detec(on  of  body  parts  (head,  tail…)  

 Construc(on  of  a  fish  model  for  each  species  

 15  species  detected  (96%  of  total  number  of  fish)  

(7)

RECOGNIZING

FISH BEHAVIORS

 Detec(on  of  behaviors  by  analyzing  trajectories  

 Rela(on  to  background  objects  (feeding,  hiding…)  

 Rela(on  to  other  fish  (pairing,  grouping,  solitary…)  

Fish  Trajectories   DescripBon  of  scene’s  background  

(8)

THE FISH4KNOWLEDGE PROJECT

1.  Collec(ng  Video  Data  

•  CollecBng  videos  

•  DetecBng  fish  

•  Recognizing  fish  species  

•  Recognizing  fish  behaviors  

•  EvaluaBng  video  analysis  accuracy  

2.   Exploring  Video  Data  

•  Exploring  fish  counts  

•  InvesBgaBng  species  composiBon  

•  Checking  potenBal  biases  

8   fish4knowledge.eu  

(9)

EVALUATING VIDEO ANALYSIS ACCURACY

9   fish4knowledge.eu  

 Comparison  with  manual  detec(ons  by  experts  

 Fish  detec(on  game  to  encourage  crowd  sourcing  

(10)

EVALUATING VIDEO ANALYSIS ACCURACY

 Certainty  Scores  indicate  the  quality  of  each  detec(on  

 These  can  be  used  to  filter  out  low-­‐quality  fish  

Score  >  0.8  

Fish  Counts  for  5  Certainty  Score  Thresholds   Score  >  0.2   Score  >  0.4   Score  >  0.5   Score  >  0.6  

Certainty  Score:  0.4  

Certainty  Score:  0.9  

Certainty  Score:  0.75  

Certainty  Score:  0.6  

(11)

THE FISH4KNOWLEDGE PROJECT

1.  Collec(ng  Video  Data  

•  CollecBng  videos  

•  DetecBng  fish  

•  Recognizing  fish  species  

•  Recognizing  fish  behaviors  

•  EvaluaBng  video  analysis  accuracy  

2.   Exploring  Video  Data  

•  Exploring  fish  counts  

•  InvesBgaBng  species  composiBon  

•  Checking  potenBal  biases  

11   fish4knowledge.eu  

(12)

ABUNDANCE OF

DASCYLLUS RETICULATUS

(13)

ABUNDANCE OF

DASCYLLUS RETICULATUS

(14)

THE FISH4KNOWLEDGE PROJECT

1.  Collec(ng  Video  Data  

•  CollecBng  videos  

•  DetecBng  fish  

•  Recognizing  fish  species  

•  Recognizing  fish  behaviors  

•  EvaluaBng  video  analysis  accuracy  

2.   Exploring  Video  Data  

•  Exploring  fish  counts  

•  InvesBgaBng  species  composiBon  

•  Checking  potenBal  biases  

14   fish4knowledge.eu  

(15)

SPECIES COMPOSITION

DEPENDS ON LOCATION

(16)

Amphiprion  clarkii,  Camera  38   Plectroglyphidodon  dickii,  Camera  39  

(17)

SPECIES COMPOSITION

DEPENDS ON LOCATION

(18)

THE FISH4KNOWLEDGE PROJECT

1.  Collec(ng  Video  Data  

•  CollecBng  videos  

•  DetecBng  fish  

•  Recognizing  fish  species  

•  Recognizing  fish  behaviors  

•  EvaluaBng  video  analysis  accuracy  

2.   Exploring  Video  Data  

•  Exploring  fish  counts  

•  InvesBgaBng  species  composiBon  

•  Checking  potenBal  biases  

18   fish4knowledge.eu  

(19)

SPECIES COMPOSITION DEPENDS ON LOCATION

Plectroglyphidodon  dickii,  Camera  38   Amphiprion  clarkii,  Camera  38  

Plectroglyphidodon  dickii,  Camera  39   Amphiprion  clarkii,  Camera  39  

(20)

THE FISH4KNOWLEDGE PROJECT

20   fish4knowledge.eu  

h\p://fish4knowledge.eu/people.htm  

       University  of  Edinburgh  (United  Kingdom)    

       Università  di  Catania  (Italy)  

       Centrum  Wiskunde  &  Informa(ca  (Netherlands)  

       Na(onal  Applied  Research  Laboratories  (Taiwan)  

Referenties

GERELATEERDE DOCUMENTEN

Onder het IW-scenario vermindert de uitstoot van broeikasgassen zo sterk dat deze voor grote delen van Nederland verwaarloosbaar klein wordt - met name in het Veenweidegebied,

Purpose/Introduction: MR diffusion, perfusion and spectroscopic data pro‑ vide complementary information in brain tumor grading.. We show that com‑ bining MR parameters of

21 By providing digital access to television heritage, EUscreen aims to stimulate active participation in the collective cultural memory of Europe and create awareness about the

Echter, er kon in dit onderzoek geen antwoord worden gegeven op de vraag of zwakke lezers uit groep 6 minder leren van herhaald aangeboden seriële visuo-spatiële informatie

Daarop volgt de tabel van het bedrijf waarbij de planten later in de teelt geïnfecteerd zijn geraakt met pepinomozaïekvirus en als laatste volgen de twee

Zoals in de inleiding al is genoemd, is de hoofdvraag van dit onderzoek: “Hoe kan het burgerinitiatief PlantageLab zich meer naar buiten richten om een meer

It is a widely held view that testosterone affects sexual differentiation of the human brain, including lateralization, but it is possible that estradiol has a role as well. In

De effectiviteit van erlotinib lijkt vergelijkbaar te zijn met die van docetaxel en pemetrexed als het gaat om patiënten met vergevorderd NSCLC stadium IIIB/IV die één