Computer Vision III: Detection, Tracking, Segmentation an der TU München

Karteikarten und Zusammenfassungen für Computer Vision III: Detection, Tracking, Segmentation im Robotics; Cognition; Intelligence Studiengang an der TU München in Augsburg

CitySTADT: Augsburg

CountryLAND: Deutschland

Kommilitonen im Kurs Computer Vision III: Detection, Tracking, Segmentation an der TU München erstellen und teilen Zusammenfassungen, Karteikarten, Lernpläne und andere Lernmaterialien mit der intelligenten StudySmarter Lernapp.

Schaue jetzt auf StudySmarter nach, welche Lernmaterialien bereits für deine Kurse von deinen Kommilitonen erstellt wurden. Los geht’s!

Kommilitonen im Kurs Computer Vision III: Detection, Tracking, Segmentation an der TU München erstellen und teilen Zusammenfassungen, Karteikarten, Lernpläne und andere Lernmaterialien mit der intelligenten StudySmarter Lernapp.

Schaue jetzt auf StudySmarter nach, welche Lernmaterialien bereits für deine Kurse von deinen Kommilitonen erstellt wurden. Los geht’s!

Lerne jetzt mit Karteikarten und Zusammenfassungen für den Kurs Computer Vision III: Detection, Tracking, Segmentation an der TU München.

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

Name Three Classical Object Detection Methods

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is CAMOT?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is PReMVOS?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

Briefly explain Social GAN

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is panoptic segmentation?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What are the metrics used in VOS?


Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is YOLACT?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

How do you obtain initial segmentation?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What are the challenges of 3D tracking?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

Which datasets are used in Semantic Segmentation?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

How does One-Shot VOS work? What is bad/good?


Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What are the advantages of 3D tracking?


Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

Computer Vision III: Detection, Tracking, Segmentation

Name Three Classical Object Detection Methods

– Template matching + sliding window

– Viola-Jones Detector

– Histogram of Oriented Gradients (HOG)

Computer Vision III: Detection, Tracking, Segmentation

What is CAMOT?

– parametrizes target state using 3D position and segmentation mask (w/ const.vel. Kalman filter)

– Mask RLE

Computer Vision III: Detection, Tracking, Segmentation

What is PReMVOS?

– a proposal based VOS system (previously inputs are whole images, now inputs are proposals)

– it combines first-frame tuning, mask refinement, optical flow mask propagation, data augmentation, object appearance reID, proposal generation

– Proposal Generation: category-agnostic, Mask R-CNN

– Refinement: FCN segmentation network to refine segmentation given bounding box

– Merging: choose proposals with best score, mask propagation IoU, ReID score, Object-Object interactions score

– complex, but SOTA

Computer Vision III: Detection, Tracking, Segmentation

Briefly explain Social GAN

– a GAN is used to learn to generate „fake“ trajectories

– the generator consists of LSTMs per trajectory that act as an encoder, then a social pooling module that models social interactions, then more LSTMs to decode the trajectory

– the discriminator consists of LSTMs per trajectory that can be seen as encoders to classify trajectory as being real/fake

Computer Vision III: Detection, Tracking, Segmentation

What is panoptic segmentation?

– Semantic Segmentation + Instance Segmentation

– „things“ are countable objects and come from instance segmentation

– „stuff“ is uncountable and comes from semantic segmentation

– shared features for both networks using backbone network (CNN + FPN), semantic head (w/ deformable convs) and instance head separate

– combine both networks to give panoptic head (but might lead to conflicting results)

Computer Vision III: Detection, Tracking, Segmentation

What are the metrics used in VOS?


– Region similarity: Jaccard Index on predicted and ground truth mask

– Contour accuracy: measures precision and recall of boundary pixels using F-measure

– Temporal stability through decay of region similarity over time

Computer Vision III: Detection, Tracking, Segmentation

What is YOLACT?

– YOLACT is to Mask R-CNN what YOLO is to Faster R-CNN

– ResNet-101 as feature backbone

– feature pyramid to compute features at different scales

– Protonet (FCN) to generate k-prototype masks

– prediction head from pyramid features (+NMS) gives mask coefficients 

– combine masks using coefficients, crop and threshold

Computer Vision III: Detection, Tracking, Segmentation

How do you obtain initial segmentation?

– Use pixel-wise retrieval

– user input can have any form and model doesn’t need to be retrained for each sequence or fine-tuned

Computer Vision III: Detection, Tracking, Segmentation

What are the challenges of 3D tracking?

– depth sensor problems: limited scan range, reflective surfaces, …

– mobile platforms

– precise 3D localization

Computer Vision III: Detection, Tracking, Segmentation

Which datasets are used in Semantic Segmentation?

– Pascal VOC 2012

– Cityscapes

– ADE20k

– Mapillary Vistas

Computer Vision III: Detection, Tracking, Segmentation

How does One-Shot VOS work? What is bad/good?


– use pre-trained network on image net

– train network on segmentation task

– fine-tune network on first-frame of sequence to learn which part is object/which part is background

– test time: process frames independently

– Pro: recovers well from occlusions

– Cons: temporally inconsistent, if background/foreground change too much –> model fails

Computer Vision III: Detection, Tracking, Segmentation

What are the advantages of 3D tracking?


– no distortion from projections

– 3D geometric constraints can be introduced

– you can use additional sources of information (RGB-D, LiDAR)

Gradient

Melde dich jetzt kostenfrei an um alle Karteikarten und Zusammenfassungen für Computer Vision III: Detection, Tracking, Segmentation an der TU München zu sehen

Singup Image Singup Image

Andere Kurse aus deinem Studiengang

Für deinen Studiengang Robotics; Cognition; Intelligence an der TU München gibt es bereits viele Kurse auf StudySmarter, denen du beitreten kannst. Karteikarten, Zusammenfassungen und vieles mehr warten auf dich.

Zurück zur TU München Übersichtsseite

IN2222 CogSys

Management von Geschäftsstrategien

Humanoid Cognitive Reasoning

Was ist StudySmarter?

Was ist StudySmarter?

StudySmarter ist eine intelligente Lernapp für Studenten. Mit StudySmarter kannst du dir effizient und spielerisch Karteikarten, Zusammenfassungen, Mind-Maps, Lernpläne und mehr erstellen. Erstelle deine eigenen Karteikarten z.B. für Computer Vision III: Detection, Tracking, Segmentation an der TU München oder greife auf tausende Lernmaterialien deiner Kommilitonen zu. Egal, ob an deiner Uni oder an anderen Universitäten. Hunderttausende Studierende bereiten sich mit StudySmarter effizient auf ihre Klausuren vor. Erhältlich auf Web, Android & iOS. Komplett kostenfrei. Keine Haken.

studysmarter schule studium
d

4.5 /5

studysmarter schule studium
d

4.8 /5

StudySmarter Tools

Individueller Lernplan

StudySmarter erstellt dir einen individuellen Lernplan, abgestimmt auf deinen Lerntyp.

Erstelle Karteikarten

Erstelle dir Karteikarten mit Hilfe der Screenshot-, und Markierfunktion, direkt aus deinen Inhalten.

Erstelle Zusammenfassungen

Markiere die wichtigsten Passagen in deinen Dokumenten und bekomme deine Zusammenfassung.

Lerne alleine oder im Team

StudySmarter findet deine Lerngruppe automatisch. Teile deine Lerninhalte mit Freunden und erhalte Antworten auf deine Fragen.

Statistiken und Feedback

Behalte immer den Überblick über deinen Lernfortschritt. StudySmarter führt dich zur Traumnote.

1

Lernplan

2

Karteikarten

3

Zusammenfassungen

4

Teamwork

5

Feedback

Nichts für dich dabei?

Kein Problem! Melde dich kostenfrei auf StudySmarter an und erstelle deine individuellen Karteikarten und Zusammenfassungen für deinen Kurs Computer Vision III: Detection, Tracking, Segmentation an der TU München - so schnell und effizient wie noch nie zuvor.