Computer Vision III: Detection, Tracking, Segmentation an der TU München

Karteikarten und Zusammenfassungen für Computer Vision III: Detection, Tracking, Segmentation an der TU München

Arrow Arrow

Komplett kostenfrei

studysmarter schule studium
d

4.5 /5

studysmarter schule studium
d

4.8 /5

studysmarter schule studium
d

4.5 /5

studysmarter schule studium
d

4.8 /5

Lerne jetzt mit Karteikarten und Zusammenfassungen für den Kurs Computer Vision III: Detection, Tracking, Segmentation an der TU München.

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

How does One-Shot VOS work? What is bad/good?


Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is CAMOT?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is AB3D-MOT?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is 4D Generic Video Tracking?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What are the challenges of 3D tracking?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What are the advantages of 3D tracking?


Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What are the metrics used in VOS?


Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

Name some of the methods used in VOS and their contributions

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

How do you obtain initial segmentation?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is PReMVOS?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is MaskTrack?

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

What is FlowNet?

Kommilitonen im Kurs Computer Vision III: Detection, Tracking, Segmentation an der TU München. erstellen und teilen Zusammenfassungen, Karteikarten, Lernpläne und andere Lernmaterialien mit der intelligenten StudySmarter Lernapp. Jetzt mitmachen!

Jetzt mitmachen!

Flashcard Flashcard

Beispielhafte Karteikarten für Computer Vision III: Detection, Tracking, Segmentation an der TU München auf StudySmarter:

Computer Vision III: Detection, Tracking, Segmentation

How does One-Shot VOS work? What is bad/good?


– use pre-trained network on image net

– train network on segmentation task

– fine-tune network on first-frame of sequence to learn which part is object/which part is background

– test time: process frames independently

– Pro: recovers well from occlusions

– Cons: temporally inconsistent, if background/foreground change too much –> model fails

Computer Vision III: Detection, Tracking, Segmentation

What is CAMOT?

– parametrizes target state using 3D position and segmentation mask (w/ const.vel. Kalman filter)

– Mask RLE

Computer Vision III: Detection, Tracking, Segmentation

What is AB3D-MOT?

– A Baseline for 3D MOT

– strong 3d object detector, simple tracker

– use LiDAR for good 3D object predictions

– use bi-partite matching using 3D IoU

– const-vel. Kalman filter for dynamics

Computer Vision III: Detection, Tracking, Segmentation

What is 4D Generic Video Tracking?

– based on CAMOT (offline object proposal generation)

– use Mask R-CNN trained in class agnostic setting

– also use large-scale  Visual Genome Dataset to segment everything

Computer Vision III: Detection, Tracking, Segmentation

What are the challenges of 3D tracking?

– depth sensor problems: limited scan range, reflective surfaces, …

– mobile platforms

– precise 3D localization

Computer Vision III: Detection, Tracking, Segmentation

What are the advantages of 3D tracking?


– no distortion from projections

– 3D geometric constraints can be introduced

– you can use additional sources of information (RGB-D, LiDAR)

Computer Vision III: Detection, Tracking, Segmentation

What are the metrics used in VOS?


– Region similarity: Jaccard Index on predicted and ground truth mask

– Contour accuracy: measures precision and recall of boundary pixels using F-measure

– Temporal stability through decay of region similarity over time

Computer Vision III: Detection, Tracking, Segmentation

Name some of the methods used in VOS and their contributions

– OSVOS: first-frame fine-tuning

– OSVOS-S: Semantic guidance through instance proposals

– OnAVOS: online adaption for stronger appearance model

– MaskTrack: Mask Refinement

– ReID-VOS: Object Appearance Re-Identification

– PReMVOS: putting it all together

– Seq2Seq and RVOS: recurrent architectures

Computer Vision III: Detection, Tracking, Segmentation

How do you obtain initial segmentation?

– Use pixel-wise retrieval

– user input can have any form and model doesn’t need to be retrained for each sequence or fine-tuned

Computer Vision III: Detection, Tracking, Segmentation

What is PReMVOS?

– a proposal based VOS system (previously inputs are whole images, now inputs are proposals)

– it combines first-frame tuning, mask refinement, optical flow mask propagation, data augmentation, object appearance reID, proposal generation

– Proposal Generation: category-agnostic, Mask R-CNN

– Refinement: FCN segmentation network to refine segmentation given bounding box

– Merging: choose proposals with best score, mask propagation IoU, ReID score, Object-Object interactions score

– complex, but SOTA

Computer Vision III: Detection, Tracking, Segmentation

What is MaskTrack?

– MaskTrack refines mask from previous frame

– as input it uses the current frame and the mask from the previous frame and runs this through convs

– the output is then the refined mask

Computer Vision III: Detection, Tracking, Segmentation

What is FlowNet?

– FlowNet estimates optical flow using conv nets

– architecture 1: concat two consecutive frames and pass through net

– architecture 2: two separate nets in beginning, then correlation layer (compute vector-product for each feature vector pair), then single layer to predict flow

Melde dich jetzt kostenfrei an um alle Karteikarten und Zusammenfassungen für Computer Vision III: Detection, Tracking, Segmentation an der TU München zu sehen

Singup Image Singup Image
Wave

Andere Kurse aus deinem Studiengang

Für deinen Studiengang Robotics; Cognition; Intelligence an der TU München gibt es bereits viele Kurse auf StudySmarter, denen du beitreten kannst. Karteikarten, Zusammenfassungen und vieles mehr warten auf dich.

Zurück zur TU München Übersichtsseite

IN 2023 BV I

IN2222 CogSys

Management von Geschäftsstrategien

Humanoid Cognitive Reasoning

Bildverstehen II

Methoden der Produktentwicklung

Was ist StudySmarter?

Was ist StudySmarter?

StudySmarter ist eine intelligente Lernapp für Studenten. Mit StudySmarter kannst du dir effizient und spielerisch Karteikarten, Zusammenfassungen, Mind-Maps, Lernpläne und mehr erstellen. Erstelle deine eigenen Karteikarten z.B. für Computer Vision III: Detection, Tracking, Segmentation an der TU München oder greife auf tausende Lernmaterialien deiner Kommilitonen zu. Egal, ob an deiner Uni oder an anderen Universitäten. Hunderttausende Studierende bereiten sich mit StudySmarter effizient auf ihre Klausuren vor. Erhältlich auf Web, Android & iOS. Komplett kostenfrei. Keine Haken.

Awards

Bestes EdTech Startup in Deutschland

Awards
Awards

European Youth Award in Smart Learning

Awards
Awards

Bestes EdTech Startup in Europa

Awards
Awards

Bestes EdTech Startup in Deutschland

Awards
Awards

European Youth Award in Smart Learning

Awards
Awards

Bestes EdTech Startup in Europa

Awards

So funktioniert's

Top-Image

Individueller Lernplan

StudySmarter erstellt dir einen individuellen Lernplan, abgestimmt auf deinen Lerntyp.

Top-Image

Erstelle Karteikarten

Erstelle dir Karteikarten mit Hilfe der Screenshot-, und Markierfunktion, direkt aus deinen Inhalten.

Top-Image

Erstelle Zusammenfassungen

Markiere die wichtigsten Passagen in deinen Dokumenten und bekomme deine Zusammenfassung.

Top-Image

Lerne alleine oder im Team

StudySmarter findet deine Lerngruppe automatisch. Teile deine Lerninhalte mit Freunden und erhalte Antworten auf deine Fragen.

Top-Image

Statistiken und Feedback

Behalte immer den Überblick über deinen Lernfortschritt. StudySmarter führt dich zur Traumnote.

1

Lernplan

2

Karteikarten

3

Zusammenfassungen

4

Teamwork

5

Feedback