Lernmaterialien für Grafische Datenverarbeitung an der Hochschule Furtwangen

Die Bestimmung einer Reihe von Parametern, die die Abbildung der Kamera beschreiben.

2 Aufgaben des Algorithmus zur Kamerakalibrierung: 

 - Berechnen der Matrix P mit den übereinstimmenden Punkten

 - Zerlegung von P in: K, R und t mithilfe der QR-Zerlegung

Definition: Wiederherstellung vom Zusammenhang zwischen dem Welt- und dem Kamerakoordinatensystem

Beschreiben die äußere Ausrichtung der Kamera: 

- relative Rotation und Translation zum Weltkoordinatensystem

Abbildung von Objekten der realen Welt auf den Bildsensor funktioniert nie perfekt. 

Es kommt zu Verzerrungen (Abbildungsfehler, perspektivische Fehler), welche durch die Kamerakalibrierung korrigiert bzw. minimiert werden sollen. 

Dafür benutzt man Kalibirierungskörper.

(Fehler können meist nicht vom menschlichen Auge wahrgenommen werden, sind aber wichtig bei der präzisen Bildverarbeitungsanwendung)

AR Programm (Koordinaten des Markers sind bekannt):

1. Korrespondenzen berechnen (2D und AR Tag)

2. Kameraposition P mit Orientation und Translation schätzen (extrinsische Parameter)

3. 3D Objekt mit Projektionsmatrix P auf die Bildfläche projizieren

Harris Corner Detector:

 - Berechnet die Eckengewichtung und selektiert Punkte mit großer Gewichtung (R > Threshold)

 - Mathematische Funktion sucht im Fensterausschnitt nach Veränderungen in der Intensität 

 - Rotationsunabhängig

 - Skalierungsabhängig (deshalb arbeitet man mit verschiedenen    Radien)

Flat: in keiner Richtung eine Änderung

Kante: Entlang der Kante keine Änderung

Ecke: Änderungen in alle Richtungen

Definition: 3D Form aus 2 oder mehr Bildern konstruieren.

Basisprinzip: Triangulation von Korrespondenzen (Bildpunkten)

 - im nach hinten projizierten Punkt schneiden sich die Linien von den beiden Punkten aus dem Bildern zu dem projizierten Punkt

Algorithmus:

 1. Für jeden Punkt im ersten Bild den Korrespondenzpunkt im zweiten Bild finden (Such-Problem)

 2. Für jedes Punktepaar den 3D Punkt per Triangulation finden (Schätz-Problem)

Algorithmus Typen:

- Dense: Berechnung der Korrespondenzen bei jedem Pixel

    -> Top down: 

             1. Gruppenmodell wird unabhängig in jedem Bild gesucht

             2. Punkte werden zwischen den Bildern angepasst

- Sparse: Berechne Korrespondenzen nur für Features

    -> Bottom up

             1. Epipolare Geometrie reduziert die Korrespondenzsuche               von 2D zu 1D auf epipolaren Linien 

             2. Wählt man in Bild 1 einen Punkt, so liegt dieser auf der               Epipolarlinie des 2ten Bildes

Die Epipoloarlinie im 2ten Bild entspricht dem Ray zum Punkt x des ersten Bildes

- Mehrdeutigkeit von Merkmalen 

   > Identische Identitäts- und Farbwerte

- Wiederkehrende Texturen

- Reflektierende Oberflächen

- Texturlose Oberflächen 

- Verdeckung (wegen Perspektivenwechsel)

Einzigartigkeit:

 - Für jeden Punkt im Bild sollte mindestens ein passender Punkt im anderen Bild sein

- Korrespondenzen werden geschätzt und die passenden werden behalten

Anordnung:

 - Korrespondierende Punkte sollten aus beiden Sichtwinkeln immer in der gleichen Reihenfolge sein (funktioniert nicht immer)

Glätten von ungleichen Feldern

Depth from disparity beschreibt das Verhältnis, welches die Tiefe und die Disparität (Bildbewegung) zueinander haben.

Die Disparität (Bildbewegung) ist entgegengesetzt Proportional zu der Tiefe Z und vice versa.

Je mehr Bewegung ich habe, umso näher muss ein Objekt sein.

Objekte die weiter weg sind, haben bei einer Kamerafahrt wenig Bildbewegung.

(Beispiel: Berge und Menschen vor der Kamera)

Wird benutzt um mit Outliers klarzukommen.

1. Man wählt eine zufällige Gruppe von Treffern aus

2. Berechnet die Transformation der Gruppe (Homographie)

3. Inlier zu dieser Transformation finden 

4. Ausreichend große Inliner Anzahl -> Neuberechnung der Schätzung kleinster Quadrate der Transformation auf alle Inliers

Am Ende wird die Transformation mit den meisten Inliers behalten.

Theorie: Findet man in 2 oder mehr Bildern korrespondierende Punkte, so bedeutet dies, das diese ein Projektion eines 3D Punktes sind. 

Die Linien, erzeugt von den jeweiligen Bildpunkten, müssen dabei den 3D Punkt schneiden.

Praxis: Die Koordinaten der Bildpunkte können nicht immer perfekt akkurat sein -> Insbesondere Störungen (Rauschen, Linsenverzerrungen) führen dazu, dass die Linien, erzeugt durch die Bildpunkte, nicht den eigentlichen 3D Punkt schneiden.

Lösung: Berechnung des Mittelpunktes der kürzesten Linie (Vektors) zwischen den beiden Rays. Dieser Punkt wird dann als 3D Punkt genommen.