Text Retrieval und Text Mining an der Hochschule Mittweida

• Betrachten Dokumente als Vektoren von Werten von Featurefunktionen (oder nur Feature) und suchen den besten Weg diese in einem Relevanz-Score zu kombinieren. Typischerweise erfolgt dies durch “learning to rank“-Methoden.

• Featurefunktionen sind beliebige Funktionen von Dokument und Query und können als solche fast jedes andere Retrieval-Modell als weiteres Feature einbeziehen.
  
  

Genauigkeit

Effizienz 

Bedienbarkeit

DCG ist besser als nDCG, da sich sein Wert innerhalb von [0,1] befindet .

Unter Gap-Encoding verstehen wir das abspeichern der Differenz zwischen zwei Doc ID'S

TF-Kompression

• kleine Zahlen können üblicherweise häufiger beobachtet werden als große (Zipfsches Gesetz)

• weniger Bits für kleine (hohe Frequenz) Integer auf Kosten von mehr Bits für große Integer 

Doc ID-Kompression 

• d-gap“ d-gap (speichere die Differenz): d1, d2 - d1, d3 - d2, . . .

•  wird durch den sequentiellen Zugriff ermöglicht 

Labor gestützte Untersuchung von Systemkomponenten (entwickelt in den 1960erJahren)
Idee: Erstellen wiederverwendbarer Testreihen, definierter Maße

• Sammlung von repräsentativen Musterdokumenten

• Reihe von repräsentativen Queries/Topics 

• Bewertung der Relevanz 

• Quantifizierungsmaße zur Bewertung des Systemergebnisses verglichen mit den idealen Ranglisten

• Wiederverwendbarkeit des Testdatensatzes für den Vergleich verschiedener Systeme 

Bewertung des aktuellen Nutzens eines TR-Systems

• Maße sollten Anwendbarkeit in der Praxis reflektieren
• Üblicherweise durch Anwenderstudie (interaktive Evaluation des IR-Systems)

Vergleich verschiedener Systeme und Methoden

• Der individuelle Nutzen ist nicht direkt messbar, es können jedoch Maße gefunden
  werden, die mit dem Nutzen für eine spezifische Suchaufgabe korreliert sind.
•  Üblicherweise durch Testreihen (Testreihen-IR-Evaluation)

• Nutzer navigiert durch relevante Informationen indem er Strukturen innerhalb der Dokumente folgt

• Geeignet für Nutzer welche Informationen explorieren wollen und nicht Wissen
  welche Schlüsselwörter geeignet sind oder anderweitig keine Query eingeben können. 

• Nutzer gibt eine (Schlüsselwort) Query ein 

• System liefert relevante Dokumente zurück

• Funktioniert gut, wenn der Nutzer weiß, welche Schlüsselwörter er verwenden muss

Arten von Tokens

• Zeichen (beim Suchen nicht besonders nützlich)

• Wort/Begriff

• Sequenz von Zeichen (n-gram)

• Phrasen/Absätze

• Diskursabschnitte 

Wir trennen am Whitespace.

• Vor- und Nachteile, Müller & Sohn Dienstleistungs GmbH, PRO 7- Moderator

• Fenster-bank

Ansatz: separierte Wörter auf Gültigkeit gegen ein definiertes Alphabet prüfen.

• Mengentheoretische Modelle

• Algebraische Modelle

• Probabilistische Modelle

• Feature-basierte Modelle