Visualisierung dient der Reduktion der Komplexität und ermöglicht Benutzern das schnelle Erkennen komplexer Zusammenhänge in Wissensstrukturen. Im Information Retrieval Prozess unterstützt die Visualisierung mehrere Stufen und kann etwa der Darstellung von Termen, logischen Beziehungen zwischen Anfrage-Operatoren oder Dokumenten dienen. Für letzteres werden oft zwei- oder dreidimensionale Räume entworfen, in denen etwa die Gravitätsmetapher wirkt. Zweidimensionale Karten drücken semantische Nähe von Dokumenten durch geringe räumliche Distanz aus. Am häufigsten wird die Kohonen Self-Organizing Map (SOM, cf. Kohonen 1998) benutzt, aber auch Latent Semantic Indexing (LSI, cf. Berry & Letsche 1995) oder Faktorenanalyse können zur Reduktion von Repräsentationen auf zwei Faktoren dienen.
Obwohl die Theorien der Wahrnehmung Vorteile versprechen, bleibt unklar inwieweit Visualisierungen den Information Retrieval Prozess unterstützen. Evaluierungen von Visualisierungen sind selten, das gilt auch für zweidimensionale Karten.
In den letzten Jahren haben zwei Implementierungen zweidimensionaler Karten im Internet große Mengen von Dokumenten analysiert und dargestellt. Chen et al. 1996 haben mit einer Kohonen-SOM die Dokumente aus der Yahoo-Kategorie Entertainment klassifiziert und dargestellt. Die große Anzahl von Dokumenten zwang zu einer schichtweisen Realisierung, bei der die Karte gewissermaßen in kleine Teilbereiche zerlegt wird, die auf einer übergeordneten Karte durch eine Fläche vertreten sind. Die Interaktion mit einer Karte erfolgt somit in mehreren Schritten, die dem Zoomen ähneln.
Eine noch umfangreichere Datenbasis liegt dem System WEBSOM (Kohonen 1998) zugrunde. Darin werden etwa eine Million Beiträge zu Diskussionsforen (Internet Newsgroups) organisiert. Ziel ist es, neben der hierarchischen Struktur der Diskussionsforen einen assoziativen Zugang über mehrere Newsgroups hinweg zu ermöglichen. Kohonen 1999 wählte als Strategie für die Bewältigung der großen Datenmenge wie Chen et al. 1996 einen schichtweisen Aufbau.
Die beiden Systeme zeigen auch Schwächen des Ansatzes. Lediglich Chen et al. 1996 berichtet von informellen Benutzertests, so dass keine Aussagen über die Vorteile der SOM oder zweidimensionaler Karten allgemein bei der Lösung von Informationsproblemen möglich sind. Die Autoren begründen auch die Wahl ihrer Methode nicht und können für den jeweiligen Anwendungsfall die Überlegenheit der SOM gegenüber anderen Methoden nicht nachweisen. In diesem Beitrag soll gezeigt werden, dass dies unbedingt erforderlich ist, da die zwei Methoden zu völlig unterschiedlichen Karten führen können.
Für die Evaluierung von zweidimensionalen Karten gibt es keine Standard-Verfahren wie für die Bewertung von Information Retrieval Systemen. Diese statistischen Methoden, die z.B. im Rahmen der Text Retrieval Conference (TREC) eingesetzt werden, basieren auf Ranking-Listen und lassen sich so nicht auf Ansätze auf der Grundlage von Browsing-Techniken anwenden. Dieser Beitrag stellt eine Methode zum Vergleich zweier Karten vor, die den Benutzerstandpunkt beim Browsing in den Mittelpunkt stellt, aber ohne aufwendige Benutzertests auskommt.
Eine Karte von Dokumenten hilft dem Benutzer dann, wenn semantisch ähnliche Dokumente nahe zusammen gruppiert sind. Nach der Fokussierung eines Dokuments wird der Benutzer die am nächsten gelegenen betrachten. Die Evaluierungsmethode nimmt daher ein Dokument als Ausgangspunkt und bestimmt die Euklidische Distanz zu allen anderen. Durch Berücksichtigung aller Dokumente entsteht so eine Ähnlichkeitsmatrix. Das Verfahren wird für jede Visualisierungsmethode wiederholt und es ergeben sich so mehrere Matrizen. Die Korrelation zwischen diesen Matrizen dient als Maß für den Vergleich der Methoden. Für die Berechnung der Korrelation wird die Matrix in ihre Spalten aufgeteilt und jede Spalte wird nach Ähnlichkeit sortiert. Der Spaerman-Rangfolgen-Koeffizient bestimmt die Korrelation zwischen den Ranking-Listen der verschiedenen Methoden. Der Durchschnitt der einzelnen Listen bildet das Resultat für die Matrizen.
Spearman: 
(Hartung 1984)
Die Daten für das Experiment stammen aus den Datenbanken des Informationszentrums Sozialwissenschaften (IZ) in Bonn. Indexierer des IZ verschlagworten intellektuell sozialwissenschaftliche Fachliteratur und Projektinformationen. Eine Untermenge bildet das deutschsprachige Fachkorpus für das Cross Language Evaluation Forum (CLEF), das Systeme für multilinguales Information Retrieval bewertet.
Mit einem Ausschnitt von 1000 Dokumenten wurden mit LSI und SOM zwei zweidimensionale Dokumentenkarten gebildet. Der Vergleich nach der oben geschilderten Methode führte zu einer Korrelation von 0,053. Dies zeigt, dass zwischen den Matrizen keine Ähnlichkeit besteht. Das Experiment wurde auch für kleinere Mengen von zehn und hundert Dokumenten durchgeführt. Auch in diesen Fällen ergab sich keine Korrelation wie die folgende Tabelle zeigt.
Tabelle 1: Ergebnisse
Anzahl der Dokumente |
1000 | 100 (Durchschnitt aus zehn Mengen) | 10 (Durchschnitt aus 100 Mengen) | Höchste Korrelation für eine Menge von 10 Dokumenten |
Korrelation |
0,053 | 0,037 | 0,013 | 0,34 |