Informationsbeschaffung im Internet

Kriterien zur Bewertung von Informationsdiensten

Internet-Anwender sind mit einer Fülle von Informationsdiensten konfrontiert. Da stellt sich sofort die Frage: Nach welchen Kriterien können Informationsdienste bewertet und miteinander verglichen werden?

Sechs übergeordnete Kriterienbereiche spielen bei der Evaluation von Informationsdiensten eine Rolle. In manchen Bereichen können weitere, untergeordnete Aspekte unterschieden werden.

Dokumentenkollektion

Das beste Informationssystem nützt wenig, wenn die damit erschlossene Dokumentenkollektion den jeweiligen Ansprüchen nicht genügt. Ein offensichtliches Merkmal von Dokumentenkollektionen ist die Ausrichtung: Handelt es sich um eine horizontale oder um eine vertikale Kollektion? Welche Themenbereiche werden abgedeckt?

Der Abdeckungsgrad sagt aus, wie viele der insgesamt existierenden Dokumente im jeweiligen Gebiet durch die Dokumentenkollektion erschlossen werden.

Weitere Aspekte beziehen sich auf die einzelnen Dokumente innerhalb der Kollektion: zum Beispiel inhaltliche Qualität, Aktualität und Strukturierung. Die Strukturierung von Dokumenten lässt sich oft für einen effektiveren Informationszugriff ausnützen, weil bestimmte Angaben wie Personennamen oder Adressen eindeutig identifiziert werden können. Die Aktualität der Dokumente ist je nach Anwendung unterschiedlich wichtig.

Anfrageaufwand

Ein Benutzer muss Vorarbeit leisten, um eine Anfrage an einen Informationsdienst zu stellen. Der Anfrageaufwand ist abhängig von verschiedenen Aspekten des Informationssystems. Vorteilhaft ist beispielsweise eine übersichtliche und intuitiv verständliche Benutzerschnittstelle. Bei manchen Systemen dagegen muss man sich als Benutzerin zuerst durch schlecht verfasste Hilfeseiten quälen, bis man in der Lage ist, eine Anfrage zu stellen.

Ebenso spielt der Umfang der Indexierungskomponente eine Rolle. Systeme ohne Buchstabenumwandlung, Wortzerlegung und Wortnormalisierung wälzen Mehrarbeit auf die Benutzer ab. Die Benutzer müssen sich selbst um Flexionen und Umlaute oder Akzente kümmern und diese Problematik in den Suchanfragen berücksichtigen.

Nicht zuletzt kann der Anfrageaufwand weiter verringert werden, wenn ein System mit hilfreichen Zusatzfunktionen ausgestattet ist. Die automatisierte Relevanzrückkoppelung beispielsweise entlastet die Benutzer zusätzlich.

Effizienz

Die Effizienz - die Schnelligkeit - eines Informationssystems misst sich in in erster Linie an drei Grössen:

• Sucheffizienz: Gemeint ist die Antwortzeit des Systems, also die Zeit zwischen dem Erhalt einer Anfrage und der Fertigstellung der Antwort. Die benötigte Zeit für die Verarbeitung von Suchanfragen hängt einerseits von der Anzahl der Suchbegriffe ab, denn für jeden Begriff muss der Index konsultiert und die gefundenen Einträge müssen miteinander kombiniert werden. Andererseits hängt die Antwortzeit auch von der Wahl der Suchbegriffe ab. Für sehr häufige Begriffe existieren im Index sehr lange Listen, die untersucht werden müssen.

• Entdeckungseffizienz: Ein neues Dokument entsteht. Wie lange dauert es, bis der Web-Roboter das Dokument gefunden hat? Diese Zeitspanne wirkt sich auch auf die Aktualität der angebotenen Dokumentenkollektion aus.

• Erschliessungseffizienz: Nach der Entdeckung und dem Bezug müssen neue Dokumente indexiert und in den Index des Systems eingefügt werden. Je nach System sind vielleicht weitere Vorarbeiten nötig, bis Dokumente zum Auffinden bereitstehen. Diese Vorgänge werden unter dem Begriff der Erschliessung zusammengefasst. Die Erschliessungseffizienz gibt Auskunft über die Schnelligkeit, mit der diese Arbeiten durchgeführt werden.

Präsentation der Ergebnisse

Nachdem ein Informationsdienst eine Anfrage bearbeitet und die Antwort zusammengestellt hat, werden die Resultate aufbereitet und meist in Form einer Webseite der Benutzerin zugestellt. Die Präsentation der Ergebnisse kann mehr oder weniger übersichtlich und benutzerfreundlich ausfallen. Manche Benutzerschnittstellen stellen die Suchresultate mittels aufwendiger Grafiken dar. Das macht oft Spass, führt aber nicht unbedingt schneller zum Ziel. Manchmal ist auch die Grösse der Ergebnisse wichtig. Zum Beispiel wird sich ein Privatanwender mit einer langsamen Modemverbindung daran stören, wenn der verwendete Suchdienst zu umfangreiche Ranglisten liefert.

Effektivität

Ein sehr wichtiges Kriterium ist die Sucheffektivität. Mit der Effektivität meint man die Fähigkeit eines Informationssystems, die von einer Benutzerin gewünschten Dokumente zu liefern. Ausbeute und Präzision sind zwei Masse, die sich zur Bewertung der Effektivität eines Informationssystems eignen. Die beiden Masse stehen immer im Zusammenhang mit einer Anfrage sowie der Menge der gefundenen Dokumente. Es handelt sich dabei um die bestrangierten Dokumente, die der Benutzer betrachtet. Die Zahl der betrachteten Dokumente hängt vom Informationsbedürfnis ab.

Ziel einer Anfrage ist es, möglichst alle relevanten Dokumente aus der Dokumentenkollektion zu finden. Meistens wird man aber nur einen Teil der gewünschten Dokumente finden. Die Ausbeute gibt an, welchen Anteil der an und für sich in der Dokumentenkollektion vorhandenen relevanten Dokumente man mit einer Anfrage gefunden hat.

Auch wenn eine Anfrage alle relevanten Dokumente findet - also hundertprozentige Ausbeute aufweist -, heisst das noch lange nicht, dass die Benutzerin zufrieden ist. Liefert das Suchsystem neben den relevanten auch eine Unzahl irrelevanter Dokumente, so gehen die relevanten Dokumente möglicherweise unter. Gefragt ist also auch eine hohe Präzision. Mit Präzision bezeichnen wir den Anteil der mit einer Anfrage gefundenen Dokumente, die tatsächlich relevant sind.

Das perfekte System bietet demnach maximale Ausbeute und maximale Präzision gleichzeitig. Das heisst, es liefert alle relevanten Dokumente, die in der Kollektion überhaupt existieren. Zudem taucht kein einziges irrelevantes Dokument in der Antwort auf. Leider bleibt das perfekte System hypothetisch, denn die beiden Grössen sind gegenseitig voneinander abhängig. Steigert man in einem System die Ausbeute, so geht das auf Kosten der Präzision und umgekehrt.

Viele Suchsysteme arbeiten präzisionsorientiert. Solche Systeme liefern nur wenig irrelevante Dokumente und vermitteln dem Benutzer ein Erfolgsgefühl. Da der Benutzer nur über eine lokale Sicht auf die gefundenen Dokumente verfügt, entgehen ihm viele nicht gefundene, aber ebenfalls relevante Dokumente.

Bei Push-Systemen sind die Masse Ausbeute und Präzision anders definiert. Der Grund: Push-Systeme erzeugen keine Rangliste. Stattdessen entscheiden die Systeme, ob ein Dokument dem Benutzer zugestellt werden soll oder nicht. Deshalb zählt man bei Push-Systemen, wie viele der zugestellten Dokumente relevant und wie viele irrelevant sind. Durch den Vergleich der beiden Zahlen erhält man ein Mass für die Effektivität eines Systems. Ausserdem kann man die Zahlen unterschiedlich gewichten und damit mehr Wert auf Ausbeute oder Präzision legen.

Kosten

Das letzte Kriterium ist weniger wichtig für die Benutzer, aber umso wichtiger für die Betreiberinnen von Informationsdiensten. Systeme unterscheiden sich in Bezug auf den Entwicklungsaufwand und die Unterhaltskosten. Ein manuell betriebener Katalogdienst zum Beispiel verursacht hohe Unterhaltskosten.

Für die Benutzer relevanter in diesem Zusammenhang ist die Frage, wie sich ein Informationsdienst finanziert. Ein öffentlich zugängliches Angebot finanziert sich typischerweise mit Werbung in allen Varianten, mit der die Benutzer konfrontiert werden. Dagegen bleiben Benutzer von eigens eingekauften Systemen in einem Intranet normalerweise von Werbung verschont.

Einige Bemerkungen in Bezug auf die Praxis sind noch nötig, bevor der Internet-Anwender das Kapitel beschliesst ...