Qualitätskriterien für die Indexierung

Tabelle 3: Dimensionen von Informationsqualität (Königer/Reithmayer, 1998, S. 92)

3.3.4 Qualitätskriterien für die Indexierung

Was kann nun aus den vorigen Kapiteln auf die Indexierung und ihre Produkte, die Deskriptoren übertragen werden? Für das Aufstellen von Qualitätskriterien für die In-dexierung sollten abgesehen von Dimensionen/Kriterien der Qualität bzw. Informati-onsqualität bereits existierende Wertmaßstäbe wie Normen (für die Deskriptoren als Endprodukt) betrachtet werden. Als Norm und somit als Maßstab für eine Indexie-rung und die FormulieIndexie-rung/Benennung von Begriffen im kontrollierten Vokabular soll-te die DIN 1463 „Erssoll-tellung und Weisoll-terentwicklung von Thesauri“ (1996 [1987] die-nen. Allgemeine Bewertungskriterien für Deskriptoren sind in der DIN 31 623 (1996 [1988]) enthalten. Die DIN 31 623 unterscheidet vier Bewertungskriterien für die In-dexierung:

· Indexierungsbreite: bezieht sich auf den Grad der Erschließung abhängig vom Fachgebiet des Dokuments. Kann durch die Zahl der insgesamt vergebenen De-skriptoren ausgedrückt werden.

· Indexierungsspezifität: sind die Deskriptoren allgemein oder spezifisch

· Indexierungstiefe: Kombination von Indexierungsbreite und –spezifität, kenn-zeichnet die Genauigkeit der Inhaltswiedergabe eines Dokuments. Eine Indexie-rung ist „tiefer“, wenn bei gleicher Deskriptorenzahl im Ergebnis der IndexieIndexie-rung (bezogen auf das gleiche Dokument) die spezifischeren Deskriptoren vergeben wurden.

· Indexierungskonsistenz: Wie stimmen die Indexierungsergebnisse für das glei-che Dokument überein?

Außerdem beinhaltet die DIN 31623 (Teil 2, 1996 [1988], S. 187 ff) genauere Krite-rien zur Auswahl von Deskriptoren in Bezug auf die Indexierungsbreite und Indexie-rungsspezifität:

Indexierungsbreite: Nur Wichtiges soll indexiert werden, damit soll das Retrieval verbessert werden. Besser für einen Deskriptor entscheiden, als zu wenige verge-ben. Der Informationsgehalt eines Dokuments bestimmt die Anzahl der Deskriptoren.

Indexierungsspezifität: Nur Wesentliches soll indexiert werden, Deskriptoren sollen entsprechend dem Spezifitätsgrad des Dokuments ausgewählt werden und nicht zu allgemein sein.

Wenn freie Deskriptoren zugelassen sind, müssen diese Kriterien wie Eindeutigkeit, Verlässlichkeit, Prägnanz und Gebräuchlichkeit erfüllen (Ebd.).

Im Einzelfall bedeutet dies:

· Eindeutigkeit: sollen den Inhalt des Dokuments wiederspiegeln und dement-sprechende Aussagekraft und Informationswert besitzen; Homonyme müssen entsprechend eindeutig gekennzeichnet werden.

· Verlässlichkeit: Zum Erhalt der Indexierungskonsistenz müssen spezifische und genaue Deskriptoren zur Inhaltswiedergabe vergeben werden.

· Prägnanz: Deskriptoren sollten knapp und treffend formuliert werden. Allerdings sind Kürzungen eines Deskriptors zu vermeiden, wenn dadurch die eigentliche Benennung an Klarheit verliert. Kompositabildung ist bei Substantiven mit Attribut erwünscht.

· Gebräuchlichkeit: Formulierung entsprechend dem Vokabular des Fachgebietes des Dokuments. Problematisch sind dabei „neue“ Schöpfungen an Wörtern oder Ausdrücke, die aus dem Slang oder Jargon kommen. Diese sollten sich an ent-sprechenden Termini orientieren (Ebd.).

Allgemein sollten nicht nur Deskriptoren vergeben werden, die explizit im Dokument vorhanden sind. Implizit enthaltene Sachverhalte und dementsprechende Deskripto-ren vermitteln den größeDeskripto-ren Zusammenhang, in den das Dokument einzuordnen ist.

Für die Indexierung ebenfalls von Bedeutung ist eine ausgewogene Abgrenzung der Begriffe bzgl. Präkoordination und Postkoordination (Ebd.).

Tague-Sutcliffe (1997 [1981], S. 206) stellt außerhalb solcher Normen verschiedene Indexierungsaspekte sowie deren Operationalisierung auf:

· Erschöpfendes Indexieren („Exhaustivity of indexing“): Werden alle Themen eines Dokuments erfasst? Operationalisierung: Anzahl der Deskriptoren pro Dokument

· Spezifität der Indexierung, d.h. Präzision der Inhaltsbeschreibung durch Deskrip-toren. Operationalisierung: Anzahl des Verwendens („Postings“) eines Terms

· Grad an kontrolliertem Vokabular beim Indexieren. Operationalisierung: Verhält-nis von freien Deskriptoren zu verbindlichen Deskriptoren

· Grad an Verkettungen im Vokabular: Operationalisierung durch die Anzahl der

“siehe auch”-Verweise

· Übereinstimmung mit dem Vokabular im Sinne des Auffindens („accomodation“) durch den Nutzer, der nicht den exakten Term des Vokabulars kennt (Operationa-lisierung durch die Zahl der „siehe“-Verweise)

· Term-Diskrimination-Wert: wie unterscheidet ein Term die Texte (Operationalisie-rung mit dem Diskriminanzwert siehe Kapitel 3.1.2)

· Grad an Präkoordination der Terme: Dies wird durch die Anzahl der Deskriptoren pro Indexierungsphase bestimmt

· Grad der syntaktischen Kontrolle: betrifft grammatische Operatoren, Rollenopera-toren und relationale OperaRollenopera-toren. Operationalisierung durch die Anzahl der Ope-ratoren

· Genauigkeit des Indexierens, d.h. Indexierungsfehler: Hier stellt sich allerdings die Frage: was ist als „korrekt“ anzusehen?

· Inter-Indexier-Konsistenz: Wie konsistent arbeiten die verschiedenen Indexierer?

Zusammengefasst lassen sich aus den verschiedenen Aspekten nun folgende Krite-rien aufstellen, die bei der Qualitätsbestimmung der Indexierung bzw. der Deskripto-ren eine Rolle spielen und zu operationalisieDeskripto-ren sind:

· Nützlichkeit/Gebräuchlichkeit: sind die Deskriptoren nützlich/effizient, wie gut ist der Text beschrieben? Sind die Deskriptoren treffend und gebräuchlich (ab-hängig vom jeweiligen Kontext/Fachbereich)? Ist die Bedeutung im Fachgebiet eindeutig? Bei freien Deskriptoren muss noch die Eindeutigkeit des Vokabulars im Sinne dass Homonyme eindeutig gekennzeichnet sind, genannt werden.

· Vollständigkeit an wichtigen Deskriptoren (Erschöpfendes Indexieren): hier ist die Deskriptorenauswahl zu analysieren, der Inhalt sollte treffend wiedergegeben werden.

· Aktualität/Zeitgerechtigkeit/Gültigkeit der Deskriptoren: beim Einsatz eines kontrollierten Vokabulars stellt sich das Problem, dass ein Thesaurus regelmäßig gepflegt werden muss. Laut DIN 1463 (1996 [1987], Teil 1, S. 25) sollen neue Begriffe dann aufgenommen werden, wenn sie relativ häufig in der Literatur vor-kommen (auch in Suchanfragen) und der neuesten Terminologie eines Fachge-bietes entsprechen. Bei freiem Vokabular kann ein „neuer“ Begriff, solange die oben angeführte Kriterien erfüllt sind, sofort verwendet werden.

· Spezifität/Genauigkeit/Verlässlichkeit von Deskriptoren: Frage der Indexie-rungstiefe: je spezifischer die Terme das Dokument beschreiben, desto besser ist die Indexierungstiefe (damit kann ein besseres Retrievalergebnis erzielt werden).

Frage der Indexierungsbreite: wie spezifisch (also weniger allgemeine Begriffe) soll indexiert werden? Randgebiete benötigen in einem Thesaurus nicht so spezi-fische Deskriptoren wie das Kerngebiet (DIN 1463, 1996 [1987], Teil 1, S. 25).

Die Indexierungstiefe ist lt. Knorz (1997⁴, S. 137/138) schwierig zu operationali-sieren, stattdessen sollten die Indexierungsbreite und Indexierungsspezifität als Kriterien herangezogen werden.

· Konsistenz: Werden immer die gleichen Deskriptoren vergeben (Intra-Indexierer-Konsistenz? Wie konsistent arbeiten die Indexier unter sich (Inter-Indexierer-Konsistenz)? Wie kompetent ist evtl. ein Indexierer? Dies zu überprüfen ist schwierig.

Konsistenz kann aber auch im Sinne von Übereinstimmung des Vokabulars der Indexierer und der Benutzer, die eine Suchanfrage stellen, gesehen werden (Sal-ton/McGill, 1987, S. 63).

Als oberster Qualitätsmaßstab an die Indexierung sollten aber die Erwartungen des Nutzer herangezogen werden, d.h. wie zweckdienlich ist die Indexierung bezogen auf das Information Retrieval.

Für eine Indexierung mit verbindlichem Vokabular (im praktischen Teil in Kapitel 4 benötigt) können die Qualitätskriterien wie folgt operationalisiert werden:

Kriterien Operationalisierung

Nützlichkeit eines Deskriptors (im Fachgebiet)

Gebräuchlich Nicht gebräuchlich

Vollständigkeit an Deskriptoren Vollständig Unvollständig Aktualität/Zeitgerechtigkeit/

Gültig-keit einzelner Deskriptoren

Aktuell Nicht aktuell Spezifität/Genauigkeit eines

De-skriptors

Begriff ist spezifisch genug

Begriff zu allgemein Konsistenz des Indexierens Konsistent Nicht konsistent

Tabelle 4: Qualitätskriterien für die Indexierung mit verbindlichem Vokabular

Wie können die einzelnen Kriterien genau bewertet werden? Die Kriterien lassen sich v.a. nur subjektiv (d.h. intellektuell) bewerten. Damit stellt sich das Problem der exak-ten Operationalisierung mit konkreexak-ten Zahlen. Objektive Kriterien dagegen sind messbar bzw. zählbar.

Die Nützlichkeit eines Deskriptors lässt sich am objektivsten von einem Experten des Fachgebiets beurteilen. Die Nützlichkeit steht auch in einem Zusammenhang mit der Aktualität eines Deskriptors, da sich die Zeitberechtigung von Begriffen im Laufe der Zeit verschieben kann. Ein aktueller Thesaurus bedingt, dass sich dieser auf dem neuesten Stand befindet und dementsprechend gepflegt wird. Vollständigkeit und Spezifität sind sehr subjektive Kriterien. Sie sind abhängig von der Einschätzung der indexierenden Person und deren Kompetenz, Ausbildung und Praxis bzw. Vorkennt-nissen. Vollständigkeit ist relativ zu betrachten, unterschiedliche Personen werden sicher eine unterschiedliche Anzahl an Deskriptoren für richtig erachten. Fehlende Deskriptoren schlagen sich allerdings in schlechten Retrievalergebnissen nieder.

Ermittelt werden kann die Intra-Indexierer-Konsistenz nur durch Begutachtung und Vergleich von Indexaten innerhalb einer größere Menge an Dokumenten. Die Inter-Indexierer-Konsistenz muss in Tests, bei dem verschiedene Indexierer dasselbe Do-kument indexieren, ermittelt werden. Jedoch darf hier die Erfahrung und Praxis eines Indexierers, sowie die Kenntnisse in einem Fachgebiet, nicht außer acht gelassen werden. Schwierig zu bewerten ist zudem, dass „gleichscheinende“ Sachverhalte nicht immer gleich indexiert werden können, auch zu sehen in Abhängigkeit des je-weiligen Kontextes eines Textes. Schlechte Konsistenz kann lt. Knorz (1997⁴) aber auch auf Mängel einer benutzten Dokumentssprache sowie deren Bearbeitung zu-rückgeführt werden. Bei Benutzung eines kontrollierten Vokabulars ist die Konsistenz besser gegeben, da bei gleichen Sachverhalten immer gleiche Deskriptoren verge-ben werden. Konsistenz zwischen Indexierer und Anfrager würde sich nur anhand

subjektiver Nutzererfahrungen beurteilen lassen. Beim Einsatz von kontrollierten Vo-kabular sollte ein Nutzer das entsprechende VoVo-kabular kennen.

Wenn bei der Indexierung im Allgemeinen freies Vokabular für die Deskriptoren be-nutzt werden darf, wäre zusätzlich die Prägnanz von Deskriptoren zu überprüfen und operationalisieren (mit den Werten „Prägnant“ oder „nicht prägnant“).

Die Unterscheidung (Diskriminierung) der Texte durch die Terme, kann durch Be-rechnung des Diskriminanzwertes (Genaueres im Kapitel 3.1.2) erfolgen. Der Diskri-minanzwert stellt somit ein objektives Kriterium für die Qualität einer Indexierung dar.

Eine weitere objektive Messung der Qualität kann über das Zählen von Fehlern er-folgen. In Anlehnung an die ISO-IEC Norm 9126 (DIN e.V. , 1991) zum Themenbe-reich der „Funktionalität“, kann die Qualität des Systems anhand von Fehlern bzgl.

der Funktionen/Komponenten des Systems überprüft werden. Dabei müssen folgen-de Fragen beantwortet werfolgen-den:

· Erfüllen die Systeme ihre eigenen Anforderungen/Funktionen?

· Wie fehlerhaft sind die Leistungen der Systeme?

Abweichungen von den vorgegebenen Anforderungen/Funktionen können durch Fehlerstatistiken erfasst werden. Bei linguistischen Systemen werden dabei fehler-hafte Grundformreduktionen (z.B. beim Wort „Sekte“ wird als Grundform „Sekt“ ein-getragen), Kompositazerlegungen, falsche Abkürzungsauflösungen (z.B. der Verlag BLV wird fälschlicherweise als Abkürzung für ein Mehrwortbegriff identifiziert) (Bei-spiele von Grummann, 2000) etc. erfasst.

Wenn die intellektuelle Indexierung als ein ideales Indexierungsergebnis vorgegeben ist, können Fehler bzw. Abweichungen zu diesem Standard ermittelt und gezählt werden. „Fehlerhafte“ Deskriptoren einer automatischen Indexierung sind dann sol-che, die nicht mit denen einer intellektuellen Indexierung übereinstimmen.