5 Evaluation von Annotationswerkzeugen 47
5.7 Durchführung der Evaluation
5.7.1 Messergebnisse
Die nachfolgenden Tabellen enthalten in komprimierter Form die Messergebnisse der Evaluation sowie einige grundlegenden Informationen zu den einzelnen Metri-ken, wie z. B. die Gewichtung oder die logische Auswahlregel. Die Färbung der Pro-zentwerte gibt Auskunft darüber, ob ein Annotationswerkzeug einen akzeptablen Wert (blau) bei der Evaluation erreicht hat oder nicht (rot). Die vier Tools werden mit den jeweiligen Anfangsbuchstaben abgekürzt: C = Callisto, G = GATE, M = MMAX2, U = UAM CorpusTool.
Abbildung 17: Legende zu den Ergebnisstabellen der Messungen
Funktionalität (I): Angemessenheit
Messwerte und Einstufungsniveau (+) trifft zu (-) trifft nicht zu Attribut, Gewichtung, Auswahlregel
und Nominalskala
(a) Anzeige der Rohtexte als UTF-8 möglich
50% + + + + (b) Speicherung der Annotation als
UTF-8 möglich
(a) Anzeige der Rohtexte als ASCII, ISO-8859 etc. möglich
50% + + + + (b) Speicherung der Annotation als
ASCII, ISO-8859 etc. möglich
50% + + + +
(c) Markupsprachen: *.XML , *.HTML,
*.SGML (ohne Interpretation der Tags)
20% + -(d) interpretierte Markupsprachen:
*.XML, *.HTML, *.SGML (mit Inter-pretation der Tags)
20% - + -
(04) Modifizierbarkeit der Rohtexte Gewichtung: Soll-Attribut (*1) Auswahl: a OR b
≥ 50% 0% 100% 100% 0%
(a) Modifizierung während der Annota-tion möglich
50% - + + - (b) Modifizierung vor der Annotation
möglich
50% - + + -
(05) Tokenisierung der Rohtexte Gewichtung: Muss-Attribut (*2) Auswahl: (a XOR b) OR c
≥ 40%
40% 100% 100% 0%
(a) interne Tokenisierung mit Möglich-keit der Parametrisierung
60% - + + - (b) interne Tokenisierung ohne
Mög-lichkeit der Parametrisierung
40% + - - -
(c) externe Tokenisierung möglich 40% - + + -
(06) Automatisierbarkeit der Annotation Gewichtung: Muss-Attribut (*2) Auswahl: a OR b
≥ 40% 0% 100% 0% 40%
(a) Automatisierbarkeit durch Verwen-dung von regulären Ausdrücken möglich
60% - + - - (b) Automatisierbarkeit durch
Verwen-dung eines Lexikons möglich
40% - + - + (07) Skopus der Annotationseinheiten
Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c
≥ 80% 80% 80% 80% 40%
(a) Beliebige Annotationseinheiten mit einem Start- und einem Endpunkt
40% + + + + (b) gerichtete Relationen zwischen
An-notationseinheiten auf einer Ebene mög-lich
40% + + + -
(c) gerichtete Relationen zwischen An-notationseinheiten und Vernetzung über verschiedener Ebenen hinweg möglich
20% - - - -
(08) Änderung der Schemata Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c
≥ 100% 40% 100% 100% 100%
(a) nachträgliche Einfügung von Tags möglich
40% + + + + (b) nachträgliche Änderung von Tags
möglich
30% - + + + (c) nachträgliche Löschung von Tags
möglich
30% - + + + (09) Validierung gegen Schema
Gewichtung: Muss-Attribut (*2) Auswahl: a
≥ 100% 0% 0% 100% 0%
(a) interne Validierung möglich 100% - - + -
Tabelle 42: Messwerte für den Bereich Funktionalität (I): Angemessenheit
Funktionalität (II): Interoperabilität
Messwerte und Einstufungsniveau (+) trifft zu (-) trifft nicht zu Attribut, Gewichtung, Auswahlregel und
Nominalskala
Schwelle,
Verhältnis-skala C G M U
(10) Im-/Export von Stand-off Formaten Gewichtung: Soll-Attribut (*1)
Auswahl: a OR b
≥ 50% 0% 100% 0% 50%
(a) Import anderer Stand-off Annotati-onsformate möglich
50% - + - + (b) Export anderer Stand-off
Annotati-onsformate möglich
50% - + - -
(11) Im-/Export von Inline Formaten Gewichtung: Soll-Attribut (*1) Auswahl: a OR b
≥ 50% 0% 100% 0% 50%
(a) Import von Inline-Annotationen möglich
50% - + - - (b) Export als Inline-Annotation
mög-lich
50% - + - + (12) Wohlgeformtheit der Annotation
Gewichtung: Muss-Attribut (*2) Auswahl: a
≥ 100% 100% 100% 100% 100%
(a) Wohlgeformtheit des Annotations-formats nach Definition des W3C
100% + + + + (13) Kompatibilität des Annotationsformats
Gewichtung: Soll-Attribut (*1) Auswahl: a
≥ 100% 100% 100% 100% 0%
(a) Kompatibilität des Annotationsfor-mats mit mindestens einem anderen Format
100% + + + -
Tabelle 43: Messwerte für den Bereich Funktionalität (II): Interoperabilität
Benutzbarkeit (I): Erlernbarkeit
Messwerte und Einstufungsniveau (+) trifft zu (-) trifft nicht zu Attribut, Gewichtung, Auswahlregel und
Nominalskala
(a) sehr ausführliche Dokumentation vorhanden
100% - + - - (b) ausreichende Dokumentation
vor-handen
50% + - + + (c) unzureichende oder gar nicht
vor-handene Dokumentation
0% - - - -
(15) Hilfesystem
Gewichtung: Soll-Attribut (*1) Auswahl: a XOR b XOR c
≥ 50% 50% 0% 0% 50%
(a) sehr ausführliches Hilfesystem vor-handen
100% - - - - (b) ausreichendes Hilfesystem vorhanden 50% + - - + (c) unzureichendes oder gar nicht
vor-handenes Hilfesystem (b) Beschreibung der wichtigsten
Funk-tionen durch Kurzinfo vorhanden
50% - - + + (c) unzureichende oder gar nicht
vor-handene Funktionsbeschreibung durch Kurzinfo
0% + - - -
(17) Praktische Lernhilfen Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c OR d
≥ 40% 60% 100% 60% 60%
(a) Tutorial oder How-To vorhanden 40% + + + + (b) Vorlagen oder Übungsdateien
vor-handen
(a) Mailinglist Archiv mit einsehbarem Archiv vorhanden
50% - + - - (b) Mailinglist ohne einsehbares Archiv
vorhanden
30% + - - + (c) direkter E-Mail Support von
Herstel-lerseite vorhanden
30% + + + + (d) FAQs von Herstellerseite vorhanden 20% + - - -
Tabelle 44: Messwerte für den Bereich Benutzbarkeit (I): Erlernbarkeit
Benutzbarkeit (II): Bedienbarkeit
Messwerte und Einstufungsniveau (+) trifft zu (-) trifft nicht zu Attribut, Gewichtung, Auswahlregel und
Nominalskala
Schwelle,
Verhältnis-skala C G M U
(19) Installationsaufwand Gewichtung: Muss-Attribut (*2) Auswahl: a XOR b XOR c XOR d
≥ 60% 60% 100% 60% 100%
(a) geringer Aufwand, nur Klick auf aus-führbare Datei
100% - + - + (b) angemessener Aufwand, Entpacken
einer JAR-Datei
60% + - + - (c) hoher Aufwand, Einrichten eines
Ser-vers oder einer Datenbank
20% - - - - (d) unangemessener Aufwand,
Schwie-rigkeiten bei der Installation
0% - - - - (20) Ebenenbezogene Aktionen
Gewichtung: Muss-Attribut (*2) (21) Editierung der Schemata
Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c
≥ 60% 20% 40% 40% 100%
(a) Editierung der Annotationsschemata über graphischen Schemaeditor inner-halb des Werkzeugs möglich
60% - - - +
(b) Editierung der Annotationsschemata mit einem beliebigen XML-Editor außerhalb des Werkzeugs möglich
20% + + + +
(c) Editierung des Schemas während des laufenden Annotationsprozesses möglich (Update-Funktion)
20% - + + +
(22) Flexibilität der Schemata Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c
≥ 50% 50% 70% 50% 30%
(a) Flexibilität durch im Schema frei de-finierbare Elemente, die als Wert einen beliebigen String annehmen können
50% + + + -
(b) Flexibilität durch im Schema vorge-gebene Kommentar-Elemente, die als Wert einen beliebigen String annehmen können
30% - - - +
(c) Flexibilität, durch die Generierung beliebiger neuer Tags während des ge-samten Annotationsprozesses, welche aber nicht in das verwendete Annotati-onsschema nachgetragen werden
20% - + - -
(23) Zugriffsrechte
Gewichtung: Muss-Attribut (*2) Auswahl: a OR b
≥ 50% 0% 50% 0% 0%
(a) Vergabe von Zugriffsrechten für ver-schiedene Ebenen einer Annotations-datei möglich
50% - - - -
(b) Vergabe von Zugriffsrechten für ver-schiedene Annotationsdateien möglich
50% - + - - (24) Suchfunktion für Textdaten
Gewichtung: Soll-Attribut (*1) Auswahl: a OR b
≥ 50% 50% 50% 50% 50%
(a) Wortsuchfunktion für Rohtexte vor-handen
50% + + - - (b) Query-Tool zum Durchsuchen der
Annotationen vorhanden
50% - - + +
(25) Anpassung der Darstellung Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c OR d OR e
≥ 40% 80% 60% 60% 40%
(a) Anpassung durch unterschiedliche Skins
20% - + - - (b) optionale Anordnung aller Elemente
und Arbeitsflächen an einem Raster
20% + - - -
(c) Anpassung der Fenster 20% + - + +
(d) Anpassung der Schrift 20% + + + +
(e) Anpassung der Visualisierung von Annotationseinheiten
20% + + + - (26) Anpassung der Steuerung
Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c
≥ 30% 0% 0% 0% 0%
(a) Verknüpfung häufig verwendeter Funktionen mit einem Shortcut
40% -(b) Anpassung der Menühierarchien
zu-gunsten häufig verwendeter Funktionen
30% -(c) Ausblenden selten verwendeter
Funk-tionen
30%
-Tabelle 45: Messwerte für den Bereich Benutzbarkeit (II): Bedienbarkeit
Benutzbarkeit (III): Konformität
Messwerte und Einstufungsniveau (+) trifft zu (-) trifft nicht zu Attribut, Gewichtung, Auswahlregel und
Nominalskala
Schwelle,
Verhältnis-skala C G M U
(27) Aufteilung der Arbeitsoberfläche Gewichtung: Soll-Attribut (*1) Auswahl: (a XOR b) OR c
≥ 50% 100% 100% 0% 50%
(a) mehrere gekachelte Bereiche in einem Fenster (tiled panes)
100% + + - - (b) sequentielle Darstellung der
einzel-nen Bereiche in einem eigeeinzel-nen Fenster (one-window paging)
50% - - - +
(c) parallele Darstellung der einzelnen Bereiche in einem eigenen Fenster (multiple windows)
0% + - + -
(28) Gestaltung der Arbeitsoberfläche Gewichtung: Soll-Attribut (*1) Auswahl: a OR b OR c OR d
≥ 60% 80% 100% 80% 50%
(a) Stimmige Farbpalette der einzelnen Elemente
30% + + + + (b) Stimmiges Größenverhältnis der
ein-zelnen Elemente zueinander
30% + + + - (c) Schaltflächen werden als
Pikto-gramme visualisiert
20% - + - -
(d) unaufdringlicher Hintergrund 20% + + + +
(29) Standardisierte Funktionen Gewichtung: Soll-Attribut (*1)
(30) Selektion von Annotationseinheiten Gewichtung: Muss-Attribut (*2) Auswahl: a OR b OR c OR d OR e OR f
≥ 45% 75% 100% 45% 40%
(a) Klicken, Ziehen, Loslassen: Selektion eines frei definierten Textbereichs
30% + + + + (b) Shift + Richtungstasten: Selektion
eines frei definierten Textbereichs
20% + + - - (c) Doppelklick: Ganzes Wort auswählen 15% - + + - (d) Shift + Strg + Richtungstasten:
Gan-zes Wort auswählen
15% + + - - (e) Einfachklick: Textzeiger an diese
Stel-le bewegen
10% + + - + (f) Richtungstasten: Textzeiger in
Rich-tung der gedrückten Taste bewegen
10% - + - -
Tabelle 46: Messwerte für den Bereich Benutzbarkeit (III): Konformität