Institutionelle Akteure

Bei den manuell codierten institutionellen Akteuren handelt es sich um 862 verschiedene Na-men von Organisationen, Institutionen und Behörden. Vereinzelt wurden auch Staaten und deutsche Bundesländer als institutionelle Akteure codiert, weshalb für den Vergleich auch die extrahierten Eigennamen der NE-Klasse ‚LOC‘ einbezogen werden.

Im Vergleich zu den Personennamen (Kap. 6.3.1) erkennen die NER-Verfahren einen geringe-ren Anteil an institutionellen Akteugeringe-ren, sowohl bei dem direkten Namensvergleich, als auch bei der Analyse auf Artikelebene (s. Anhang [G]).

Die Auswertung des Testdatensatzes über Antibiotika-Resistenz und andere Grippepandemien weist ebenfalls eine schwächere Identifikationsleistung bei institutionellen Akteuren auf. Im Anhang (s. [28], S. 113) findet sich eine detaillierte Auflistung der darin manuell codierten Akteure pro Thema und Medientitel mit einem Vermerk, ob der jeweilige Akteur automatisiert gefunden wurde oder nicht.

spaCy stanza flair

0,15 0,03 0

Recall generischer Akteure

76 Für den ‚Corona‘-Datensatz bildet Tabelle 18 die resultierenden Recall-Werte der drei NER-Verfahren aus dem Vergleich der manuell und automatisiert extrahierten Akteure ab. In der Tabelle ist zu sehen, dass bei dieser Akteursgruppe spaCy die meisten Treffer liefert, während FLAIR die schlechteste Leistung erzielt.

Tab. 18: Recall-Werte bei der Identifikation institutioneller Akteure (Quelle: Eigene Darstellung aus Anhang [F])

Bei der Ergebnisauswertung wird ebenfalls ein Vergleich mittels exact und loose matching durchgeführt. Auch hier tritt vermehrt der Fall ein, dass relevante Akteure identifiziert, aber nicht in der Form extrahiert werden, wie die menschlichen Codierer dies durchführen. Dem NER-Verfahren von spaCy kommt zugute, dass es Eigennamen oft mit Zusatzinformationen ausgibt. Die längeren Chunks in den Ergebnissen von spaCy erzielen öfter exakte Übereinstim-mungen mit den erhobenen Daten der manuellen Inhaltsanalyse (s. Anhang [23], S. 109).

Zusätzlich tritt auch bei den institutionellen Akteuren das Problem auf, dass einige manuell codierte Namen nicht in dieser Form in den analysierten Nachrichtentexten vorkommen. Teil-weise ist menschliche Abstraktionsfähigkeit und Kontextwissen erforderlich, um beispiels-weise ‚Gesundheitsministerium Iran‘ als Akteur aus dem Text in Abbildung 30 zu extrahieren.

Abb. 30: Institutioneller Akteur nur aus Gesamtkontext ersichtlich (Quelle: dpa-Artikel aus dem Corona-Datensatz)

Der Eigenname ‚Iran‘ wird von allen drei NER-Verfahren identifiziert, doch nur spaCy extra-hiert das Wort ‚Gesundheitsministerium‘ (s. Anhang [E]). Als getrennte Ergebnisse sind diese Eigennamen jedoch nur bedingt für eine Akteursanalyse hilfreich.

Zusätzlich stellt der Artikel aus Abb. 30 ein Beispiel dafür dar, dass die Bezeichnung des rele-vanten Akteurs (‚Iranisches Gesundheitsministerium‘) nicht im analysierten Textbereich steht.

Eine Problematik, die bereits bei dem Vergleich der individuellen Akteure aufgefallen war.

manuell: 862 spaCy Stanza FLAIR

Exact Matching 686 633 581

Recall 0,80 0,73 0,67

Loose matching 697 644 590

Recall 0,81 0,75 0,68

77 In anderen Fällen ermittelt keines der drei Verfahren den gesamten Eigennamen richtig. Zwei Beispiele hierfür sind der Sportverein ‚FC Bayern München Basketball‘ und die ‚Bill und Melinda Gates Stiftung‘, dargestellt in Abbildung 31.

Abb. 31: Eigennamen von institutionellen Akteuren die fehlerhaft extrahiert werden (Quelle: Eigene Darstellung aus Anhang [E] und dpa-Artikel Anhang [B])

Bei dem obigen Beispiel der extrahierten Ergebnisse (s. Abb. 31) wird schlicht das generische Wort ‚Basketball‘ nicht zum Eigennamen zugehörig gezählt. In dem darunter abgebildeten Bei-spiel trennen die NER-Verfahren den Organisationsnamen in mehrere Chunks. Bei genauer Prü-fung der NER-Ergebnisse wird sichtbar, dass alle drei Verfahren bei zusammengesetzten Na-menskonstellationen von Eheleuten (‚Tony und Cherie Blair‘) zwei getrennte Named Entities ausgeben (‚Tony‘/‚Cherie Blair‘).

In den NER-Guidelines für deutschsprachige Texte von Benikova et al. wird nicht definiert, ob es sich dabei um ein korrektes Vorgehen der NER-Verfahren handelt. Gleichwohl stellen die dadurch erhaltenen einzelnen Vornamen ohne Zuordnung wenig aussagekräftige Ergebnisse für eine kommunikationswissenschaftliche Akteursanalyse dar. Im oben dargestellten Beispiel füh-ren die getfüh-rennt extrahierten Chunks außerdem dazu, dass nur das NER-Verfahfüh-ren von Stanza den Namen der Stiftung als ‚ORG‘ klassifiziert.

Werden die zwanzig meistgenannten institutionellen Akteure der manuellen Erhebung des

‚Corona‘-Datensatzes mit den zwanzig am häufigsten extrahierten Eigennamen der Klassen

‚ORG‘ und ‚LOC‘ verglichen, stimmen jeweils nur die Hälfte der Namen in der Auflistung überein (s. Kap. 6.2.3). In Tabelle 19 sind die meistgenannten institutionellen Akteure aus der manuellen Erhebung abgebildet. Die manuell codierten Organisationen werden für den Ver-gleich von den codierten Ortsbezeichnungen getrennt aufgelistet. Farblich markiert ist, welche

78 dieser institutionellen Akteure nicht mit den am häufigsten automatisiert extrahierten Ergebnis-sen übereinstimmen (s. Anhang [F]).

Tab. 19: Die häufigsten manuell selektierten Akteure getrennt nach Organisations- und Ortsnamen (Quelle: Eigene Darstellung aus Anhang [F])

Wie bereits in Kap. 6.2.3 festgestellt wurde, werden von FLAIR einige allgemeine Bezeichnun-gen wie ‚Auswärtiges Amt‘ oder ‚Hanois Volkskomitee‘ grundsätzlich nicht als EiBezeichnun-gennamen identifiziert (s. Anhang [E]). Doch auch die NER-Verfahren von spaCy und Stanza weisen bei diesen generischen Begriffen Identifikationsschwierigkeiten auf.

Ein letztes Beispiel zeigt einen Nachrichtenartikel, in welchem keines der drei NER-Verfahren das darin genannte Ministerium als Eigennamen ermittelt (s. Abb. 32). Die erhaltenen zugehö-rigen Ergebnisse des Textes sind mitabgebildet.

Abb. 32: Artikel mit institutionellen Akteuren und zugehörige NER-Ergebnisse (Quelle: Screenshot dpa-Artikel aus dem Corona-Datensatz – Anhang [B])

Dies illustriert, weshalb in dieser Untersuchung grundsätzlich weniger institutionelle als indi-viduelle Akteure automatisiert identifiziert werden und die etwas geringeren Recall-Werte zu-stande kommen (s. Tab. 18).

Imperial College London 6 Polen 7

IOC 6 Brasilien 6

79 Dennoch bleibt unklar, warum in anderen Artikeln Eigennamen wie ‚Gesundheitsministerium‘

und ‚Außenministerium‘ extrahiert werden (s. Anhang [E]). Dies könnte zum einen von dem jeweiligen Satzbau oder Kontext beeinflusst worden sein, in dem diese Wörter in dem Daten-satz vorkommen. Zum anderen könnten die Begriffe in den Trainingstexten der Verfahren vor-gekommen und unterschiedlich annotiert worden sein und deswegen zu den uneinheitlichen Ergebnissen führen. Es kann sich bei den allgemeinen Bezeichnungen der staatlichen Behörden und Ministerien jedoch auch um Begriffe handeln, die in anderen Untersuchungen als False Positives gewertet worden wären. Für den vorliegenden Vergleich gelten sie jedoch als Maßstab und beeinflussen die erzielten Recall-Werte aller drei Verfahren.

Nach der Berechnung und Erläuterung der Precision und Recall-Werte der NER-Verfahren, wird abschließend eine Zusammenfassung der Befunde gegeben. Darauf aufbauend kann im Anschluss die Gütebeurteilung der Verfahren erfolgen.