6. Portalgenese: Gestaltung und Betrieb von Bildungsportalen
6.8. Evaluation
"I: Und denken Sie Ihr Auftritt ist ein Erfolg? B: Ja. Würde ich so sagen. Ich bin stolz darauf. I:
Und nach welchen Kriterien? B: Einmal dass anhand der Zugriffszahlen und wenn man hört,
und
ionelle Inhalte profitieren in hohem Maße, tragen aber auch
gezogen und man freut sich sehr, wenn man
Projekte verzichten in
uss man eigentlich unbedingt einplanen, dass man erstmal einen Prototyp macht und dann wird evaluiert und dann erst weiter arbeitet“.
wenn andere Leute sich darüber unterhalten und nicht wissen, dass ich dahinter stecke.“
Feedback spielt in allen Projekten in verschiedenen Bereichen (Design, Technik, Inhalt) eine Rolle und wird über verschiedene Kanäle empfangen, zum Beispiel Weblogs, Kontaktformulare und persönliche E-Mails an die Entwickler. Das Ausmaß der Nutzung begründet zudem die Reputation des Angebots. Eintragungen in Katalogen und Weiterempfehlungen in Foren Webmagazinen tragen zum Bekanntheitsgrad bei. Solche Verweise und Rezensionen dienen als Multiplikator des Inhaltsangebots.
„Verweisserver ohne eigene redakt zur Verbreitung unserer Materialien bei.“
Da sie öffentlich für jeden online zugänglich sind, bieten Portale ein exponiertes Arbeitsumfeld.
Im Laufe der Zeit entwickelt ein Angebot dabei einen Markenwert. Sie können gezielt genutzt werden, um Kontakte zu knüpfen.
„Dieses Projekt das ist so das habe ich quasi groß
jetzt auf Fortbildung oder Weiterbildung geht und die Leute darüber sprechen […]. Wenn man sieht, dass es akzeptiert ist […] das motiviert sehr, daran weiter zu arbeiten. Das ist so ein bisschen Egostreichelei.“
[„…] dass man sich, relativ viel bewegen kann, also auch mit vielen wichtigen Persönlichkeiten und Akteuren […] zu tun hat und da eben entsprechend viele Möglichkeiten hat, spannende Sachen zu tun.“
„Wir haben keine repräsentative Umfragen oder so was gemacht. Das haben wir nicht gemacht.
Das ist auch was, was ich heute machen würde.“
„Wenn wir noch mal so ein Projekt machen könnten, dann würden wir da sicherlich anders
ine empirisch belegte Zielgruppe in die Konzeption mit einzubeziehen. Stattdessen versuchen die Anbieter, sich die Nutzer und deren Bedürfnisse
ermeiden. Ob dieses Vorgehen viel versprechend ist,
er nicht irgendein Bild von irgendwelchen Benutzern im Kopf.
.“
mals doch sehr viel vorgenommen hatten. Gerade von den Inhalten her, dass wir dafür dann nicht die Zeit hatten“
„Aber das was wir gemacht haben ist finde ich auch die spannendere Hälfte von diesem ganzen vorgehen. Dass wir das mit Testpersonen ausprobieren usw.“
„Am wichtigsten ist die Evaluation, die bei uns komplett gefehlt hat. Ich meine, die Evaluation ist halt super wichtig. Du kannst im Prinzip so ein Portal nicht aufbauen, und dabei die User im Blick haben, wenn du sie nicht befragst ob das und das sinnvoll ist oder nicht.“
Durchgängig wird darauf verzichtet, e
vorzustellen. Andere Projekte wollen für „eigentlich alle inhaltlich Interessierten“ entwickeln und versuchen, ein konkretes Nutzerbild zu v
ist zumindest fraglich. Oftmals wird in Ermangelung expliziter Adressatenspezifizierung mit impliziten Zuschreibungen gearbeitet.
„Man hat halt immer ob man will od
Und das meinte ich auch eben mit der teilweise fehlenden Professionalität. Wir haben es bei diesem Bild dann belassen. Also ich denke, sinnvoll ist es eigentlich, diesem Bild noch ein zweites gegenüber zu stellen, nämlich irgendwie eines was man vielleicht aus Umfragen sich zusammen bastelt oder so
Begründungen dafür, keine Evaluation durchzuführen, liegen in zeitlichen und personellen Engpässen.
„Weil wir uns da
„Und da jetzt irgendwie Studien oder Evaluation durchzuführen, haben wir auch jetzt nicht die Ressourcen.“
Neben organisatorischen Hindernissen ist auch das Bild der Evaluation nicht durchweg positiv.
Evaluation wird nicht als Bestandteil des Entwicklungsprozesses gesehen, sondern als der eigentlichen Konzeption „aufgepropft“.
Kram. Also sich in die Leute hineinzuversetzen, finde ich auf jeden Fall spannender als halt erst
tausend Umfragen zu machen, um rauszufinden wie die denn eigentlich wirklich aussehen.
(Lacht)“.
Zudem besteht Unklarheit darüber was eine „richtige Evaluation“ ausmacht. So ergab sich in mehreren Projekten durch Nachhaken, dass durchaus Online-Umfragen durchgeführt wurden,
länger her, aber
Seite hat. Die wird also nicht die notwendigen über ich
n beispielsweise.
, warum die Nutzer auf die Seite kommen und für welche Inhalte sie sich
wicklung des Fragebogens wird dabei oft nach Außen vergeben, in Kooperation durchgeführt oder als eine zeitlich begrenzte Aufgabe
as eine spannende Geschichte. [...]“
dieses Instrument aber nicht als valide angesehen wird. Zum Teil gilt die gleiche Skepsis gegenüber Logfile-Analysen.
„Wir hatten mal so ne Umfrage auf der Seite vor einiger Zeit schon, ist schon
die war weder repräsentativ noch sonst irgendwie zu irgendwas zu gebrauchen. Also da haben sich ein paar Hundert beteiligt. Aber wie gesagt weder repräsentativ noch auf einer sicheren Datenbasis, das ist einfach nicht.“
„Interessant wäre für uns natürlich schon, wenn es eine wirkliche repräsentative Umfrage wäre.
Die Dame die damit Ihre Diplomarbeit schreibt, die wird das zeitlich nicht schaffen, weil die nur noch bis Ende September das auf der
glaube wie viele brauch man - Hundert pro Zielgruppe, die wird sie nicht erreichen.“
B: Nee, das machen wir schon regelmäßig, aber die sind jetzt nicht repräsentativ. Also wir können also ungefähr gucken, wie viel Besucher wir haben aber das ist jetzt natürlich nicht vergleichbar mit den offiziellen IVW [Informationsgemeinschaft zur Feststellung der Verbreitung von Werbeträgern e. V.] Zahle
Neben Logfile-Analysen sind Online-Umfragen das beliebteste Evaluationsinstrument. Umfragen sollen zeigen
interessieren. Außerdem ist die Rechtfertigung gegenüber potentiellen Mittelgebern ein Motiv, Nutzerbefragungen durchzuführen. Die Ent
temporärer Mitarbeiter angesehen. Andere Instrumente werden dagegen als zu aufwändig eingeschätzt.
„Also diese laufende Umfrage ist ein bisschen ein Glücksfall, weil es kam eine Frau die ihre Diplomarbeit schreibt, und gefragt hat ob wir nicht interessiert wären, dass sie in diesem Kontext eine Evaluation macht und für uns war d
"Es gab dann Praktikanten deren zentrale Aufgabe war es einen Online-Fragebogen zu entwickeln […] weiter gehende ausführlichere Panels oder eben dann Interviews zu führen,
Leute direkt anzusprechen, auszufiltern das ganze noch in die Tiefe zu entwickeln, da haben wir schlicht einfach nicht die Ressourcen dafür."
ei zuvorderst eine nach Außen gerichtete Funktion. Sie dienen als
konkrete Auswirkungen? Also dass zum Beispiel ... B: Nein."
bestimmter Angebote. Die Suchworte in den Datenbankabfragen, aber auch die Google-Suchbegriffe werten
was andere Plattformen anbieten, kann als Ideengeber für die Übernahme bestimmter Funktionen oder Themen dienen. („was können wir
rk umbauen würde, wir sind eher der Ansicht, dass wir jetzt eine Form und einen
che uns selbst zu schaffen und im Zweifel auch weiter auszubauen, wenn wir das für notwendig halten.
besten Informationen zum Thema finden. Alles was es sonst so gibt, ist entweder sehr speziell,
„Klar hatten wir gehofft, (lacht) dass es eine wirkliche repräsentative Umfrage wird, weil das für uns natürlich auch die Möglichkeit wäre, eventuell wieder neue Geldgeber zu finden.“
Logfile-Daten werden von allen befragten Projekten in regelmäßigen Zeitabständen analysiert.
Die Zugriffszahlen haben dab
Ausweis der Akzeptanz des Angebots. Gleichzeitig motivieren steigende Zugriffszahlen die Betreiber selbst. Nur in wenigen Projekten wird von Konsequenzen auf die Inhaltsentwicklung berichtet.
„I: Hat Logfileanalyse irgendwelche
„I: Haben die Logfile-Daten Konsequenzen auf die redaktionelle Arbeit, oder? B: Sagen wir mal jein. Also ich versuche schon, die Redaktion in eine gewisse Richtung dann zu bringen.“
„Wir werten kontinuierlich unsere Logfiles aus im Hinblick auf Nutzungshäufigkeit
wir aus um Anhaltspunkte zu Bedarfen oder Änderungsbedarfen zu erhalten.“
Viele Projekte führen zudem ein mehr oder weniger systematisches Monitoring von Vergleichsangeboten durch. Zu beobachten,
davon bei uns integrieren?“) oder genutzt werden, um die Alleinstellungsmerkmale des Portals vor der Folie von Vergleichsangeboten zu kontrastieren.
I: Und beobachten Sie die Entwicklung von anderen Portalen? Also von vergleichbaren Angeboten?
B: Ja wir schon, [...] aber es ist nicht so dass man jetzt die eigene Strategie aufgrund der Konkurrenz sta
Inhalt gefunden haben der für uns gut ist, der gut funktioniert und den wir weiter entwickeln wollen und wir haben die Augen schon offen, vielleicht sogar stärker noch in das Ausland, als innerhalb Deutschlands und versuchen dann da entsprechend unsere Nis
„Und man sieht ja, […] dass die Seite eigentlich immer noch das Portal ist, auf dem die Leute die
[…] oder da findest du auch keine weiteren Informationen über die Hintergründe. Sondern eben nur die aktuellen Schlagzeilen. Da ist ja auch eine ganz andere Konzeption dahinter. Die wollen
valuation in die Nutzerfreundlichkeit des Angebotes umzumünzen, erweist sich entsprechend als zeitaufwändige Interpretation, bei dem ein Nutzerbild rekonstruiert werden
barkeit der Ergebnisse nicht immer
ie Qualität faktisch zu verbessern.
flussen zu ja Nachrichten oder Informationen für Industrien zusammenstellen und werden da ja auch entsprechend gesponsert von den Firmen."
Je nach Rahmenbedingungen des Portalprojekts ergeben sich unterschiedliche Schwierigkeiten mit dem Konzept der Evaluation. Große, ressourcen- und personalstarke Projekte benötigen in der Hauptsache Methoden, die Evaluation und Entwicklungsprozess mit einander verzahnen.
Allzu oft ergeben die erhobenen Daten kein konsistentes, eindeutiges Bild. Die Rückmeldungen aus der E
muss. Vielfach ergeben die Evaluationsdaten erst auf den zweiten Blick Sinn. Bei genauerem Hinsehen wird deutlich, worin das Problem der Nutzer besteht und die wie es behoben werden kann.
"Gerade wenn’s um so Sachen geht wie Usability, das ist halt nicht so schnell gehackt wie ein neues Feature. Das geht irgendwie schnell, aber wenn man sagt "das Posten ist so kompliziert"
dann, dann muss man wirklich diskutieren und anfangen zu überlegen."
„Es wurde gesagt, die Seite ist nicht sehr aktuell, was nicht zutraf, aber man hat halt die Aktualität nicht gesehen. Daraus haben wir halt die Konsequenz gezogen, die Homepage entsprechend umzugestalten und in diesem Bereich Neuigkeiten einzurichten, das ist ein Resultat aus dieser Nutzerstudie.“
Gerade bei einer externen Evaluation ist die Umsetz
gewährleistet. Pauschalaussagen und quantitative Kennzahlen erweisen sich nicht immer als hilfreich, um d
"Manche Sachen wurden wirklich umgesetzt, also da haben wir Änderungen genommen, aber viele Sachen gingen halt wirklich ums Layout, da stand das Layout ist hässlich, da wussten wir nicht wie wir’s besser machen sollten. [...]"
Viele kleinere, insbesondere ehrenamtlich geführte Projekte sehen Evaluation von zentraler Bedeutung für das Design digitaler Informationsumgebungen an und wünschen sich eine gezielte Datenerhebung, um die Qualität eines Designs im Entwicklungsprozess beein
können. Hier ist der gute Wille zwar vorhanden, die Durchführung scheitert aber oft an mangelnden Ressourcen und der Vorstellung, dass nur mit großem Aufwand und durch
professionelle Evaluatoren sinnvolle Daten zu erheben sind. Solche Projekte benötigen handhabbare, niedrigschwellige Instrumente.