Forschungsprogramm
Zukunft Bau, ein Forschungsprogramm des Bundesministeriums des Innern, für Bau und Heimat
Projektlaufzeit
Januar 2019 bis August 2019 Aktenzeichen
10.08.17.7-18.61 Im Auftrag
des Bundesinstituts für Bau-, Stadt- und Raumforschung (BBSR) im Bundesamt für Bauwesen und Raumordnung (BBR)
Bearbeitet von ee concept GmbH
Spreestraße 3, 64295 Darmstadt
Amani Badr, M.F.A. Architektin, DGNB Auditorin, Energieberaterin Susanne Arnoldi, M.Sc. Wirtschaftsingenieurin Bau, DGNB RP
INHALT
KURZFASSUNG 5
EINFÜHRUNG 7
A PROJEKTORGANISATION 8
A.1 Projektbeteiligte ... 8
A.2 Projektstruktur ... 8
A.3 Projektablauf- und Zeitplan... 9
A.4 Projektdokumentation ... 9
B EVALUATIONSKONZEPT 10
B.1 Fokus der Evaluation ... 11B.1.1 Evaluationszweck ... 11
B.1.2 Evaluationsgegenstand ... 11
B.1.3 Wirkungsmodell des Evaluationsgegenstandes ... 13
B.1.4 Evaluationsform ... 15
B.1.5 Evaluationsfragen ... 16
B.2 Zielgruppen ... 20
B.3 Erhebungsinstrumente ... 21
B.4 Prozess und Methodik ... 24
B.4.1 Planung der Datenerhebung ... 24
B.4.2 Durchführung der Datenerhebung ... 33
B.4.3 Datenaufbereitung und -auswertung ... 34
B.4.4 Darstellung der Ergebnisse ... 35
B.5 Organisation ... 36
B.5.1 Verantwortlichkeiten und Rollen ... 36
B.5.2 Feldzugang ... 38
B.5.3 Leistungen ... 39
B.5.4 Ablauf- und Zeitplan ... 40
B.5.5 Kosten ... 44
C VALORISIERUNG 45
C.1 Berichterstattung / Produkte ... 46 C.2 Verbreitung und Nutzbarmachung der Ergebnisse und Erkenntnisse ... 47
D ERGEBNISSE UND AUSBLICK 48
E LITERATURVERZEICHNIS 49
F ANHANG 51
Anlage 1: Organe der Bundesregierung für nachhaltige Entwicklung ... 52 Anlage 2: Übersicht Politische Zielsetzungen ... 53 Anlage 3: Evaluationsfragen, Zielgruppen und Erhebungsinstrumente ... 61
Redaktioneller Hinweis:
Im Interesse der Lesbarkeit werden Begriffe wie Architekt, Bauherr usw. zur allgemeinen Bezeichnung von Personen mit bestimmten Funktionen verwendet. Sie beziehen sich grundsätzlich auf alle Geschlechter.
KURZFASSUNG
Ausgangslage
Mit der verpflichtenden Anwendung des Bewertungssystems Nachhaltiges Bauen ist das nachhaltige Bauen selbstverständlicher Teil in der Planung und Ausführung für alle im Auftrag des Bundes entstehenden, um- zubauenden oder zu modernisierenden Gebäude geworden. Dafür werden die einzelnen Systemvarianten seit Einführung der Variante BNB_BN_2009 unter Anpassung an die normativen und baurechtlichen Erfor- dernisse sowie in Reaktion auf die differenzierten Bauaufgaben des Bundes stetig weiterentwickelt und fort- geschrieben. Die mittlerweile eingeführten und zur Verfügung stehenden Systemvarianten und deren Module wurden anhand einer repräsentativen Anzahl abgeschlossener Baumaßnahmen angewandt. Nun soll eine erste Bilanz gezogen werden.
Ziel
Ziel des Forschungsprojektes ist die Ausarbeitung eines Evaluationskonzeptes zur Prüfung der Wirksamkeit des Bewertungssystems Nachhaltiges Bauen als eingeführtes Qualitätssicherungstool für das Planen, Bauen, Nutzen und Betreiben von Gebäuden. Berücksichtigt werden sollen hierbei einerseits die Umsetzung der be- stehenden übergeordneten politischen Zielsetzungen und andererseits die sich für den Baubereich ergeben- den Einzelzielsetzungen. In die Evaluation sollen verschiedene Akteure des Bauwesens miteinbezogen werden.
Konzept
Im zu erarbeitenden Konzept sind zwei Formen der Evaluation zu berücksichtigen: eine ergebnisorientierte Evaluation, in der die Auswirkung des Leitfadens Nachhaltiges Bauen und des Bewertungssystems Nachhalti- ges Bauen auf die Qualität der Gebäude im Fokus steht, und eine prozessorientierte Evaluation, in der die Anwendung des BNB und seine Etablierung in den Bauverwaltungen und Planungsteams untersucht werden sollen. Die im Rahmen des Forschungsprojektes erarbeiteten Inhalte münden in ein Musterpflichtenheft, das die Grundlage für die Ausschreibung und Umsetzung der Evaluation darstellt.
Ergebnisse
Im Rahmen dieses Forschungsprojektes wurde ein Konzept für die geplante Evaluation des Bewertungssys- tems Nachhaltiges Bauen entwickelt. Dieses Konzept beinhaltet die Grobplanung der Evaluation sowie die Beschreibung einer Methodik für die detaillierte Planung, Durchführung und Verwertung der Evaluation. Ab- schließend werden Überlegungen zur Valorisierung getroffen.
Im ersten Teil des Forschungsprojektes erfolgt eine intensive Auseinandersetzung mit den Themenfeldern und Fragestellungen der Evaluation. In einem weiteren Schritt werden Zielgruppen für die Befragung definiert und geeignete Erhebungsinstrumente festgelegt. Den einzelnen Leitfragen werden jeweils Bewertungsindika- toren, Erhebungsinstrumente und Zielgruppen zugeordnet. Aus dieser Zusammenstellung werden Art und An- zahl der erforderlichen Instrumente sowie die jeweiligen Befragungsgruppen und Inhalte abgeleitet und kon- krete Arbeitspakete für das geplante Folgeprojekt der Evaluation zusammengestellt. Als Grundlage für die Ausschreibung dieses Projektes wird ein Musterpflichtenheft erarbeitet, in dem alle Leistungsbausteine der Evaluation aufgeführt sind. Jedem Leistungsbaustein werden Leistungserbringer, Bearbeitungsdauer, Bear- beitungszeitraum, Kosten sowie eine Prioritätsstufe zugeordnet. Dieses Pflichtenheft dient gleichzeitig als Leitfaden für die Durchführung der Evaluation. Zur Darstellung der Reihenfolge sowie der zeitlichen Abhän- gigkeiten der zu erbringenden Leistungen wurde ein grober Ablauf- und Zeitplan erstellt.
EINFÜHRUNG
Mit dem Leitfaden Nachhaltiges Bauen (LFNB) und dem ergänzenden Bewertungssystem Nachhaltiges Bauen (BNB) wurden zwei maßgebliche Werkzeuge geschaffen, um das Leitbild der Nachhaltigkeit in der Baubranche zu verankern. Durch die seit 2013 verpflichtende Anwendung bei Baumaßnahmen des Bundes hat das BNB das Potenzial, das nachhaltige Bauen signifikant voranzutreiben. In der Zwischenzeit sind einige Gebäude, die nach dem BNB geplant und bewertet wurden, bereits fertiggestellt bzw. im Betrieb. Auch auf Landesebene wurde das System mittlerweile in einigen Bundesländern eingeführt. Zehn Jahre nach der Ent- wicklung des BNB soll eine erste Bilanz gezogen werden.
Zur Prüfung der Wirksamkeit des Leitfadens Nachhaltiges Bauen und des Bewertungssystems Nachhaltiges Bauen als Qualitätssicherungstool ist eine umfassende Evaluation auf wissenschaftlicher Basis vorgesehen.
Berücksichtigt werden sollen hierbei sowohl die politische Ebene als auch die Gebäude- bzw. Projektebene.
Die Evaluation soll im Rahmen eines Folgeprojektes von einem externen Experten durchgeführt werden. In die Befragungen sollen Akteure aus verschiedenen Bereichen des Bauwesens miteinbezogen werden. Aus den Ergebnissen der Evaluation sollen Handlungsempfehlungen abgeleitet werden.
Im Rahmen des Forschungsprojektes „Erstellung eines Evaluationskonzeptes für das Bewertungssystem Nachhaltiges Bauen (BNB)“ ist ein Konzept zu erstellen, das eine zielgerichtete Durchführung der oben be- schriebenen Evaluation ermöglicht. Aufgabe des Forschungsnehmers ist die detaillierte Ausarbeitung des Evaluationsgegenstandes und der zu behandelnden Fragestellungen sowie die Entwicklung einer adäquaten Form und Methodik für die Evaluation. Ebenso sind Verantwortlichkeiten und Rollen zu definieren und Vor- schläge für die Valorisierung zu erarbeiten. Abschließend sollen konkrete Leistungen für den künftigen For- schungsnehmer formuliert und der zeitliche und personelle Aufwand für die Durchführung dieser Leistungen ermittelt werden. Diese finale Aufstellung dient als Grundlage für die anschließende Ausschreibung und Um- setzung der Evaluation.
A PROJEKTORGANISATION
Im Teil A werden die organisatorischen Aspekte des Forschungsprojektes „Erstellung eines Evaluationskon- zeptes für das Bewertungssystem Nachhaltiges Bauen (BNB)“ vorgestellt.
A.1 Projektbeteiligte
An dem Forschungsprojekt waren folgende Institutionen beteiligt:
• die ee concept GmbH als Forschungsnehmer, vertreten durch Frau Amani Badr und Frau Susanne Arnoldi: der Forschungsnehmer ist zuständig für die Koordination und inhaltliche Leitung des Projektes so- wie die Erstellung des Evaluationskonzeptes
• das Bundesinstitut für Bau-, Stadt- und Raumforschung (BBSR) als Auftraggeber und Systementwick- ler, vertreten durch Herrn Nicolas Kerz und Herrn Andreas Rietz: das BBSR begleitet das Projekt und stellt sicher, dass die Ziele und Interessen der Bundesressorts und der untergeordneten Institutionen im Projekt berücksichtigt werden.
• das Bundesministerium des Innern, für Bau und Heimat (BMI) als entscheidungstragendes Organ, ver- treten durch Frau Christine Neuhoff und Herrn Mathias Oliva y Hausmann: das BMI stellt sicher, dass die Ziele und Interessen im Projekt berücksichtigt werden.
Zur methodischen Unterstützung hat der Forschungsnehmer Frau Anke Metzler vom Institut für Soziologie der TU Darmstadt beratend hinzugezogen.
A.2 Projektstruktur
Das Forschungsprojekt ist in vier Arbeitspakete unterteilt. Die Inhalte der einzelnen Arbeitspakete wurden je- weils in einer Besprechung mit Vertretern des BBSR und des BMI abgestimmt.
Arbeitspaket 1: Projektstart / Recherche / Grundlagenermittlung / Grobkonzept Erarbeitung eines Grobkonzeptes
• Konkretisierung des Fokus der Evaluation
• Entwicklung von Vorschlägen zur Planung und Methodik
• Entwicklung von Vorschlägen zur Organisation Arbeitspaket 2: Projektausarbeitung
Vertiefung des Konzeptes
• Finalisierung des Fokus der Evaluation
• Ausarbeitung der Planung und Methodik
• Detaillierung der Organisation
• Entwicklung von Vorschlägen zur Valorisierung
• Konzeption und Abstimmung des Musterpflichtenheftes
Arbeitspaket 3: Projektfertigstellung Detaillierung des Konzeptes
• Überarbeitung und Finalisierung des Konzeptes
• Ausarbeitung des Musterpflichtenheftes
• Erstellung eines Entwurfes für den Endbericht Arbeitspaket 4: Projektabschluss
• Erstellung der finalen Fassung des Endberichtes
A.3 Projektablauf- und Zeitplan
Die Bearbeitung des Projektes erfolgte im Zeitraum von Januar bis August 2019.
Nr. Arbeitsschritt 2019
KW 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 … 32 33 34 1 Arbeitspaket 1: Projektstart / Recherche / Grundlagenermittlung / Grobkonzept
1.1 Konkretisierung Ablauf- und Zeitplan
1.2 Erarbeitung Grobkonzept 1.3 Auftaktbesprechung X 1.4 Erstellung Internetbeitrag 1.5 1. Zwischenbericht
2 Arbeitspaket 2: Projektausarbeitung 2.1 Vertiefung Konzept
2.2 Zwischenbesprechung X
2.3 2. Zwischenbericht
3 Arbeitspaket 3: Projektfertigstellung 3.1 Detaillierung und Finali-
sierung Konzept, Muster- pflichtenheft
3.2 Abschlussbesprechung X
3.3 Entwurf Endbericht
4 Arbeitspaket 4: Projektabschluss 4.1 Endbericht
Tabelle 1: Projektablauf- und Zeitplan des Forschungsprojektes „Erstellung eines Evaluationskonzeptes für das Bewertungssystem Nachhaltiges Bauen (BNB)“ (ee concept GmbH)
A.4 Projektdokumentation
Am Ende jedes Arbeitspaketes wurde ein Bericht erstellt, in dem der aktuelle Stand dokumentiert wurde. Die Ergebnisse der Besprechungen sind jeweils in die Berichte eingeflossen. Der vorliegende Bericht stellt die finale Dokumentation des Forschungsprojektes dar.
B EVALUATIONSKONZEPT
Zu Beginn des Evaluationsprozesses steht die Erstellung eines Konzeptes, in dem eine vertiefte Auseinander- setzung mit dem Evaluationsgegenstand erfolgt und eine Vorgehensweise für die Umsetzung der Evaluation festgelegt wird. Generell ist der Evaluationsprozess in drei Ablaufphasen unterteilt: eine Planungsphase, eine Durchführungsphase und eine Verwertungsphase. Jede dieser Phasen besteht aus mehreren Schritten (siehe Abbildung 1). Gegenstand dieses Forschungsvorhabens ist die Grobplanung der Evaluation (Schritte 1 bis 4) bzw. die Erstellung eines Konzeptes für den gesamten Prozess. Die Feinplanung, Durchführung und
Verwertung der Evaluation (Schritte 5 bis 11) erfolgen in einem separaten Projekt – nachstehend
„Folgeprojekt Evaluation BNB“ genannt.
Abbildung 1: Phasen und Schritte des Evaluationsprozesses (ee concept GmbH nach © ArtSet® Forschung Bildung Beratung GmbH, www.qualitaets-portal.de)
Am Anfang der Planung werden Zweck und Gegenstand der Evaluation definiert. Anschließend werden Frage- stellungen formuliert und Bewertungsindikatoren entwickelt, um die Informationen messbar zu machen. Ebenso werden im Rahmen der Konzepterstellung für die einzelnen Forschungsfragen Zielgruppen sowie geeignete Me- thoden und Instrumente zur Datenerhebung festgelegt. Die Auswahl der konkreten Adressaten und die Entwick- lung der Erhebungsinstrumente erfolgt im Rahmen des Folgeprojektes. Danach beginnt die Phase der Daten- erhebung unter Beteiligung der definierten Befragungsgruppen. Die ermittelten Daten werden vom Forschungs- nehmer aufbereitet und ausgewertet. Die Ergebnisse werden anschaulich dargestellt und Handlungsempfehlun- gen daraus abgeleitet. Zum Abschluss werden die Ergebnisse an die einzelnen Zielgruppen kommuniziert.
Im vorliegenden Bericht werden die einzelnen Schritte des Evaluationsprozesses beleuchtet. Die Abschnitte B.1 bis B.3 befassen sich mit den Planungsschritten 1 bis 4, die im Rahmen dieses Forschungsprojektes bearbeitet werden. In den Abschnitten B.4 und C werden die Schritte 5 bis 11, die im Rahmen des Folge- projektes Evaluation BNB umgesetzt werden, erläutert. Der Abschnitt B.5 befasst sich mit organisatorischen Aspekten der Evaluation. Das gesamte Konzept ist als Vorschlag zu verstehen, der vom Forschungsnehmer des Folgeprojektes angepasst bzw. ergänzt werden kann.
B.1 Fokus der Evaluation
Für eine zielgerichtete Durchführung der Evaluation müssen Zweck und Gegenstand der Evaluation klar defi- niert sein. Diese werden im Abschnitt B.1.1 und B.1.2 thematisiert. Unterstützend wurde ein Wirkungsmodell (siehe S.13) erstellt, welches die Hintergründe und das Umfeld des Betrachtungsgegenstandes BNB konkreti- siert. Darauf aufbauend werden die Evaluationsform und die entwickelten Leitfragen vorgestellt.
B.1.1 Evaluationszweck
Grundsätzlich kann eine Evaluation unterschiedlichen Zwecken dienen: der Erkenntnis, Kontrolle, Legitima- tion oder der Weiterentwicklung. Im Rahmen der geplanten Evaluation werden alle vorangegangenen Zwecke verfolgt; vorrangig dient dieses Evaluationsvorhaben jedoch der Legitimation und der Weiterentwicklung. Mit der Evaluation wird bezweckt, eine Statusbestimmung über die Wirksamkeit der BNB-Zertifizierung zu erhal- ten und Optimierungsvorschläge für Weiterentwicklungsprozesse zu erarbeiten.
Für den Nutzen der Evaluation ist die Verwertbarkeit der Evaluationsergebnisse von essentieller Bedeutung.
Daher wird bereits zu Planungsbeginn die Ergebnisnutzung antizipiert, um den gesamten Evaluationsprozess auf die geplante Nutzung hin zu fokussieren. Im Einzelnen werden folgende Ergebnisse beabsichtigt:
• Generierung von Informationen und Statistiken zum aktuellen Sachstand BNB
• Ermittlung und Hervorhebung der durch das BNB erreichten Verbesserungen und Erfolge
• Identifikation von Schwachstellen im BNB und möglichen Lösungsansätzen
• Schaffung einer Grundlage für politische Entscheidungen, um das nachhaltige Bauen und die Anwendung des BNB voranzutreiben
• Ableitung von Handlungsempfehlungen für die Weiterentwicklung des Systems und dessen Anwendung
B.1.2 Evaluationsgegenstand
Im Rahmen der Evaluation soll ermittelt werden, welche Verbesserungen durch das BNB im Bereich des nachhaltigen Bauens erreicht wurden und wie das System in der Anwendung funktioniert. Gegenstand der Evaluation sind somit einerseits die durch die Einführung des BNB erzielten Ergebnisse (Ergebnisevaluation) und andererseits die mit der Anwendung des BNB im Zusammenhang stehenden Prozesse (Prozessevalua- tion).
In der Evaluation soll sowohl die politische Ebene als auch die Gebäude- bzw. Projektebene betrachtet wer- den. Im Fokus der Untersuchung auf Gebäudeebene stehen Bundesbauten, es können jedoch auch andere Gebäude (Landesbauten, kommunale Bauten, Zuwendungsbauten etc.) herangezogen werden, die nach BNB zertifiziert wurden bzw. werden und die idealerweise bereits im Betrieb oder in einer fortgeschrittenen Leis- tungsphase sind. Die Evaluation erfolgt anhand von Projektdaten sowie Rückmeldungen verschiedener Ak- teure, die auf den unterschiedlichen Ebenen in die Zertifizierung involviert sind. Die Themenfelder, die im Rahmen der Evaluation behandelt werden sollen, sind in Abbildung 2 dargestellt – unterteilt in die Kategorien
„Ergebnisevaluation“ und „Prozessevaluation“. Nicht alle Themenfelder lassen sich eindeutig einer Kategorie zuordnen, beispielsweise tangiert das Thema „Systemverbreitung“ auch die Prozessevaluation, andererseits fällt das Thema „Auswirkung auf die Planung“ teilweise auch in die Ergebnisevaluation.
Abbildung 2: Themenfelder der Evaluation (ee concept GmbH)
An dieser Stelle soll noch einmal näher auf den baupolitischen Auftrag des Bundes eingegangen werden. Als öffentlicher Bauherr trägt der Bund eine besondere baukulturelle Verantwortung. Seine Bauten sollen eine Vorbildfunktion einnehmen. Der Bund verfolgt eine Reihe baupolitischer Ziele, die sich in diesen Bauten wi- derspiegeln sollen. Zentrales Ziel ist die Ausrichtung der Bundesgebäude an den Nachhaltigkeitsforderungen des Leitfadens Nachhaltiges Bauen. Diese umfassen die Einzelaspekte Funktionsgerechtigkeit, Sicherheit und Wirtschaftlichkeit, Qualität und Gestaltkraft der Architektur, den Einsatz innovativer Baustoffe, Techniken und Verfahren, den Denkmalschutz, die städtebauliche Integration am Standort und Kunst am Bau. Eine de- taillierte Zusammenstellung der politischen Nachhaltigkeitsziele befindet sich in Anlage 2. Mit dem LFNB gibt der Bund ein spezifisches Anforderungsprofil für die nachhaltige Planung, den Bau und Betrieb von Gebäu- den vor, das sich an diesen Schutzzielen orientiert (vgl. BMI (Hrsg.) 2019). Das ergänzende Bewertungssys- tem Nachhaltiges Bauen ermöglicht eine systematische Beurteilung und Vergleichbarkeit der Nachhaltigkeits- qualitäten von Gebäuden. Es dient als Planungs- bzw. Orientierungshilfe, Steuerungsinstrument, Qualitätssi- cherungs- und Kontrollinstrument sowie als Kommunikationsinstrument. Die Anwendung des BNB soll dazu beitragen, die baupolitischen Ziele des Bundes zu erreichen.
Die beabsichtigte Wirkung der Zertifizierung nach BNB ist die Etablierung eines Nachhaltigkeitsstandards in der Bauwirtschaft. Herausforderung der Evaluation ist, dass eine solche Wirkung nicht ohne Weiteres messbar ist und für eine Analyse Indikatoren definiert werden müssen. Direkte Indikatoren lassen sich unmittelbar ablesen, wie beispielsweise die Anzahl von BNB-zertifizierten Gebäuden in den vergangenen zehn Jahren. Indirekte Indikatoren weisen nur mittelbar auf einen zu beobachtenden Sachverhalt hin, beispielsweise der Zuwachs am Markt angebotener schadstoffarmer Produkte. Um Anhaltspunkte für die Bestimmung direkter und indirekter Indikatoren zu finden, empfiehlt sich die Aufstellung eines Wirkungs- modells des Evaluationsgegenstandes.
B.1.3 Wirkungsmodell des Evaluationsgegenstandes
Ein Wirkungsmodell dient als Grundlage für die Planung und Umsetzung der Evaluation. Es bringt Maßnah- men und gewünschte Wirkungen in einen systemischen Zusammenhang (vgl. Gesundheitsförderung Schweiz 2014: 2). In Abbildung 3 ist die schematische Darstellung für den Evaluationsgegenstand BNB abgebildet.
Abbildung 3: Wirkungsmodell der BNB-Zertifizierung (ee concept GmbH nach Eidgenössisches Departement des Innern EDI, Bundesamt für Gesundheit BAG)
In dem Wirkungsmodell wird davon ausgegangen, dass das Leitziel und damit die gewünschte Wirkung von BNB ist, nachhaltiges Bauen in der Praxis als neuen Standard zu etablieren (siehe rechts in der Abbildung 3 als Impact bezeichnet). Daher steht am Anfang des Wirkungsmodells der Leitgedanke, dass die politischen Zielsetzungen, insbesondere die gesetzten Nachhaltigkeitsziele, erreicht werden. Im Umsetzungsprozess übernimmt der Bund die Vorbildrolle und verpflichtet sich zum Mindeststandard BNB Silber. Darüber hinaus wird unter Berücksichtigung der Wirtschaftlichkeit für ausgewählte Baumaßnahmen der Goldstandard ange- strebt. Das klare Signal der Selbstverpflichtung zu einem Qualitätssicherungstool schafft zudem Transparenz.
Anhand der BNB-Zertifizierung kann kriterienscharf ausgewertet werden, in welchem Maß die Qualitäten er- füllt werden. Die Output-Ebene eignet sich, um direkte Indikatoren für die Evaluation zu ermitteln. Für die Out- come- und Impact-Ebene müssen indirekte Indikatoren ermittelt und festgelegt werden. Dafür ist zu
beschreiben, von welchen Wirkungszusammenhängen ausgegangen wird.
In der Evaluation ist zu untersuchen, inwieweit das BNB als Instrument zur Qualitätssicherung bzw. Kontrolle der Umsetzung der gesetzten Nachhaltigkeitsziele dient. Zudem ist zu klären, ob qualitätsstiftende Kriterien vollumfänglich im BNB thematisiert werden. Bei der Erstellung des Systems wurde der Kriterienkatalog in die drei Säulen Ökologie, Ökonomie und soziokulturelle Qualität sowie die beiden Querschnittssäulen Prozess und Technik gegliedert. Bisher fließt die Standortqualität bewusst nicht in die Bewertung ein. Neben der Frage, ob die bestehende Gliederung noch zeitgemäß ist, sollte geprüft werden, ob qualitätsstiftende Aspekte bisher unberücksichtigt bleiben.
In der Bewertung der Qualitäten zueinander sind die ökologische, ökonomische, soziokulturelle und techni- sche Qualität gleichgewichtet. Die Prozessqualität geht mit einer niedrigeren Gewichtung in die Bewertung ein. Im Rahmen der Evaluation ist diese Gewichtung kritisch zu hinterfragen. Innerhalb der Qualitäten gibt es eine unterschiedliche Anzahl an Kriterien, bspw. enthält die ökonomische Qualität nur drei Kriterien, während die soziokulturelle Qualität in dreizehn Kriterien unterteilt ist. Dadurch werden einige Kriterien im System stär- ker gewichtet als andere. Die Gewichtung ist vom Systementwickler in Abhängigkeit der Relevanz der Krite- rien erfolgt. Auch diese Gewichtung ist kritisch zu prüfen.
In den einzelnen Kriterien sind die Anforderungen und die jeweilige Nachweismethodik vorgegeben. Als Grundlage für eine objektive Bewertung müssen diese Kriterien auf nachvollziehbaren und eindeutigen Be- wertungsmethoden aufbauen und eindeutige Messvorschriften beinhalten. Darüber hinaus sind die Praktikabi- lität der Nachweismethodik und Systemflexibilität sicherzustellen. Eine Überprüfung der Kriterien hinsichtlich der genannten Aspekte ist für die Weiterentwicklung der BNB-Zertifizierung erforderlich.
In Abbildung 4 sind die verschiedenen Ebenen der Systembetrachtung noch einmal übersichtlich dargestellt.
Abbildung 4: Ebenen der Systembetrachtung von einer grundlegenden bis zu einer differenzierten Betrachtung (ee concept GmbH)
Wenn das Wirkungsmodell vom Folgeforschungsnehmer als Evaluationsgrundlage genutzt wird, sollten diese Überlegungen zu den politischen Kontextbedingungen um die wirtschaftlichen, gesellschaftlichen, nationalen und internationalen ergänzt werden (siehe Abb. 3). Es sollte berücksichtigt werden, in welcher Form das Um- feld die Aktivitäten fördert oder hemmt.
B.1.4 Evaluationsform
Um eine neutrale, unparteiische Bewertung vorzunehmen, ist für das Forschungsvorhaben eine Fremdevalua- tion vorgesehen. Sensible Daten (z.B. Kosten) werden vom BBSR ausgewertet und die Ergebnisse an den Forschungsnehmer übergeben. Aufgrund der Partizipation des BBSR in der Erstellung des Evaluationskon- zeptes und den Zwischenbesprechungen werden die Vorteile einer internen Selbst- und externen Fremdbeur- teilung kombiniert. Zu diesen zählen das projektinterne Wissen des Auftraggebers, ein externer Blick des Forschungsnehmers sowie eine hohe Glaubwürdigkeit aufgrund der unabhängigen Beurteilung.
Die Evaluation besteht einerseits aus einer Ergebnisevaluation und andererseits aus einer Prozessevaluation.
Die Ergebnisevaluation ist rückblickend (retrospektiv) und hat im Allgemeinen summativen (ergebnisorientier- ten) Charakter. Die Datenerfassung erfolgt mehrheitlich quantitativ über geschlossene, hypothesenprüfende Fragen. Die Informationen können über Auswertungen von Statistiken und standardisierte Fragebögen einge- holt werden. Die Ergebnisevaluation dient in erster Linie der Legitimation (Nachweis der Wirksamkeit) und Kontrolle (Überprüfung der Zielerreichung).
Die Prozessevaluation erfolgt prozessbegleitend und kann sowohl summativen (ergebnisorientierten) als auch formativen (prozessorientierten) Charakter haben. Für formative Evaluationen eignen sich qualitative Formen der Datenerfassung über offene, hypothesengenerierende Fragen. Es werden kommunikationsfördernde Me- thoden angewendet, wie bspw. Befragungen und Beobachtungen. Die Prozessevaluation dient vorrangig der Optimierung und Weiterentwicklung.
Eine grafische Zusammenfassung der für das Forschungsvorhaben vorgesehenen Evaluationsform ist in Ab- bildung 5 dargestellt. Hierbei ist zu beachten, dass weder die Ergebnisevaluation ausschließlich quantitativ noch die Prozessevaluation ausschließlich qualitativ geprägt sein wird. In beiden Evaluationen werden grund- sätzlich beide Arten der Datenerfassung angewendet (Mixed-Method-Evaluation).
Abbildung 5: Zusammenfassung der vorgesehenen Evaluationsform (ee concept GmbH)
In der Regel gehen formative Evaluationen mit weniger aufwendigen, flexibleren und informelleren Methoden einher. Da das Ziel formativer Evaluationen die Identifikation von Optimierungspotenzialen ist, wird dafür häu- fig nur ein bestimmter Bereich des Evaluationsgegenstandes in der Tiefe untersucht und es genügen daher nur wenige Befragungspersonen. Dagegen ist bei der summativen Evaluation das Untersuchungsdesign da- rauf ausgelegt, methodisch nach vielen Seiten abzusichern. Die Funktion zielt in erster Linie auf eine ab- schließende Bewertung der Wirkung und des Nutzens. Daher ist hierfür eine breit angelegte Evaluations- studie mit einer großen Stichprobe notwendig (vgl. Cress 2018: 5).
B.1.5 Evaluationsfragen
Nach der Festlegung des Evaluationsgegenstandes werden Leitfragen entwickelt, die dabei helfen, die Evalu- ation zu fokussieren bzw. handhabbar zu machen. Diese Fragestellungen konkretisieren das Vorhaben, befin- den sich aber noch auf einer allgemeineren Ebene, sind also nicht zu verwechseln mit den Fragen, die in der Erhebungsphase in Fragebögen und Interviews gestellt werden. Es handelt sich um die wesentlichen Leitfra- gen der Evaluation, die im Rahmen des Folgeprojektes differenziert auszuarbeiten und in Abhängigkeit von den konkreten Adressaten und Zielen anzupassen sind. Die Fragestellungen können aus geschlossenen Fra- gen bestehen, wenn es z.B. hauptsächlich um die Frage der Zielerreichung geht, oder sie können offen sein, wenn es darum geht, tiefergehende Informationen zu erhalten (vgl. Bundesministerium Bildung, Wissenschaft und Forschung 2017: 5). Dementsprechend kommen geschlossene Fragen vorrangig in der Ergebnisevalua- tion zur Anwendung, während in der Prozessevaluation mehrheitlich offene Fragen verwendet werden. Für offene Fragen sind „W-Fragen“ (Formulierungen mit W-Fragewörtern) besonders geeignet. Bei der Formulie- rung der Fragen ist grundsätzlich darauf zu achten, dass diese präzise, eindeutig, nicht beeinflussend und ergebnisoffen sind. Sie sollen informative Antworten und konstruktive Kritik ermöglichen. Ggf. sind mehrere Unterfragen sinnvoll, z.B. bei komplexeren Fragestellungen. „Warum“-Fragen sind zu vermeiden. Sie implizie- ren eine rationale und durch ständige Selbstreflexion gewonnene Antwort, wohingegen Menschen ihre Ent- scheidungen häufig aufgrund irrationaler Handlungsschemata treffen (vgl. Lamnek 2010: 100).
Analog zu den Evaluationsthemenfeldern werden die Evaluationsfragen in die beiden Bereiche „Ergebniseva- luation“ und „Prozessevaluation“ unterteilt und den jeweiligen Themenfeldern zugeordnet.
Ergebnisevaluation
Umsetzung politischer Zielsetzungen
• Wird ein Erreichen der gebäuderelevanten politischen Ziele durch den Leitfaden Nachhaltiges Bauen in Verbindung mit dem BNB ausreichend vorangetrieben? Welche Ziele können ggf. noch stärker vorange- trieben werden und wie? Welche über das Einzelgebäude hinausgehenden Aspekte können ggf. in das BNB integriert werden?
• Welche Zielsetzungen sind für den Bundesbau vorgeschrieben und werden durch das BNB noch einmal überprüft (z.B. Verwendung zertifizierter Hölzer, Leitfaden Barrierefreiheit, Fahrradstellplätze, Arbeitsstät- tenrichtlinie etc.)? Werden diese Zielsetzungen auch unabhängig von der Zertifizierung in der Planung ein- gehalten?
• Sind die Grundfesten des BNB (6 Qualitäten und Gewichtung der einzelnen Qualitäten und Kriterien, siehe Erläuterung S. 14) noch zeitgemäß? Entsprechen diese den aktuellen politischen Zielen bzw. gesell- schaftlichen Herausforderungen?
Anmerkung:
Eine Zusammenstellung der politischen Ziele und deren Relevanz für den Baubereich befindet sich in der Anlage 2.
Qualitätsverbesserung, Mehrwert
• Wurde durch das BNB eine verbesserte Gebäudequalität im Sinne der Nachhaltigkeit gegenüber dem durchschnittlichen Standard von Bundesbauten / Landesbauten erreicht?
• Liefern Gebäude im BNB-Silber-Standard einen Mehrwert gegenüber dem durchschnittlichen Standard von Bundesbauten / Landesbauten? Wenn ja, welchen? An welchen Stellen liefern Gebäude im BNB Gold-Standard eine höhere Qualität? (Beispiele / Erfolgsgeschichten nennen)
• Welche Nachhaltigkeitsaspekte wurden durch das BNB in besonderem Maße vorangetrieben?
• Welche Anforderungen haben sich in der Praxis bereits zum Status quo entwickelt?
• Wie häufig wird in Kriterien, für die grundsätzlich rechtliche Vorgaben bzw. Vorgaben an Bundesbauten bestehen, eine höhere Qualität(sstufe) erreicht? Wie hoch ist die Überschreitung der jeweiligen Anforde- rung?
• Gibt es Anforderungen im BNB, durch die lediglich die Bewertung, jedoch nicht die Qualität verbessert wird?
• Welcher Mehrwert wird durch die BNB-Zertifizierung für den Gebäudebetreiber generiert?
• Ist die BNB-Dokumentation hilfreich für den Betreiber? Liegen die relevanten Dokumente dem Betreiber vollständig vor? Welche zusätzlichen Informationen sind ggf. für den Gebäudebetrieb erforderlich?
• Welche positiven Entwicklungen hat das BNB in der Baubranche angestoßen (Marktentwicklung, Unter- nehmensstrukturentwicklung, Wissensverbreitung im Bereich nachhaltiges Bauen etc.)
Nutzerzufriedenheit
• Welche Gebäudeaspekte werden von den Gebäudenutzern (Vertreter der Institution, Mitarbeiter) positiv bewertet? Wurden diese Aspekte aufgrund des BNB umgesetzt bzw. sind sie Bestandteil des BNB?
Systemverbreitung
• Wie viele Gebäude wurden bislang bzw. werden derzeit zertifiziert? Wie ist die Verteilung (Bundesbauten / Landesbauten (welche Bundesländer) / Kommunalbauten / Zuwendungsbauten / Auslandsbauten, Bronze / Silber / Gold etc.)? Wie sind Anzahl und Verteilung zu bewerten?
• Welche Maßnahmen / Veranstaltungen wurden im Bereich der Öffentlichkeitsarbeit durchgeführt (z.B.
Messen, Fachveranstaltungen) und welche Wirkung haben diese? Wie werden Erfolge kommuniziert (z.B.
öffentlichkeitswirksame Zertifikatsverleihung, Broschüre „Haus 2019“)? Welche Akteure werden hierdurch erreicht?
• Wie wird die Anwendung des BNB auf Länderebene gehandhabt? Welche Länder wenden das BNB an und bei welchen Gebäuden? Was war die Motivation für die Übernahme des BNB? Welche Vorteile bringt die Zertifizierung? Werden die Länder bei der Etablierung des BNB ausreichend vom BBSR unterstützt?
Wie kann dies ggf. verbessert werden? Warum wird das BNB an anderer Stelle nicht angewendet?
• Welche weiteren Stellen haben das BNB übernommen?
• Wie bekannt ist das BNB in den Bauverwaltungen?
• Wie viele BNB-Koordinatoren gibt es und wie sind diese verteilt?
• Inwieweit werden die BNB-Koordinatoren in den Bauverwaltungen in die Projekte eingebunden?
• Werden Schulungen, Anwendungshilfen und Möglichkeiten des Austauschs ausreichend und bedarfsge- recht angeboten?
• Wie bekannt ist das BNB in Planerkreisen?
• Wie bekannt ist das BNB bei den ausführenden Bauunternehmen?
• Wie bekannt ist das BNB bei den Herstellern von Bauprodukten?
• Inwieweit ist das nachhaltige Bauen bzw. BNB in die Lehre integriert?
Kostenentwicklung
• Werden durch die Anwendung des BNB Mehrkosten in der Planung und Ausführung generiert? Wenn ja, an welchen Stellen? Gibt es einen Kostenunterschied zwischen "BNB Silber" und "BNB Gold"?
• Wie verhalten sich die Mehrkosten im Vergleich zum Nutzen? Inwieweit ist der Einsatz von Steuermitteln gerechtfertigt?
• Bei welchen Mehraufwendungen wird davon ausgegangen, dass über den Lebenszyklus Kosten einge- spart werden können?
• Hat das BNB einen positiven Einfluss auf die Herstellungskosten oder auf die Folgekosten bei gleichblei- benden Herstellungskosten? Wenn ja, welchen?
• Welche positiven Effekte können durch die Umsetzung des BNB kostenneutral oder ggf. sogar kostenver- ringernd erreicht werden?
Prozessevaluation
Praktikabilität der Anwendung
• Ist die nötige Systemtransparenz für alle Projektbeteiligten (insbesondere Bauverwaltungen) gegeben, um das BNB bei den bevorstehenden Baumaßnahmen anzuwenden? Welche weiteren Informationen werden ggf. benötigt?
• Bieten die Module und Systemvarianten die nötige Vielfalt an? Ist die sinngemäße Anwendung eine ausrei- chende Ergänzung? Welche weiteren Ergänzungen werden vorgeschlagen?
• Gelingt die praktische Umsetzung der BNB-Anforderungen in der Planung und Ausführung? Auf welche Schwierigkeiten stoßen Projektteams bei der Umsetzung der BNB-Anforderungen? Welche Kriterien bzw.
Indikatoren sind im BNB aktuell nicht praxisnah ausgerichtet? Welche Anforderungen sind unklar und müssen näher präzisiert werden? Sind zusätzliche Hinweise erforderlich?
• Welche Anforderungen wirken sich ggf. negativ auf die Planung und Bauausführung aus? Welche Anfor- derungen führen zu Verzögerungen?
• Welche Themen werden bislang „stiefmütterlich“ behandelt, obwohl sie bereits ins BNB integriert sind?
Was sind die Gründe hierfür?
• Wie können die Anforderungen des BNB stärker in den regulären Projektablauf (ES-Bau, EW-Bau) inte- griert werden (Zusammenführung RBBau / BNB)? Gibt es Dopplungen / Synergien zu ohnehin geforderten Unterlagen? Wie können Dopplungen vermieden bzw. Synergien genutzt werden?
• An welcher Stelle können Vereinfachungen im BNB vorgenommen werden? Könnte das System ent- schlackt werden?
• Wie können Innovationen gefördert und zu außerordentlichen Leistungen motiviert werden? Welche Ge- bäudequalitäten werden im BNB aktuell nicht adressiert? Welchem der BNB-Themenfelder sind diese zu- zuordnen (oder ein neues Themenfeld?) Wie kann das BNB flexibler gestaltet werden?
• Wie kann das BNB schneller auf aktuelle Entwicklungen (Änderung der rechtlichen Vorgaben, Normen etc.) reagieren?
Akzeptanz, Image
• Wie wird das BNB bei den politischen Entscheidungsträgern der Länder bzw. den Bauherren (z.B. Zuwen- dungsbauten) wahrgenommen? Wie kann die Akzeptanz ggf. erhöht werden?
• Wie wird das BNB in den Bauverwaltungen wahrgenommen?
• Wie wird das BNB im Projektteam wahrgenommen?
• Wie wird das BNB bei den ausführenden Bauunternehmen wahrgenommen? Wird die Abgabe eines An- gebots durch die Anwendung des BNB beeinflusst? Falls ja, inwiefern? Welche Chancen / Barrieren se- hen die ausführenden Unternehmen durch das BNB in den Angeboten?
Auswirkung auf den Planungsprozess
• Welche positiven Auswirkungen hat die Anwendung des BNB auf die Projektentwicklung und den Pla- nungsprozess (Beispiele / Erfolgsgeschichten nennen)? Inwieweit führt die Anwendung des BNB bei den Planern bzw. dem Projektteam zu einer Optimierung der Organisationsstrukturen im Planungsprozess?
• Inwieweit wurde in den Planungsteams eine Sensibilisierung für die Themen der Nachhaltigkeit erzeugt?
Rollen im Projektteam
• Welche Rollen nehmen die einzelnen Akteure im Projekt ein? Sind diese sinnvoll verteilt? Ist die Zuord- nung der Entscheidungen korrekt?
• Wie kann die Rolle des Koordinators als Berater und Impulsgeber gestärkt werden?
• Welche Rolle können die gebäudenutzenden Personen im Projekt einnehmen? Wie können diese sich positiv einbringen (Partizipation)? Sollte der Nutzerbeteiligungsprozess verändert oder erweitert werden?
Konformitätsprüfungsstellen (KPS)
• In welcher Form und Intensität erfolgt der Austausch zwischen den verschiedenen KPS (formell / infor- mell)? Wie kann der Austausch verbessert werden?
• Wie können einheitliche Aussagen und Prüfstandards der unterschiedlichen Konformitätsprüfungsstellen sichergestellt werden? Wie werden diese den Koordinatoren zur Verfügung gestellt?
• Wann und in welcher Form wird die zuständige Konformitätsprüfungsstelle durch die Projektleitung in das Projekt eingebunden?
• In welcher Form erfolgt die Kommunikation zwischen dem Koordinator und der KPS? Ist diese Art geeig- net zur Klärung der Fragestellungen?
• Wie könnte die Rolle der KPS zukünftig aussehen?
B.2 Zielgruppen
Um das Bewertungssystem Nachhaltiges Bauen umfassend zu evaluieren und unterschiedliche Perspektiven, Einschätzungen und Bewertungen zu erfassen, sollen möglichst viele Informationsträger bei der Befragung berücksichtigt werden, die auf unterschiedliche Weise in das nachhaltige Bauen bzw. das BNB involviert sind.
Diese erstrecken sich von der strategischen Ebene bis hin zur operativen Ebene und dem Gebäudebetrieb.
Je strategischer die Ebene, desto eher handelt es sich um einen zweigerichteten, aufeinander aufbauenden Prozess. Auf der rein operativen Ebene beschränkt der Prozess sich eher auf ein reines „Abfragen“ (= in eine Richtung).
Abbildung 6: Zielgruppen der Evaluation (ee concept GmbH)
Für die Evaluation werden insgesamt fünf Zielgruppen festgelegt (siehe Abbildung 6):
• die Entscheidungsträger, die entscheiden, ob und in welchem Umfang das BNB angewendet wird. Diese Zielgruppe umfasst Entscheidungsträger von Bundesbauten, Zuwendungsbauten, Landesbauten und kommunalen Bauten.
• die Umsetzer, die für die Umsetzung der Entscheidungen zuständig sind. Hierzu gehören die verschiede- nen Ebenen der Bauverwaltungen von Bund und Ländern, die BNB-Koordinatoren der Bauverwaltungen sowie die internen und externen Konformitätsprüfungsstellen (intern = Bund und Länder, extern = Stein- beis-Transfer-Institut Bau- und Immobilienwirtschaft, Zertifizierung Bau GmbH).
• die Anwender des BNB. Hierzu gehören die Projektleiter, die BNB-Koordinatoren und die Planer.
• die am Bau Beteiligten: Hiermit sind die Unternehmen gemeint, die in die Bauausführung involviert sind, wie die ausführenden Bauunternehmen und die Hersteller von Bauprodukten.
• die Gebäudenutzer, die das Gebäude nach Fertigstellung nutzen und betreiben.
Mit einigen dieser Zielgruppen haben bereits Gespräche zum Thema BNB stattgefunden (z.B. BMI, Konformi- tätsprüfungsstellen, Systemanwender im BBR). Nähere Informationen hierzu erhält der zukünftige For- schungsnehmer vom Auftraggeber (BBSR Referat II 5).
B.3 Erhebungsinstrumente
Für die Datenerhebung und -auswertung stehen unterschiedliche Methoden zur Verfügung. Die Wahl der Me- thode hängt von der jeweiligen Fragestellung und der Zielgruppe ab. Grundsätzlich wird zwischen quantitati- ver und qualitativer Datenerhebung unterschieden.
Für die Ergebnisevaluation können quantitative Verfahren mittels statistischer Zusammenhänge und Vergleiche eingesetzt werden. Ein Vergleich der BNB-zertifizierten Gebäude untereinander kann über die Datenerfassung des BBSR ausgewertet werden. Mögliche Unterlagen für eine Dokumentationsanalyse sind die Zielvereinbarungen und Zertifizierungsunterlagen. Hinzu kommen Statistiken aus Datenbanken zu bspw.
Energieverbräuchen und Sanierungsfahrplänen, die als Datengrundlage für die Evaluation herangezogen werden können. Um die Qualitätsverbesserung aufgrund der Zertifizierung zu evaluieren, sind Vergleichs- gebäude erforderlich. Mögliche Vergleichsgruppen könnten sein:
• Bundesbauten ohne Berücksichtigung von BNB, deren Planung kurz vor dem BNB-Einführungs- erlass (2013) begonnen hat
• Bundesbauten, die nach BNB zertifiziert, jedoch nicht nach BNB geplant und beraten wurden (Pilot- projekte)
• Landesbauten ohne Berücksichtigung von BNB unter Voraussetzung ähnlicher Funktionen (z.B. Ver- gleich von Projekten aus Baden-Württemberg mit und ohne Zertifizierung)
Neben den Statistiken und Dokumentationsanalysen werden Fragebögen erstellt, durch die Informationen standardisiert erfasst werden können. Die Fragen werden zum Ziel der Vergleichbarkeit einheitlich erstellt.
Dafür sind i.d.R. feste Antwortmöglichkeiten vorgegeben. Zusätzlich werden Antwortfelder zur offenen Stel- lungnahme oder für Kommentare angeboten, die bei Bedarf ausgefüllt werden können. Über Fragebögen kann eine hohe Anzahl an Personen erreicht werden, die Rücklaufquote ist jedoch i.A. niedrig (ca. 20 %).
Aus diesem Grund empfiehlt sich der Versand an eine möglichst hohe Anzahl an Adressaten. Im Hinblick auf die zu gebenden Handlungs- bzw. Weiterentwicklungsempfehlungen sind für die Ergebnisevaluation ergän- zend auch qualitative Verfahren vorgesehen.
Für die Prozessevaluation eignen sich überwiegend qualitative Verfahren. Hierzu gehören Diskussionsrunden und Interviews. Für die Diskussionsrunden und Interviews empfiehlt sich die Aufstellung eines Leitfadens. Der Leitfaden dient der Systematisierung und Strukturierung der Fragen sowie als „roter Faden“ für den Modera- tor. Im Gegensatz zu Fragebögen ermöglichen Diskussionsrunden eine Tiefenwirkung. In der Diskussion kön- nen sehr differenzierte Aussagen gegeben werden und vorher ungesehene Themen aufkommen. Allerdings ist zu berücksichtigen, dass aufgrund von Gruppendynamiken Meinungsänderungen und Themenabweichun- gen auftreten können. Dafür empfiehlt es sich, im Vorfeld den Diskussionsleitfaden an die Teilnehmer zur Ge- sprächsvorbereitung zu versenden. In Konfliktsituationen zwischen einzelnen Teilnehmern und bei umstritte- nen Themen ist es die Aufgabe des Moderators, die Diskussionsrunde zu leiten und auf einem sachlichen konstruktiven Niveau zu führen. Die Erfahrung und die Methodenkenntnis des Moderators sind dabei ent- scheidend. Die Herausforderung bei der Formulierung der offenen Fragen liegt darin, bereits durch die Befra- gung Handlungsempfehlungen zu gewinnen und unkonstruktive Kritik auszuschließen. Die Erfassung von Handlungsempfehlungen ist von der Entwicklung konkreter Lösungen klar zu trennen. Letzteres geht bereits einen Schritt weiter über die klassische Evaluation hinaus und ist nicht mehr Teil einer Diskussionsrunde,
sondern eines Workshops. Im Zusammenhang mit diesem Evaluationsprojekt ist zu überlegen, ob ggf. Work- shops im Anschluss an die Diskussionsrunden stattfinden bzw. die Diskussionsrunden durch Workshops er- setzt werden sollen.
In Tabelle 2 befindet sich eine Übersicht gängiger Evaluationsmethoden qualitativer und quantitativer Verfah- ren mit möglichen Anwendungsfeldern und einer Einschätzung der Eignung für das Forschungsprojekt.
Methoden Instrumente / Datenquellen Mögliche Anwendungsfelder Eignung Quantitative Methoden
Befragung Standardisierter Fragebogen (online, schriftlich, telefonisch, mündlich)
Akzeptanz und Systemverbreitung
Dokumentenanalyse Berichte, Konzepte, Audits Auswertung der BNB Ergebnisse Messung Statistiken, Verbrauchsdaten Anzahl der zertifizierten Gebäude
Abgleich berechneter Verbräuche zu realen Verbräuchen
Tests Prüfung, Multiple Choice Test Wissensstand Koordinatoren Qualitative Methoden
Befragung Interviewleitfaden
(Einzelinterview) Erfahrungswerte FM, Nützlichkeit Objekthandbuch für Gebäudebetrieb Moderationsleitfaden
(Gruppendiskussion) Erfahrungswerte Auditoren Stimmungsbarometer, Ampel-
Feedback, Schreibgespräch Nutzerzufriedenheit
Beobachtung Planungsbesprechung BNB Themen als Bestandteil des Planungsprozesses
Marktanalyse, Produktangebot Angebotszunahme nachhaltiger Produkte und Materialien, EPDs Gemischte Methoden
Delphi-Befragung Offene und standardisierte Fragen Optimierungsvorschläge aus Expertenrunden
Weitere Methoden
Workshop Weiterentwicklungsempfehlungen
Tabelle 2: Übersicht Evaluationsmethoden, Instrumente und mögliche Anwendungsfelder (ee concept GmbH nach Gesundheitsförde- rung Schweiz)
Die Befragung anhand eines Fragebogens kann online, schriftlich-postalisch, telefonisch oder persönlich- mündlich stattfinden. In Abhängigkeit der Zielgruppe sind manche Formen besser oder schlechter geeignet.
Bei älteren Adressaten sollte beispielsweise auf Online-Fragebögen verzichtet werden und diese stattdessen postalisch verschickt werden. Zudem besteht bei Online-Fragebögen die Gefahr, dass die Emailbenachrichti- gung von den Empfängern übersehen oder die Einladung zur Umfrage als unbedeutend eingestuft wird. Da- gegen vereinfacht die Verwendung computergestützter Online-Fragebögen den Auswertungsprozess.
Diskussionsrunden sollten auf ca. 10 Teilnehmer beschränkt werden. Hierbei ist auf die Zusammensetzung der Teilnehmer zu achten. Es ist zu überlegen, welche Gruppen grundsätzlich in einer Diskussionsrunde zu- sammengefasst werden können. Diskussionsrunden über verschiedene Hierarchieebenen sind als kritisch zu betrachten. Es ist davon auszugehen, dass nicht alle Teilnehmer sich in einer solchen Konstellation frei äu- ßern. In einem solchen Fall können Einzelinterviews durchgeführt werden, die den Befragten die notwendige Anonymität bieten, die eigene Meinung zu vertreten.
Bei der Planung der Evaluation ist der unterschiedliche Zeit- und damit auch Kostenaufwand der einzelnen Instrumente zu berücksichtigen. In den Abschnitten B.5.4 Ablauf- und Zeitplan und B.5.5 Kosten wird dement- sprechend zwischen Fragebögen und Gruppendiskussionen / Einzelinterviews unterschieden. Da das BNB möglichst umfassend evaluiert werden soll, ist in diesem Evaluationskonzept die Kombination qualitativer und quantitativer Methoden vorgesehen (Mixed-Method-Evaluation). Eine sogenannte Mixed-Method-Evaluation wird zudem mit dem Ziel durchgeführt, eine höhere Validität der Evaluationsergebnisse zu erreichen. Die Ver- wendung mehrerer Erhebungs- oder Auswertungsmethoden dient der Behandlung systematischer Fehler, die bei einer parteiischen Durchführung und Berichterstattung auftreten. Um dies auszuschließen, werden mög- lichst unterschiedliche Sichtweisen auf das BNB einbezogen.
Im Rahmen der Konzepterstellung wurde ein Vorschlag für die in der Evaluation anzuwendenden Methoden und Instrumente erarbeitet. Die Entwicklung der Instrumente erfolgt im Folgeprojekt Evaluation BNB.
B.4 Prozess und Methodik
In den Abschnitten B.1 bis B.3 wurden die Schritte der Evaluation vorgestellt, die im Rahmen der Konzepter- stellung bereits bearbeitet wurden (siehe Abb. 1, S. 10). Die nächsten Schritte des Evaluationsprozesses be- treffen das Folgeprojekt Evaluation BNB, in dem es um die detaillierte Planung und Durchführung der Daten- erhebung und die anschließende Auswertung der Evaluation und Kommunikation der Ergebnisse geht. Als Hilfestellung für den Folgeforschungsnehmer sind in diesem Abschnitt die einzelnen Schritte näher beschrie- ben. Zusätzlich wurde in Vorbereitung eines Musterpflichtenheftes die Anlage 3 erstellt, die eine Zuordnung der Bewertungsindikatoren, Zielgruppen und Erhebungsinstrumente zu allen Fragestellungen aus Abschnitt B.1.5 beinhaltet. Aus dieser Zusammenstellung ergeben sich Art und Anzahl der zur Beantwortung der Fra- gen erforderlichen Erhebungsinstrumente sowie die jeweiligen Zielgruppen und Inhalte. Hieraus gehen wiede- rum konkrete Leistungsbausteine hervor, die im Musterpflichtenheft dargestellt sind.
B.4.1 Planung der Datenerhebung
Zur Planung der Datenerhebung gehören u.a. die Festlegung konkreter Adressaten für die definierten Ziel- gruppen und die Entwicklung der Erhebungsinstrumente. Diese beiden Schritte verlaufen teilweise parallel.
In Vorbereitung der Befragung durch standardisierte Fragebögen werden zunächst der Aufbau bestimmt und die Fragen formuliert. Je nach Form des Fragebogens (online, schriftlich, telefonisch, mündlich) ist der Ablauf und die Frageform anders zu gestalten. Für die geplante Evaluation empfiehlt sich der Einsatz von online-Fra- gebögen. Zur Programmierung von Fragebögen bieten verschiedene Software-Tools (auch kostenfrei, bspw.
SurveyMonkey) flexible Gestaltungsmöglichkeiten.
Bei der Erstellung der Fragebögen sollte darauf geachtet werden, dass diese auf die jeweilige Zielgruppe zu- geschnitten sind. Zunächst sollte den Befragten die Intention der Fragen erläutert werden. Bei der Ausformu- lierung der einzelnen Fragen ist grundsätzlich immer zu hinterfragen, ob die gedachte Zielgruppe diese auch beantworten kann. Die Brauchbarkeit des Fragebogens hängt zudem von der Qualität der Fragen ab. Da un- klare und missverständliche Formulierungen in der Erhebung nicht korrigiert werden können, empfiehlt es sich, neben vorgegebenen Antwortmöglichkeiten eine offene Antwortalternative anzubieten. Zudem ist eine neutrale Fragenformulierung zu wählen. Um Verfälschungen durch spezifisches Antwortverhalten auszu- schließen, können Kontrollfragen eingebaut werden, indem eine ähnliche Frage zweimal an unterschiedlicher Stelle im Fragebogen gestellt wird. Wenn ein Fragebogen im Vorfeld zu einer Diskussion versendet wird, kön- nen in diesem auch schon offenere Fragen als Vorbereitung auf die Diskussion gestellt werden. Der Fragebo- genentwurf sollte in jedem Fall vorher getestet werden. Durch den Pretest wird geprüft, ob und bei welchen Fragen Schwierigkeiten auftreten (bspw. Verständnisprobleme, Missverständnisse, falsche Filterfragen u.ä.).
In Vorbereitung der Gruppendiskussionen wird eine Agenda erstellt. Ebenso werden die geplanten Themenin- halte für die Diskussion in einem Moderationsleitfaden strukturiert und der zeitliche Ablauf festgelegt. Die Fra- genreihenfolge des Leitfadens ist üblicherweise in folgender Form gegliedert: Eröffnungs-, Hinführungs-, Überleitungs-, Schlüssel-, Schlussfragen. Die Diskussion sollte im Vorfeld geprobt werden, um Dauer und Umfang abzuschätzen. Eventuell muss mehr als eine Diskussionsrunde zu einem Thema stattfinden und ggf.
die Zusammensetzung der Diskussionsteilnehmer in der zweiten Runde noch einmal angepasst werden. Der Moderator sollte mit der Thematik gut vertraut sein und Fragestellungen in Abhängigkeit der Teilnehmer
präzisieren können. Für die Diskussionen wird eine Auswahl von Adressaten gezielt kontaktiert. Die Auswahl der Adressaten erfolgt anhand festgelegter objektiver Kriterien. In Abschnitt B.5.2 Feldzugang wird auf die Auswahlkriterien der Adressaten eingegangen. Grundsätzlich sind Personen mit besonderer Fachexpertise hinzuzuziehen. Allerdings handelt es sich bei Experten erfahrungsgemäß oftmals um Personen, welche über ein knappes Zeitbudget verfügen. Eventuelle Verzögerungen in der Rekrutierung sollten mit einem Zeitpuffer eingeplant und Alternativen überlegt werden. Stehen die Teilnehmer fest, so sind geeignete Termine mit ihnen abzustimmen (z.B. über eine Doodle-Abfrage). Bei Teilnehmern aus Institutionen mit ausgeprägten hie- rarchischen Strukturen ist darauf zu achten, höhere Instanzen über die Evaluation zu informieren.
Gruppendiskussionen lassen sich über verschiedene Medien aufzeichnen. Hierfür kann entweder die Form eines Protokolls oder Tonband bzw. Video gewählt werden. Hierzu wird folglich entweder ein Protokollant oder ein entsprechendes Aufnahmegerät benötigt. Idealerweise ist das Aufnahmegerät mit einer Transkrip- tionsfunktion ausgestattet, welche über Spracherkennung die gesprochene Aufnahme in Fließtext umwandelt.
Die Datenschutzbedingungen müssen beachtet werden. Bereits vor der Durchführung der Datenerhebung sollte eine Einverständniserklärung aller Teilnehmer über die anonymisierte Nutzung der Daten und falls relevant über die Erstellung einer Ton- bzw. Videoaufnahme eingeholt werden.
Die Planung der Einzelinterviews entspricht im Wesentlichen den Vorbereitungen der Diskussionsrunden. Für die Einzelinterviews ist geplant, die Themenblöcke in Abhängigkeit der Rückmeldungen aus den Fragebögen aufzugreifen. Die zeitliche Abhängigkeit ist in der Planung zu berücksichtigen. Die Befragung kann persönlich oder im Unterschied zur Diskussionsrunde auch telefonisch erfolgen.
Grundsätzlich können Voll- oder Teilerhebungen durchgeführt werden. Bei der quantitativen Datenerhebung sind im Fall von kleinen Grundgesamtheiten der Zielgruppen Vollbefragungen vorzuziehen. Bei Teilbefragun- gen ist darauf zu achten, dass die Umfrage repräsentativ ist, um eine verlässliche Datenbasis zu generieren.
Zur Sicherstellung sollte eine Stichprobe in einem geeigneten Umfang gewählt werden. Eine Mindestgröße der Stichprobe kann über eine entsprechende Formel ermittelt werden. Eine zentrale Herausforderung quali- tativer Methoden besteht darin, einen möglichst heterogenen Feldzugang zu finden. Es soll vermieden wer- den, dass die Ergebnisse unbeabsichtigter Weise durch die Zusammensetzung der Befragungsgruppe beein- flusst (verzerrt) werden. Im Gegensatz zu dem zufälligen Samplingverfahren, das bei Fragebögen häufig an- gewendet wird, soll die Auswahl der Referenzprojekte und der Befragungsgruppen für die Diskussionsrunden grundsätzlich nach inhaltlicher Repräsentativität erfolgen. In Bezug auf das Evaluationsvorhaben heißt das, es werden die Fälle ausgewählt, die im Hinblick auf den Evaluationszweck die reichhaltigsten Informationen liefern können. Für einen strukturierten Feldzugang wurden in der Sozialwissenschaft Samplingverfahren ent- wickelt (vgl. Steinhardt (Hrsg.) 2019). Drei Verfahren sollen an dieser Stelle kurz vorgestellt werden, um ver- schiedene Beispiele für dieses Forschungsvorhaben zu präsentieren:
• Sampling mit vorab festgelegten Kriterien
• Theoretical Sampling
• Schneeballsystem
Ein Sampling anhand vorab festgelegter Kriterien kann in der qualitativen Forschung sinnvoll sein (vgl. Stein- hardt (Hrsg.) 2019), besonders dann, wenn eine genaue Vorstellung besteht, welche Kriterien die Qualität der Daten beeinflussen. Bezogen auf das Evaluationsvorhaben ist das der Fall bei der Auswahl der Teilnehmer für
die Gruppendiskussionen. In den Expertenrunden sollen die Teilnehmer vertreten sein, die durch ihre Erfahrun- gen und ihr Fachwissen wichtige Informationen liefern können. Dafür sind messbare, objektive Beurteilungsgrö- ßen, wie bspw. die Anzahl abgewickelter nach BNB zertifizierter Projekte heranzuziehen. Solche Kriterien lassen sich gut vorab in quantitativen Erhebungen abfragen. So kann in einem Fragebogen, der einer Diskussionsrunde vorhergeht, beispielsweise im Begleitschreiben auf die Diskussionsrunde aufmerksam gemacht und das Inte- resse bzw. die Bereitschaft sowie die Eignung zur Teilnahme über entsprechende Eignungskriterien abgefragt werden. Anschließend können die Teilnehmer der Diskussionen darüber ausgewählt werden.
Das Theoretical Sampling funktioniert ähnlich wie das Sampling mit vorab festgelegten Kriterien und wurde als Gegenmodell zur repräsentativen Zufallsstichprobe eingeführt. Die Auswahl der Beteiligten erfolgt auch bei dieser Methode nicht zufällig, sondern basiert auf theoretischen Kategorien. Als Beispiel dafür wird zu Be- ginn der Evaluation davon ausgegangen, dass die in Abschnitt B.2 aufgeführten Zielgruppen zur Beantwor- tung der Fragestellungen beitragen können. Darauf aufbauend werden der Feldzugang geplant und interes- sante Beteiligte ausgewählt. Werden durch die Auswertung der Evaluationsergebnisse neue Wirkungszusam- menhänge festgestellt und andere Annahmen getroffen, ergeben sich dadurch auch neue Datenquellen bzw.
interessante Befragungsgruppen. Es findet somit ein zyklischer Prozess von Datenerhebung und Datenaus- wertung statt, in dem permanent ein verbesserndes Verständnis des Forschungsgegenstands und der zu be- fragenden Zielgruppe erzeugt wird. In der Sozialwissenschaft wird das Verfahren als effizient angesehen, da nur Daten generiert werden, die dabei helfen, die Charakterisierung des Forschungsgegenstands weiter zu präzisieren (vgl. Dimbath et. al. 2018: 3).
Bei dem Schneeballsystem werden ähnlich zum Theoretical Sampling erste Befragungsgruppen identifiziert, die als reichhaltige Informationsträger zur Evaluation beitragen können. Am Ende der Befragung, bspw. in einem Interview, werden die Befragten gebeten, andere Personen oder Institutionen zu benennen, die eben- falls für die Evaluation von Interesse sein könnten (vgl. Steinhardt (Hrsg.) 2019). Das Verfahren eignet sich sehr gut, um Netzwerke, Zusammenhänge und Mechanismen zu ermitteln.
Für die Auswahl der Adressaten, die Beschaffung der Kontaktdaten sowie die Kontaktaufnahme sollte ausrei- chend Zeit eingeplant werden. Neben der schwierigen Erreichbarkeit der potentiellen Befragungsteilnehmer können hier datenschutzrechtliche Probleme auftreten. Bei der Identifizierung der Teilnehmer der Diskussi- onsrunden und Einzelinterviews kann es hilfreich sein, einzelne Vertreter vor Einbindung zu kontaktieren, um deren möglichen Beitrag einzuschätzen. Bei der Auswahl der Teilnehmer sind die Bereitschaft sowie finanzi- elle und zeitliche Einschränkungen zu berücksichtigen. Auch nach der Festlegung der Teilnehmer der Diskus- sionsrunden und Einzelinterviews empfiehlt sich eine persönliche Form der Kontaktaufnahme (bevorzugt telefonisch). Im Fall von Fragebögen sollte ein Begleitschreiben erstellt werden, das über den Fokus der Eva- luation und des Fragebogens sowie den Verwendungszweck der Ergebnisse informiert. Ebenso sollte das An- schreiben Informationen zum Datenschutz enthalten. Alternativ kann die Kontaktaufnahme auch hier
telefonisch erfolgen. Dies erhöht die Rücklaufquote, ist jedoch sehr zeitaufwendig.
Generell ist darauf zu achten, dass bei der Datenerfassung und -auswertung die Anonymität der Befragten sichergestellt wird. Eine Möglichkeit, um bei Fragebögen auch im Fall der Abfrage von personenbezogenen Daten die Anonymität der inhaltsbezogenen Daten zu wahren, besteht darin, in einem ersten personalisierten Teil des Fragebogens die personenbezogenen Daten abzufragen und den zweiten Teil mit den inhaltlichen Fragen anonymisiert zu erfassen.
Um die Befragungsgruppen näher zu spezifizieren und die Erhebungsinstrumente festzulegen, wurden den im Abschnitt B.1.5 formulierten Leitfragen Bewertungsindikatoren, Erhebungsinstrumente und Zielgruppen zugeordnet (siehe Anlage 3 Evaluationsfragen, Zielgruppen und Erhebungsinstrumente). Über ein Erhe- bungsinstrument können Fragestellungen aus verschiedenen Themenfeldern bearbeitet werden, wenn diese sich an dieselben Zielgruppen richten (siehe Abbildung 7). Somit wird im Evaluationsprozess selbst nicht im- mer zwischen Prozess- und Ergebnisevaluation bzw. quantitativer und qualitativer Datenerhebung unterschie- den. Bei der Datenauswertung hingegen ist diese Unterscheidung erforderlich.
Abbildung 7: Vorgehensweise der Datenerhebung (ee concept GmbH) FB = Fragebogen, DR = Diskussionsrunde
Aus der Zusammenstellung der Evaluationsfragen, Zielgruppen und Erhebungsinstrumente lassen sich Art und Anzahl der zur Beantwortung der Fragen erforderlichen Instrumente sowie die jeweiligen Befragungs- gruppen und Inhalte ableiten. Für die Datenerhebung wurden – nach Zielgruppen unterteilt – fünf Arbeitspa- kete zusammengestellt, die in Abbildung 8 bis 12 dargestellt sind.
Abbildung 8: Befragungsgruppen und Erhebungsinstrumente der Zielgruppe 1 (ee concept GmbH) DR = Diskussionsrunde
Evaluationsthemen:
• Systemverbreitung (Vorteile, Motivation)
• Akzeptanz
Anmerkungen:
• Die Befragungsgruppen der Zielgruppe 1 treffen generelle Entscheidungen und bestätigen die Entschei- dungsvorschläge der Bauverwaltungen auf Projektebene.
• Während die Anwendung des BNB auf Bundesebene bereits festgelegtes Ziel ist, handelt es sich auf der Ebene der Länder und Kommunen bei der Zertifizierung um eine grundsätzliche politische Entscheidung.
• Die Befragungsgruppen BMI, weitere Bundesressorts (Bundesbauten) und Bauherren Zuwendungsbauten können zu einer Diskussionsgruppe zusammengefasst werden.
• Weitere relevante Bundesressorts sind beispielsweise das BMF, BMU, BMELV und der BRH.
• Die Entscheidungsträger der Länder und Kommunen sind entweder die Ministerien oder die Baubetriebe.
• Voraussichtlich finden die Gespräche mit der Zielgruppe 1 nicht im Rahmen des Forschungsprojektes Evaluation BNB statt, sondern als vom BBSR organisierte Fachaufsichtsgespräche, zu denen das BMI einlädt. In diesem Fall ist es sinnvoll, dass der Evaluator an den Gesprächen teilnimmt, um seine Fragen einzuspielen.
Abbildung 9: Befragungsgruppen und Erhebungsinstrumente der Zielgruppe 2 (ee concept GmbH) FB = Fragebogen, DR = Diskussionsrunde
Evaluationsthemen:
• Bekanntheitsgrad
• Systemtransparenz
• Hilfestellungen
• Akzeptanz
• Integration in RBBau oder vergleichbar Anmerkungen:
• Die Zielgruppe 2 ist für die Umsetzung der Entscheidungen der Zielgruppe 1 (hier BNB-Koordination) bis hin zur Projektvorbereitung zuständig. Auf Projektebene trifft sie auch Entscheidungen (z.B. Festlegung BNB Erfüllungsgrad).
• Hier sollten ausschließlich Personen adressiert werden, die in BNB-Projekte involviert sind.
• Generell gibt es in den Bauverwaltungen drei Ebenen: Die oberste technische Instanz, die fachaufsichts- führende Ebene und die baudurchführende Ebene. Ein Gespräch mit der obersten technischen Instanz kann im Rahmen einer zentralen Sitzung mit dem BMI durchgeführt werden. Gespräche mit der fachauf- sichtsführenden und der baudurchführenden Ebene sind im Rahmen des Forschungsprojektes „Evaluation BNB“ vorgesehen. Diese sollten für beide Ebenen getrennt durchgeführt werden.
• Der Evaluator erhält eine Liste mit allen relevanten Ansprechpartnern.
• Die Fragebögen dienen dazu, einen allgemeinen Überblick zu erhalten. In der Diskussionsrunde werden detailliertere Informationen gewonnen.
• Bezüglich der Integration in die RBBau wird auf das aktuell laufende Forschungsprojekt „Verwendung der Nachweisführung BNB zur Baudokumentation / Anforderungsspezifikation zur Nachweisführung“ des For- schungsprogramms Zukunft Bau des BBSR (AZ 10.08.17.7-17.39) hingewiesen.
Abbildung 10: Befragungsgruppen und Erhebungsinstrumente der Zielgruppe 3 (ee concept GmbH) FB = Fragebogen, DR = Diskussionsrunde
Evaluationsthemen:
• Qualitätsverbesserung / Mehrwert
• Systemverbreitung
• Kostenentwicklung
• Praktikabilität der Anwendung
• Akzeptanz
• Auswirkung auf den Planungsprozess
• Rollen im Projektteam
• Umsetzung politischer Zielsetzungen
Anmerkungen:
• In der Zielgruppe 3 sollten ausschließlich Personen adressiert werden, die in BNB-Projekte involviert sind.
• Im Gegensatz zur Zielgruppe 2 werden in der Zielgruppe 3 bei den BNB-Koordinatoren interne und ex- terne BNB-Koordinatoren beabsichtigt.
• Die Teilnahme der Konformitätsprüfungsstellen ist hier nicht zwingend erforderlich.
• Aufgrund der zahlreichen Themen könnten die Diskussionsrunden in eine ergebnisorientierte Diskussion und eine prozessorientierte Diskussion unterteilt werden.
• Wenn möglich soll die Befragung auch mit der zeitlichen Komponente verknüpft werden (Erfahrungen Ist- Zeit und rückblickend)
• Während der Diskussion könnten Abstimmungen über Mobiltelefon durchgeführt werden (auch über The- men, die sich spontan ergeben), um ein Meinungsbild einzuholen.
Abbildung 11: Befragungsgruppen und Erhebungsinstrumente der Zielgruppe 4 (ee concept GmbH) FB = Fragebogen
Evaluationsthemen:
• Bekanntheitsgrad
• Akzeptanz
• Positive Entwicklungen
• Zusammenarbeit Markt / BNB
Anmerkungen:
• Aufgrund der hohen Anzahl an Adressaten muss in dieser Zielgruppe eine Zufallsstichprobe gezogen wer- den.
• Im Zentralverband Deutsches Baugewerbe (ZDB) sind 35.000 mittelständische Bauunternehmen ver- schiedenster Sparten vertreten.
• Die Fragen an diese Zielgruppe sollten generell gehalten werden (nicht nur BNB-bezogen, da EPDs etc.
beispielsweise für BNB und DGNB relevant sind). Am Ende sollte jedoch die Frage gestellt werden, ob insbesondere das BNB ihnen bekannt ist.
• Durch eine gewerkeweise Betrachtung kann herausgefiltert werden, an welchen Stellen das BNB bereits problemlos umgesetzt wird. Anschließend kann der Fokus auf die Gewerke gelegt werden, die Verbesse- rungspotentiale bieten.
Abbildung 12: Befragungsgruppen und Erhebungsinstrumente der Zielgruppe 5 (ee concept GmbH) FB = Fragebogen, EI = Einzelinterview
Evaluationsthemen:
• Nutzerzufriedenheit
• Mehrwert für Betreiber Anmerkungen:
• In der Zielgruppe 5 ist aktuell noch mit wenig Nutzer- und Betreibererfahrungen zu rechnen.
• Bei den Bundesbauten sind die Nutzer die Verwaltungen und die gebäudenutzenden Personen, der Be- treiber ist die Bundesanstalt für Immobilienaufgaben (BImA).
• Bei den Ländern sind die Betreiber die Liegenschaftsbetriebe.
• Dem Betreiber gegenüber muss klar kommuniziert werden, dass der Nutzer nicht den Betreiber (BImA) bewertet.
• Es werden Nutzer und Betreiber von Gebäuden ausgewählt, die besonders interessant erscheinen und schon möglichst lange in Betrieb sind.
• Es können auch Nutzer und Betreiber von nicht zertifizierten Gebäuden miteinbezogen werden und die Ergebnisse gegenübergestellt werden.
• Als Grundlage für die Befragung kann der Fragenbogen aus dem BNB-Nutzungsprofil „Nutzen und Betrei- ben“ (BNB_BB), Kriterium 5.3.1, Anlage 2 und 3 verwendet werden.
B.4.2 Durchführung der Datenerhebung
In der sogenannten Feldphase findet die Datenerhebung statt. Sie beginnt mit dem Versand der Fragebögen bzw. mit der Zusammenkunft der Teilnehmer der Diskussionsrunde oder des Interviews. Für den Versand der Fragebögen ist der Zeitpunkt gut zu wählen. Beispielsweise ist es wichtig, dass dieser außerhalb der Ferien- zeiten liegt. Ebenso ist auf einen geeigneten Abstand zwischen Versand und Abgabetermin des Fragebogens bzw. zwischen Einladungsversand und dem Veranstaltungstermin der Diskussionsrunde oder des Interviews zu achten. Mit der Einladung zur Diskussionsrunde sollte auch die Agenda versendet werden.
Schriftliche Befragungen und Online-Fragebögen laufen in der Regel über zwei bis drei Wochen. Es sollte in regelmäßigen Abständen geprüft werden, wie viele Rückmeldungen bereits eingetroffen sind, um gegebenen- falls eine Erinnerung zu verschicken. Es bietet sich an, die Einladung zur Umfrage zu Beginn der Woche zu versenden und zum Ende der Woche (Freitag) die Empfänger noch einmal an den Fragebogen zu erinnern.
So werden sowohl Adressaten angesprochen, die die Beantwortung des Fragebogens unter der Woche vor- nehmen, als auch solche, die dies am Wochenende tun.
Die Diskussionsrunde beginnt mit der Begrüßung der Teilnehmer und der Vorstellung der vorab versendeten Agenda. Ebenfalls am Anfang sollte ein Hinweis zu den benutzten Aufzeichnungsverfahren erfolgen und die Teilnehmer über die Anonymisierung der Datenerhebung informiert werden. Nach der Vorstellungsrunde der Teilnehmer eröffnet der Moderator die Diskussionsrunde mit einleitenden Worten zum Evaluationszweck und Themenschwerpunkt der Diskussion. Ziel ist es, neben der Datenerhebung im Verlauf der Diskussion bereits konstruktive Vorschläge für die Weiterentwicklung herauszuarbeiten. Leichte Fragestellungen und positive Verstärkung der ersten Wortbeiträge tragen dazu bei, dass sich mehr Teilnehmer an der Diskussion beteili- gen. Der Moderator sollte darauf achten, dass möglichst alle Teilnehmer an der Diskussion beteiligt sind. Da- für können neue Themenaspekte aufgegriffen und Anregungen gegeben werden. Grundsätzlich gilt aber, dass der Gesprächsverlauf sich spontan entwickeln und die Beeinflussung auf ein Minimum begrenzt werden sollte. Innerhalb der Diskussionsrunde gibt es die Möglichkeit, zu kritischen Themen und spontanen Fragen ein Meinungsbild bzw. eine anonymisierte Abfrage einzuholen. Mehrere Dienstleister bieten Abstimmungen über Mobiltelefon, Laptop oder andere Endgeräte an. Zudem können im Fall einer vorangegangenen Befra- gung die Ergebnisse der Fragebögen der Diskussionsrunde vorgestellt werden und Auffälligkeiten nachbe- sprochen werden. Zum Schluss werden die Diskussionsinhalte noch einmal zusammenfassend wiederholt.
Das dient zum einen dazu, die Kernaussagen festzuhalten und zum anderen dazu, sich abzusichern, dass diese mit den Aussagen der Teilnehmer übereinstimmen. Abschließend sollten alle Teilnehmer, Befragten und Beteiligten eine Danksagung erhalten und über den weiteren Evaluationsprozess bzw. über die Veröffent- lichung der Evaluationsergebnisse informiert werden.
