Entscheidungsunterstützung für die Planung regionaler Projekte unter Berücksichtigung nachhaltiger Entwicklung
Nils Giesen, Tabassom Hashemi Farzad, Jorge Marx Gómez Fakultät II Department für Informatik
Abteilung Wirtschaftsinformatik I – Very Large Business Applications Carl von Ossietzky Universität Oldenburg
Ammerländer Heerstr. 114118 26129 Oldenburg
Giesen@wiol.de, H.Farzad@wiol.de Jorge.Marx.Gomez@unioldenburg.de
Abstract: Neben ökonomischen Aspekten werden vermehrt auch soziale und ökologische Faktoren in die Planungsphase von Projekten einbezogen. Um die dabei auftretende Komplexität zu verringern, werden Informationssysteme benötigt, die bei der Verwaltung der Planung, der Durchführung von Analysen und der abschließenden Entscheidungsfindung unterstützen. Als zusätzlicher Anreiz kann die so entstehende Datenbasis als Darstellungsmöglichkeit für den Umsetzungsgrad einer nachhaltigen Entwicklung in einer Region genutzt werden.
Die notwendigen Informationen, möglichen Planungen und Entscheidungshilfen können öffentlich zur Diskussion gestellt werden, um eine direkte Integration der Öffentlichkeit in Form von eParticipation in Entscheidungsprozesse zu ermöglichen. Weiterentwicklungen und Erweiterungen des Informationssystem stellen eine Integration der Daten in und aus betrieblichen Informationssystemen und somit eine Einbindung weiterer Entscheidungsvorgänge sowie die Verwendung sozialer und semantischer Methoden (Web 2.0/ Web 3.0) zur Verfügung.
1 Motivation
Der gesellschaftliche und politische Druck zu einer nachhaltigen Handlungsweise in vielen Bereichen ist in den vergangenen Jahren stark gestiegen. Dies führt unter anderem dazu, dass eine Vielzahl an einzelnen SoftwareTools entwickelt worden, die Anwender bei diesem Problem unterstützend sollen.
Die Aufgaben dieser Tools reichen dabei über viele Anwendungsbereiche, die für die Darstellung und Bewertung des Standes der Nachhaltigkeit benötigt werden. So sind Tools entstanden, die bei den Aufgaben der Erfassung, der Kategorisierung und der Analyse der benötigten Daten assistieren, den Planungsablauf gestalten oder die Integration der Öffentlichkeit in den Ablauf und die Entscheidungsbildung unterstützen.
Im Bereich des Integrierten Küstenzonen Management (IKZM) existieren mehrere nationale und internationale Projekte, die beispielsweise wie das Projekt IKZM Oder [Bosecke 2004] die Unterstützung von GeoInformationssystemen (GIS) bieten, und damit die für die Ablaufplanung benötigten Informationen in einem einheitlichen Format integrieren. Ebenfalls werden Metadaten verwendet um Informationen über die Projektregionen transparent darzustellen und der Öffentlichkeit zu präsentieren, wie es im Projekt NOKIS [Lehfeld 2002] durchgeführt wird.
Weitere Tools stellen Unterstützung bei der Entscheidungsfindung bereit, indem sie die Prozesse abbilden und bewerten, die für eine Entscheidung notwendig sind. So wird durch das Framework Dicodess [Gachet 2004, Dicodess 2009] die Entwicklung verteilter kooperative Entscheidungsunterstützungssysteme unterstützt. Zur Lösung multikriterieller Entscheidungsprobleme kann die MACBETHMethodik (Measuring Attractiveness by a Categorical Based Evaluation Technique) [Bana 1999, MACBETH 2009] verwendet werden.
Obwohl es mehrere individuelle Ansätze gibt, existiert bisher kein allumfassender Ansatz für ein Tool zur Projektbewertung unter Berücksichtigung einer nachhaltigen Entwicklung. Solch ein Tool sollte den Projektplanungsablauf ebenso berücksichtigen wie die Auswahl und Evaluierung der benötigten Bewertungssysteme.
Die Definition einer nachhaltigen Entwicklung, wie sie im Bericht der Brundtland Kommission [Hauff 1987], führt bei der Umsetzung eines allumfassendes Softwaretools zu integrative Strategien. Daher müssen soziale, ökologische und ökonomische Faktoren der nachhaltigen Entwicklung bei der Planung und Umsetzung von Projekten berücksichtigt werden müssen. Die beste Lösungsmöglichkeit in Form eines Software
Tools stellt dabei ein webbasiertes Portal dar, welches eine rollenabhängige Kombination aus Informations, Analyse und Entscheidungssystemen bietet. Ein solches integriertes System sollte damit unter anderen folgende Anforderungen erfüllen können:
• Strukturierte Administration, Bearbeitung und Darstellung der für die Darstellung des Standes der nachhaltigen Entwicklung benötigten Daten einer Region – Speicherung und Zugriff dieser Daten sollte nachvollziehbar und leicht erreichbar sein, ebenso stellen diese Daten die Grundlage für die Planungen und verschiedene Berechnungen.
• Darstellung des aktuellen Stands sowie die Veränderung der nachhaltiger Entwicklung in einer Region – Vor der Planung einer Aktivität muss der initiale Stand und die erwartete Entwicklung des Standes der nachhaltigen Entwicklung dokumentiert werden.
• Intuitive Entscheidungsunterstützung bei der Auswahl einer Aktivität oder eines Projektes – Die Simulation der Auswirkungen verschiedener Projekte oder der verschiedenen Alternativen eines Projektes sollte einen übersichtlichen Vergleich ermöglichen und damit die Auswahl einer möglichst effektiven und nachhaltigen Realisierung ermöglichen.
• ePartizipaition – die interessierte Öffentlichkeit soll in den Entscheidungs
findungsprozess einbezogen werden. Bei der Umsetzung eines transparenten Entscheidungsprozess für die Öffentlichkeit und der Umsetzung einer öffentlichen Diskussion wird die Akzeptanz der getroffenen Entscheidungen erhöht.
Diese Anforderungen bilden die Basis für die prototypische Entwicklung eines web
basierten Informationssystems zur Bewertung regionaler Projekte unter Berücksichtigung nachhaltiger Entwicklung. Der erste Prototyp wurde als Machbarkeitstudie der Hauptfunktionalität durch die studentische Projektgruppe SPOINK [Spoink 2006] realisiert. Der Prototyp erlaubt den Test und die Validierung des gewählten Ansatzes der Entscheidungsunterstützung für die Projektplanung unter Berücksichtigung der nachhaltigen Entwicklung. Ebenso kann die Fragestellung beantwortet werden, ob der Vorgang der nachhaltigen Entwicklung mit einem automatisiertem System gemessen, bewertet und verglichen werden kann. Die anvisierte Verwendung des Systems, basierend auf dem Prototyp, ist nicht auf regionale Projekte beschränkt. Neben den regionalen Interessenvertretern (Bürgermeistern, Stadträten, …) bestimmter Projekte können auch Unternehmen Vorteil aus einem solchen System ziehen, in dem sie verschiedene Varianten von Projekten evaluieren lassen oder für vielversprechende Projekte Investoren suchen oder als solcher eintreten.
2 Gewählter Ansatz
Vor der Implementierung des Prototypen mussten verschiedene grundlegende Frage
stellungen gelöst werden, um einen optimalen Weg zur Lösung des Problems zu finden.
Einige dieser Fragestellungen werden nun im Detail vorgestellt.
2.1 Den Stand der nachhaltige Entwicklung messen
Eine der ersten Herausforderungen ist es, Nachhaltigkeit messen zu können. Mit einer solchen Methode kann sowohl der Stand der (Umsetzung der) Nachhaltigkeit einer Region aufgezeigt werden, als auch die erwarteten Auswirkungen eines konkreten Projekts. Im Bericht Our Common Future [WCED 1987, Hauff 1987] wird nachhaltige Entwicklung definiert als eine Entwicklung, „die den Bedürfnissen der heutigen Generation entspricht, ohne die Möglichkeiten künftiger Generationen zu gefährden, ihre eigenen Bedürfnisse zu befriedigen und ihren Lebensstil zu wählen.“. Es ist offensichtlich, dass der aktuelle Stand der nachhaltigen Entwicklung einer Region benötigt wird, um die Entwicklung zu einem unbestimmten zukünftigen Datum zu bestimmen.
Um Nachhaltigkeit zu messen, und um die Nutzung eines Informationssystems zu ermöglichen, wurden für den Prototypen Indikatoren genutzt, welche konkret messbare Daten für die verschiedenen Merkmale sozialer, ökologischer und ökonomischer Faktoren ermöglichen. Die Indikatoren bilden dabei eine Schablone, die im konkreten Fall mit Daten gefüllt bzw. belegt werden. Dadurch können konkrete und diffuse Informationen für dasselbe Projekt oder dieselbe Region verwendet werden. Ebenso wird durch die Verwendung von Indikatoren eine transparente und nachvollziehbare Bewertung ermöglicht. Jeder Indikator kann auf die konkrete Quelle der Informationen zurückverfolgt werden, unabhängig von der Art der Informationen. Zur besseren Einordnung werden die Indikatoren einer bestimmten Kategorie zu geordnet. Die Grundkategorien in Verbindung in der Betrachtung der nachhaltigen Entwicklung sind soziale, ökonomische und ökologische Indikatoren. Verschiedene konkrete Projekte können davon abweichend zusätzlich weitere individuelle Kategorien enthalten, wie Wohlstand, Wettbewerbsfähigkeit oder Umweltfreundlichkeit. Falls notwendig können diese detaillierteren Unterkategorien können auf die Hauptkategorien reduziert werden.
Dieses flexible Modell der Kategorisierung ermöglicht gleichermaßen eine Planung genereller als auch spezialisierter Projekte mit unterschiedlichen Kategorien. Mit diesem flexiblen Modell der Kategorien können auch unterschiedliche Sichtweisen auf die Definition einer nachhaltigen Entwicklung berücksichtigt werden.
Jeder Indikator beinhaltet ein Set aus Minimal, Maximal und IdealWerten. Der einzelne Wert eines Indikators repräsentiert die konkrete Ausprägung eines Merkmals und dient als Angabe des Zustandes der Umgebung. Neben diesen Werten hat ein Indikator eine konkrete räumliche und zeitliche Gültigkeit. Dies erlaubt die Betrachtung der Veränderungen und dort auftretender regionaler Unterschieder und Trends für jedes Merkmal. Der Referenzparameter für einen Indikator ist in der Regel auf eine bestimmte Fläche oder eine Personengruppe bezogen, der als Bezugsgröße angegeben werden muss. Durch die Verbindung des aktuell gültigen Wertes eines Indikators und des Ideal
Wertes kann die Veränderung des Standes der nachhaltigen Entwicklung einer Region festgestellt werden.
Die Festlegung und Freigabe von Indikatorwerten und die Bedeutung dieses Wertes für die nachhaltige Entwicklung muss von einem Experten der entsprechenden Kategorie durchgeführt werden. Nur durch einen solchen Experten kann die korrekte Verwendung eines solchen Indikators und der entsprechenden Werte garantiert werden, unter Berücksichtigung das die große Menge an Indikatoren die sich erstellen lassen können manuell überprüft werden müssen. Zur besseren Nachvollziehbarkeit der Basis der späteren Entscheidungsfindung sollten die Basisdaten der Indikatoren der Öffentlichkeit zur Verfügung gestellt werden. Die Messung des Standes der nachhaltigen Entwicklung für das gewählte Konzept kann nur auf Basis von Indikatoren erfolgen.
Zur Messung des aktuellen Stands der nachhaltigen Entwicklung in einer Region oder der Veränderungen eines Projektes an diesem Stand werden jeweils unterschiedliche geeignete Indikatoren aus den verschiedenen Kategorien benötigt. Um diesen häufig durchgeführten Schritt zu vereinfachen, ist es möglich verschiedene Indikatoren in ein sogenanntes IndikatorSet zusammenzufassen. Solch ein IndikatorSet ermöglicht eine schnelle Auswahl gängiger oder relevanter Indikatoren zu einer Region oder zu einem Projekt. Es gibt verschiedene Organisationen und Institutionen die sich mit der Erstellung solcher IndikatorSets beschäftigen, beispielsweise der OECD [OECD 2005], der CSD [UNCSD 2008] oder der Agenda 21[BMU 1992].
Mit dem ersten Prototypen werden alle Anforderungen an Indikatoren oder Indikator
Sets erfüllt. Das Konzept der unbeschränkten und individuellen Kategorien ermöglichen eine schnelle und einfache Anpassung an neue Erweiterungen des Begriffes Nachhaltigkeit, neue Indikatoren können durch Experten hinzugefügt und bewertet werden, auf Basis der hinterlegten Informationen und Daten. Dies ermöglicht ein IndikatorSystem, welches langfristig genutzt werden kann und jederzeit flexibel genug ist, neue Strömungen und Trends darzustellen.
2.2 Stand und Entwicklung einer Region
Der erste Schritt zur Darstellung des Zustandes (des Standes der nachhaltigen Entwicklung) einer Region ist die Auswahl der Region. Für den ersten Prototypen wurde für die Realisierung dieser Funktion auf ein einfaches graphisches Interface [UNM 2009] zurückgegriffen, welches in das webbasierte System integriert wurde. Der zweite Schritt ist die Wahl eines entsprechenden IndikatorSets, durch welches die Veränderung oder der Zustand der nachhaltigen Entwicklung bewertet werden soll. Je nach Wahl der Region kann in dieser Phase eine Aggregation oder Interpolation der Werte notwendig werden. So kann für eine gewählte Region X der Fall auftreten, dass einige Indikatoren jeweils für die überschneidenden Regionen Y1 und Y2 vorhanden sind. Um einen gültigen Wert für die Region zu berechnen, werden in diesem Fall die betreffenden Teilregionen in X berechnet und die Anteiligen Werte des Indikators zu einem Indikator für die Region X aggregiert. Ebenso können für einzelne nicht überlappende Regionen TeilIndikatorwerte gebildet werden. Für den Fall der zeitlichen Überschneidung wird ein gewichteter Mittelwert der betreffenden Indikatoren bestimmt, ebenso ist durch Interpolation möglich, fehlende Werte zu bestimmen.
Für die Darstellung des Standes der nachhaltigen Entwicklung in einer bestimmten Region werden die Informationen aus den einzelnen Indikatoren in Form verschiedener Grafiken (Tabellen, Balkendiagramme, Polargraphen...) dargestellt. Neben dem aktuellen Wert des Indikators wird der IdealWert dargestellt. Die Entwicklung einer Region wird anhand des Vergleiches des Zustands zwischen zwei Zeitpunkten dargestellt. In Verbindung mit der linearen Interpolation besteht die Möglichkeit eine gewisse Prognose zu erstellen.
2.3 Auswirkungen von Projekten und der Vergleich von Alternativen
Die Möglichkeit, die Darstellung des Standes der nachhaltigen Entwicklung in einer Region erlaubt die Region an sich zu bewerten, für eine nachhaltige Entwicklung müssen aber angedachte Maßnahmen auf ihre Auswirkungen auf diese Entwicklung abgeschätzt werden. In dem ersten Prototypen werden solche Maßnahmen als Projekt betrachtet, das neben unterschiedlichen Bewertungsmöglichkeiten auch verschiedene alternative Ausprägungen besitzen kann. Jede dieser Alternativen kann individuell bewertet und ausgeplant werden. Um die Planung dieser konkreten Projekte anhand der vorliegenden Daten zu ermöglichen und Analysen durchzuführen, nutzt der erste Prototyp eine Komponente zum Erstellen, Planen und Bewerten von Projekten.
Ein Projekt ist eine abstrakte Administrationseinheit, die mehrere Metadaten enthält und allgemein beschreibt, was durch das Projekt dargestellt werden soll:
• Die Aufgabe des Projektes – eine allgemeine Beschreibung der Ziele die mit dem Projekt erreicht werden sollen.
• Der Zeitraum des Projektes – Konkrete Zeitpunkte für Start und Ende des Projektes
• Die Region des Projektes – eine konkrete, an das GIS angebundene Beschreibung des regionalen Raums, in dem das Projekt wirkt.
Da es verschiedene mögliche Bewertungsmöglichkeiten für eine nachhaltige Entwicklung gibt, kann jedes Projekt unter verschiedenen Bewertungsvarianten, mit jeweils unterschiedlichen IndikatorSets bewertet werden. Dies ermöglicht eine Bewertung unter verschiedenen Gesichtspunkten.
Für jedes konkrete Projekt gibt es wiederum verschiedene Realisierungsmöglichkeiten, die Projektalternativen. Jede Alternative wird unter jede Bewertungsmöglichkeit hinzugefügt, um über alle Realisierungsvorschläge gleichermaßen abstimmen zu können. Mit den Alternativen können verschiedene Wege der Erreichung der Ziele simuliert werden, die jeweils unterschiedliche Auswirkungen auf die (zu bewertenden) Indikatoren haben können. Um einen stabilisierenden Faktor in die Planung zu integrieren, werden die erwarteten Veränderungen durch die Alternativen der Projekte in drei verschiedene Fälle eingeordnet:
• Erwartete Veränderung – der Wert an Veränderung am Indikator der erwartet und gewollt wird vom ProjektPlaner.
• Worst Case – die schlechteste Veränderung am Wert des Indikators die durch das Projekt eintreten kann.
• Best Case – die beste Veränderung am Wert des Indikators die durch das Projekt eintreten kann.
Dieses Konzept verringert das Problem zu riskanter „optimistischer“ Projektalternativen, da in der Entscheidungsfindung immer auch die Worst Case Fälle sichtbar sind, und so eine Alternative gewählt werden würde, die weniger starke negative Auswirkungen bei der Realisierung mit sich führt. Die Phase der Entscheidungsunterstützung wird durch ein multikriterielles Entscheidungssystem (MCDA) unterstützt, in welcher die verschiedenen Bewertungsvarianten der Planungsalternativen verglichen werden und die insgesamt (nach einer festzulegenden Gewichtung der Bewertungsfaktoren) vorteilhafteste Alternative hervorgehoben wird. In Hinblick auf die große Anzahl an auftretenden Indikatoren wird im Prototypen als MCDAMethode Promethee gewählt.
Diese Methode erlaubt ein paarweises Vergleichen der Alternativen für jedes einzelne Kriterium, die unterschiedlich gewichtet werden. Um einen Gesamtvergleich zu erreichen, werden die Ergebnisse durch eine gewichtete Summe zusammengefasst. Die so berechneten Ergebnisse werden zusätzlich in einer graphischen Variante ausgegeben, um einen schnellen Überblick über die verschiedenen Varianten zu ermöglichen. Die Entwicklung einer Region wird von den jeweiligen Projekten beeinflusst, die im gegebenen Zeitraum projiziert werden. Diese Projekte können individuell ausgewählt werden, um die zukünftigen Auswirkungen eines Projektes in einer Region darzustellen.
2.4 Rollenkonzept und Qualitätssicherung
Der Prototyp unterstützt vier verschiedene Benutzerklassen, welche die Prozesse der Datenintegration und der Projektplanung separieren. Neben dem systemweiten Administrator, der als Techniker für das gesamte System dient, sind die weiteren Rollen auf verschiedene Projekte, Kategorien oder Indikatoren beschränkt. User die sich mit der Integration von Informationen beschäftigen fallen unter die Rolle des Statistiker. Diese können die Daten bzw. Informationen in das System einstellen (und auf die Quelldaten verweisen). Diese Informationen werden durch die Klasse der Experten verifiziert.
Experten beaufsichtigen die Indikatoren der Kategorie, in der sie als Experte gelten. Die Rolle des Planers wird den Usern zugewiesen, die sich mit der Planung der einzelnen Projektalternativen beschäftigen. Die endgültige Analyse und Ausführung der MCDA
Berechnung obliegt den Usern der EntscheiderRolle, die diese Aufgaben neben der administrativen Generierung der Projekte ausführen. Es ist möglich und nicht ausgeschlossen, dass einzelne User mehrere Rollen erfüllen, insbesondere im Bereich der Statistiker und der Experten gibt es mehrere Überschneidungsmöglichkeiten.
Innerhalb des Prototyps ist es möglich, eine große Anzahl an heterogenen Informationen zu integrieren, aggregieren und zu bewerten. Um ein verlässliches Ergebnis zu erhalten, ist es notwendig ein Konzept der Qualitätssicherung zu integrieren. Wie bei vergleichbaren Systemen setzt der Prototyp auf einen PeerReview Prozess [Ahlers 2004]. Ein Statistiker kann Informationen hinzufügen und empfehlen, aber die Validierung eines Experten wird benötigt, um diese Informationen im System einsetzen zu können. Um diesen Vorgang zu beschleunigen, können die Informationen mit weiteren Hinweisen belegt werden. Ein ähnliches Verfahren wird bei den Komponenten für die Projektplanung und die MCDABerechnung vorgenommen, um Manipulationen zu verhindern.
2.5 ePartizipation
Eine nachhaltige Entwicklung bedeutet immer eine Integration der interessierten Öffentlichkeit [BMU 1992]. Insbesondere wenn Projekte von öffentlichem Interesse geplant werden, bietet sich eine frühzeitige Integration der Öffentlichkeit an, wenn diese ohnehin nicht verpflichtend ist. Um eine solche Integration zu ermöglichen wird in dem ersten Prototypen konsequent die Prinzipien der ePartizipation [Bräuer 2009] in jedem Entscheidungsunterstützungsprozess des Systems. Der erste Schritt in der Realisierung der ePartizipation ist die Verwendung eines integrierten webbasierten Systems für alle Komponenten. Dieser zentrale Ansatz erlaubt eine einfache Integration von und in verschiedene Kommunikationsmittel. Statt eines Chats oder TicketSystems wird im Prototypen auf ein Diskussionsforum zurückgegriffen, welches eine gängige und oft verwendete Form des Kommunikationsmedium im Internet darstellt. Ein solches Forum erlaubt eine asynchrone Kommunikation und zusätzlich die automatische Generierung von Inhalten als Inhalt der Diskussion. Diese Eigenschaften können von einem Chat oder TicketSystem nur schwer oder gar nicht erfüllt werden. Für alle Informationen, Indikatoren, IndikatorSets und Projekte (inklusive aller Varianten und Alternativen) werden die zugehörigen Daten und Informationen automatisch im Forum in einem eigenen Bereich erstellt und zur Diskussion gestellt.
Zusätzlich zu diesen Informationsmöglichkeiten besteht für die interessierte Öffentlichkeit die Möglichkeit, mehrere Funktionen des Systems verwenden zu können.
So können durch die Öffentlichkeit der Stand der nachhaltigen Entwicklung in einer Region angezeigt werden, die Auswirkungen von Projekten eingesehen werden oder eigene Berechnungen auf Basis der freiverfügbaren Daten durchgeführt werden.
Zusätzlich können sich Interessenten als User auf der Plattform registrieren und so mit anderen Usern, auch mit Verantwortlichen aus den Rollen Statistiker, Experte, Planer und Entscheider in Kontakt treten.
3 Zusammenfassung und Ausblick
Der erste Prototyp erfüllt grundlegend alle Anforderungen und dient als Proof of Concept der eigentlichen Projektidee. Es ist möglich, für eine Region die notwendigen Daten für die Darstellung der Nachhaltigkeit zu verwalten und eine entsprechende Übersicht zu generieren. Ebenso können Projekte geplant werden, die Auswirkungen dieser Ideen dargestellt werden und verschiedene Alternativen gegeneinander abgewägt werden. Der gesamte Ablauf wird konsequent der Öffentlichkeit gegenüber offengelegt und integriert diese, soweit wie möglich in die Entscheidungsprozesse.
Neben der grundsätzlichen Funktionalität benötigt ein solches System zusätzlich weitere Eigenschaften, die eine Verwendung ermöglicht. So besteht der erste Prototyp teilweise aus vorgefertigten Komponenten und verwendet ein relativ festes Framework, das die Erweiterung mit weiteren Komponenten zwar nicht ausschließt, aber erschwert. Zum derzeitigen Zeitpunkt befindet sich ein zweiter Prototyp in der Entwicklung, der bei der Entwicklung neue Schwerpunkte in diesen Bereichen setzt. So sollen unteranderem der Aspekt der Usability stärker in die Betrachtung fließen. Ebenso sollen Methoden und Konzepte des Web 2.0 eingesetzt werden, um eine stärke Nutzerbindung an das System zu erreichen. Über offene Schnittstellen soll der automatische Import und Export verschiedener Daten erleichtert werden, was den gesamten Arbeitsablauf erleichtern wird. Insbesondere die Erweiterung mit standardisierten Schnittstellen soll die Attraktivität einer solchen Plattform für Unternehmen stärken.
Literaturverzeichnis
Ahlers, D. (2004): „Entwicklung einer webbasierten ReviewingKomponente für eine ökologische Pflanzendatenbank“, Diplomarbeit, Carl von Ossietzky Universität Oldenburg.
Bana e Costa, C.A., Vansnick, J.C. (1999): The MACBETH approach: basic ideas, software and an application. In: N. Meskens, M. Roubens (Eds.), Advances in Decision Analysis, Kluwer Academic Publishers, Dordrecht, pp. 131157.
BMU (Hrsg) (1992): „Agenda 21 – Konferenz der Vereinten Nationen für Umwelt und Entwicklung im Juni 1992 in Rio de Janeiro“, Bundesministerium für Umwelt,
Naturschutz und Reaktorsicherheit.
http://www.bmu.de/files/pdfs/allgemein/application/pdf/agenda21.pdf last access 26.01.2009
Bosecke, T.(2004): „Wesen und Systematik des Integrierten Küstenzonenmanagements und daraus resultierende Anforderungen an Inhalt und Umsetzung“, in: „Natur und Recht“, Springer Berlin / Heidelberg, Band 26, Nummer 12, Dez. 2004
Bräuer, M.; Biewendt, T. (2009) RankingStudie zur internetgestützten Bürgerbeteiligung http://www.initiativeeparticipation.de/, last access 28.01.2009
Deutsche Umwelthilfe (Hrsg.) (2004): „Abschlussdokumentation des Wettbewerbs
„Zukunftsfähige Kommune“ und Dokumentation des dritten Wettbewerbsjahres 2003/2004“, DUH UmweltschutzService GmbH, November 2004
Dicodess Soureforge Project Hompage (2009), http://dicodess.sourceforge.net/, last access 28.01.2009
Köckler, Heike (2005): Zukunftsfähigkeit nach Maß – Kooperative Indikatorenentwicklung als Instrument regionaler AgendaProzesse. Wiesbaden: VS Verlag für Sozialwissenschaften, XVIII, 274 S., ISBN: 3531144944.
Gachet, A. (2004): „Building ModelDriven Decision Support Systems With Dicodess“, vdf Hochschulverlag AG, ISBN 3728129526
Hauff, V. (Hrsg.) (1987): "Unsere gemeinsame Zukunft. Der BrundtlandBericht der Weltkommission für Umwelt und Entwicklung", Greven,1987, Eggenkamp Verlag, 448 S., ISBN 3923166168
Lehfeldt, R., Heidmann, C. (2002): „NOKIS – a metadata information system for German coastal regions of the North Sea and Baltic Sea“, in RA Falconer, B Lin, EL Harris, CAME Wilson, ID Cluckie, D Han, JP Davis, S Heslop (Hrsg.) Hydroinformatics 2002. Proc.
5th Intl. Conf., Cardiff. IWA Publishing, London, S. 15071512.
MacBeth Project Homepage (2009), http://www.mmacbeth.com/index.html, last access 28.01.2009
OECD (2005): Environment and the OECD Guidelines for Multinational Enterprises: Corporate Tools and Approaches“, Industry, Service and Trades, pp.1146
Our Common Future (1987), Oxford: Oxford University Press. ISBN 019282080X
SPOINK (2006) Giesen, N., Chen, L., Dahlem, N., Finke, J., Hornischer, O., Lederer, A., Süpke, D., Vogel, U., Yang, J., Zurhorst, N. und Sonnenschein, M., 2006: Ein Informationssystem zur Bewertung regionaler Projekte unter Berücksichtigung nachhaltiger Entwicklung. In: J. Wittmann, M. Müller (Hrsg.): Simulation in Umwelt
und Geowissenschaften. Workshop Leipzig 2005 ASIMMitteilung AM 106, ISBN 3832251324, pp. 99108
UNCSD (2008): „Indicators of Sustainable Development, Framework and Methodologies“, URL:http://www.un.org/esa/sustdev/natlinfo/indicators/isd.htm last access 21.01.2009 UNM MAPSERVER (2009), UNM MapServer development environment for building spatially
enabled internet application, http://ms.gis.umn.edu/ last access 22.01.2009