Schicht 3: Datenpool

Das zentrale Element der hier vorgeschlagenen Architektur wird von einem Datenpool gebildet, der Eigenschaften von sowohl Datawarehouse-Datenbanken als auch Opera-tional Data Stores kombiniert.

Wie in Abschnitt 3.1.2 erläutert wurde, besteht die Intention einer Datawarehouse-Datenbank darin, vor allem aggregierte Daten über einen längeren Zeitraum persistent zu speichern [Inm05]. Im Gegensatz dazu ist ein Operational Data Store in der Data-warehouse-Terminologie ein Datenbankschema, dessen Zweck darin besteht, nicht-aggregierte, flüchtige Daten über einen kurzen Zeitraum zu halten [Inm99]. Des Wei-teren können die Daten im Operational Data Store um abgeleitete (sekundäre) Daten ergänzt werden.

In der Pflanzenbiologie wird häufig sehr problemorientiert geforscht und Fragestellun-gen sind oftmals nur für eine bestimmte Zeit von Interesse. Daher stellt sich die Frage, inwieweit es sinnvoll ist, jeweils zu versuchen, komplexe Datawarehouse-Schemata zu entwickeln. Zum einen ist der Entwicklungsprozess zeitaufwendig und zum anderen sind solche Schemata, vor allem Stern- oder Schneeflockenschemata, auf bestimmte Analysen zugeschnitten und müssen im Falle der Nutzung für andere Analysen neu aus den Quellen in andere Schemata etc. importiert werden.

Daher wäre es vorteilhaft, einen Basisdatenpool aufzubauen und zu pflegen. Zur Si-cherstellung einer hohen Qualität erscheint es sinnvoll, Werkzeuge zur manuellen Ku-rierung der Daten zu schaffen. Die manuelle KuKu-rierung von Daten findet in der Pflan-zenbiologie zunehmend Verbreitung [ZFT⁺05]. Im Rahmen dieser Arbeit wurde ein solches Vorgehen in [WGK⁺06] und [GBWK⁺08] beschrieben.

Der Basisdatenpool kann die Grundlage späterer Analysen bilden. Die Analysen in der Pflanzenbioinformatik sind unterschiedlicher Natur; das in Unternehmens-Dataware-houses häufig eingesetzte OLAP stellt hier nur einen kleinen Anteil.

Für den Basisdatenpool wird die Verwendung datendomänenspezifischer Schemata vorgeschlagen. Um Daten aus neuen Quellen zeitnah und mit nur geringem Aufwand in den Datenpool zu importieren, müssen diese Schemata nach Möglichkeit gene-risch sein. Hierfür bietet es sich an, je nach Datendomäne, zwischen einer klassischen relationalen Modellierung sowie der Verwendung des so genannten Entity-Attribute-Value-Ansatzes (EAV) abzuwägen. Die Vor- und Nachteile des jeweiligen Vorgehens sollen im Folgenden diskutiert werden.

6.3. Schicht 3: Datenpool 95 Klassische relationale Modellierung

Die klassische relationale Modellierung ist die etablierte Technik. Hierbei werden Ei-genschaften von Realweltobjekten auf Attribute von Modellobjekten abgebildet. Da-durch kann das Ausmaß der Logik, die in der Applikationsebene benötigt wird, relativ niedrig gehalten werden. Jedes Attribut stellt eine Spalte in einer Tabelle dar. Refe-rentielle Integritäten etc. können durch herkömmliche DBMS-Mechanismen sicherge-stellt werden. Ein solches Schema kann auch ohne tieferes Hintergrundwissen gelesen werden. Allerdings impliziert dieses Vorgehen eine Reihe von Nachteilen. Die Art der Modellierung ist vergleichsweise statisch. Kommen weitere Attribute hinzu, muss ei-ne Schemaanpassung durchgeführt werden. Fallen Attribute weg, muss ebenfalls das Schema geändert werden respektive diese Attribute altern aus. Das Hinzufügen ei-nes Attributes bedeutet nicht zwangsläufig nur die Erweiterung einer Tabelle. In vie-len Fälvie-len ist damit das Erstelvie-len einer neuen Tabelle (1:n-Beziehung) verbunden, um der Normalform zu entsprechen. Bei m:n-Beziehungen kommen noch Brückentabel-len hinzu. Je nach Frequenz der Schemaanpassungen kann es damit zu einer schwer überschaubaren Anzahl von Tabellen kommen. Abbildung 6.2 zeigt ein Beispiel für diese Art der Modellierung.

ID Taxon

1 Hordeum vulgare L.

2 Lycopersicon esculentum Mills.

3 Triticum aestivum L.

Taxon

ID Herkunft 1 Deutschland 2 Großbritannien 3 China

Herkunft

Resistenz Beschreibung 7 gering 8 mittel 9 hoch Resistenz ID Akzessionsnummer Taxon_ID Herkunfts_ID

1 HOR 1234 1 2

2 TRI 12 2 3

3 LYC 10 3 1

Pflanze

ID Pflanzen_ID Jahr Wuchshöhe Ertrag Blühzeitpunkt Resistenz …

1 3 1975 100 500 10. Mai 7 …

2 1 1980 90 350 30. Apr 8 …

3 2 2006 120 800 15. Mai 9 …

Beobachtungen

Abbildung 6.2: Speicherung phänotypischer Beobachtungswerte mit klassischer rela-tionaler Modellierung

96 6. Entwicklung eines Konzepts

Entity-Attribute-Value-Ansatz

Der in Abschnitt 2.1.3 vorgestellte Entity-Attribute-Value-Ansatz (EAV) speichert, im Gegensatz zur klassischen Modellierung, Kombinationen aus Realweltobjekt (Entity), Attribut und Ausprägung (Value) als Tupel in einer Tabelle.

Die Vorteile dieses Ansatzes sollen nachfolgend erläutert werden:

• Flexibilität:

Attribute werden nicht zu Spalten einer Tabelle, sondern werden als Zeilen in einer Tabelle gehalten. Auf diese Weise ist das beliebige Hinzufügen von Attri-buten möglich, ohne das zugrunde liegende Schema anpassen zu müssen.

• Kompaktheit des Schemas:

Ein nach dem EAV-Ansatz entworfenes Schema ist sehr kompakt und unanfällig für Änderungen. Dies kann sinnvoll sein, wenn große Mengen an Datensätzen mit heterogenen Attributen abgespeichert werden sollen.

• Effizienz:

Daten können sehr speicherplatzeffizient gehalten werden. Dies betrifft vor al-lem lückenhafte Daten sowie Datensätze mit sich ändernden Attributen, wie sie für die Pflanzenbioinformatik charakteristisch sind. Bei der klassischen relatio-nalen Modellierung würden sehr viele Attribute unbesetzt bleiben.

Neben den eben beschriebenen Vorteilen sind mit dem EAV-Ansatz auch Nachteile verbunden:

• Eingeschränkte Integritätssicherung:

Bei der Verwendung des EAV-Ansatzes kommen integritätssichernde Mechanis-men relationaler DatenbankmanageMechanis-mentsysteme nur eingeschränkt zum Tragen.

Tritt beispielsweise bei der Implementierung von Anfragen ein Schreibfehler beim Namen eines Attributes auf, so führt dies nicht zu einer Fehlermeldung des DBMS. Eine Abfrage liefert in diesem Fall keine Resultate, was aber für das DBMS keinen Fehler darstellt, da der Attributname keine Tabellenspalte ist, sondern in einer Tabellenzeile gespeichert ist. Das Debuggen wird dadurch er-heblich erschwert.

Checkconstraints, referentielle Integrität etc. können teilweise über Datenbank-trigger nachgebildet werden.

6.3. Schicht 3: Datenpool 97

• Verlagerung von Logik / erhöhter Entwicklungsaufwand:

Die Verwendung des EAV-Ansatzes bedingt die Verlagerung von Logik in die Anwendungsebene, da das Schema aufgrund seiner kompakten und flexiblen Natur Realweltobjekte und ihre Beziehungen nur eingeschränkt widerspiegelt.

Dies trifft auch auf die Erweiterung EAV/CR zu.

Ein Entwickler kann nicht auf der Grundlage der in einem herkömmlichen rela-tionalen Schema modellierten Abhängigkeiten und Beziehungen aufbauen, son-dern muss sich, um die Logik implementieren zu können, zuerst umfassend in das jeweilige Anwendungsgebiet einarbeiten. Hierbei muss beachtet werden, dass sich der Gesamtaufwand vervielfacht, wenn mehrere Entwickler beteiligt sind.

• Umfangreiche Verwendung von Metadaten:

Werden nur große Mengen verschiedener Attribute verwendet, die voneinander unabhängig sind, kann die Nutzung dieses Ansatzes sinnvoll sein. Sollen aller-dings ebenfalls Beziehungen zwischen Attributen abgebildet werden, kann dies, je nach Komplexität der Beziehungen und Umfang des Schemas, zu Schwie-rigkeiten führen. Auch in der Erweiterung EAV/CR müssen hierfür eine Reihe zusätzlicher Attribute und/oder Tabellen als Metadaten eingeführt werden, um die Beziehungen abzubilden, was die Vorteile der flexiblen Modellierung rela-tivieren kann und/oder wiederum zusätzliche Logik in die Anwendungsschicht verlagert.

• Transponierung von Daten / erhöhter Rechenaufwand:

Attribute sind beim EAV-Ansatz nicht, wie bei relationalen Tabellen üblich, ne-beneinander angeordnet, sondern als Zeilen einer Tabelle untereinander. Um für Darstellungszwecke oder zur Weiterverarbeitung mit externen Werkzeugen eine konventionelle Präsentation zu erhalten, muss eine rechenaufwendige Transpo-nierung durchgeführt werden. Dies kann mit Hilfe von (PL/SQL-)Prozeduren oder auch mit einer Vielzahl von Selbstverbünden (Selfjoins) der Tabelle über Aliase realisiert werden. Wird versucht, die Tabelle, die die Attributausprägun-gen (untereinander) enthält, über Aliase mit sich selbst zu verbinden, kann dies u. U. fehlschlagen, da es bei einer Reihe von Datenbankmanagementsystemen Limitierungen hinsichtlich der Anzahl von Tabellen/Aliasen pro Verbund gibt.

Dieses Problem ist in [NB98] ausführlich beschrieben. Wird versucht, Daten mit einer (PL/SQL-)Prozedur (ohne Selfjoins) zu transponieren¹, kann dies nicht in einer einzigen Abfrage erfolgen, sondern diese Prozedur muss mehrere Teilab-fragen ausführen.

1Das im Rahmen dieser Arbeit verwendete DBMS Oracle lässt dies ohne weiteres zu.

98 6. Entwicklung eines Konzepts

• Erhöhte Fehleranfälligkeit:

Werden sehr viele Attribute verwendet und wird der Datenbestand dadurch un-übersichtlich, ist es möglich, dass Attribute z. B. in ähnlicher Schreibweise dop-pelt angelegt werden. Dies fällt bei einer klassischen Modellierung viel schneller auf.

• Performanceeinbußen:

Die Nutzung von EAV-Schemata kann mit einer Reihe von Performanceeinbu-ßen verbunden sein, insbesondere bei sehr groPerformanceeinbu-ßen Datenmengen oder bei Ver-wendung sehr komplexer SQL-Anfragen [CNM⁺00].

Schlussfolgerung

Wie eben aufgeführt, haben sowohl die klassische relationale Modellierung als auch der EAV-Ansatz Vor- und Nachteile. Daher sollten die Vorteile beider vorgenannter Techniken miteinander kombiniert werden. Es erscheint hierbei sinnvoll, diejenigen Entitäten, deren Attribute vollständig beschrieben werden können, klassisch zu mo-dellieren. Ist dies nicht möglich, kann um flexible Konstrukte ergänzt werden. Es wird vorgeschlagen, für jede der in Abschnitt 2.2.3 beschriebenen Datendomänen ein ei-genes Schema zu entwerfen. Diese Schemata müssen einerseits den Spezifika der je-weiligen Domänen Rechnung tragen, aber andererseits auch so flexibel sein, dass pro-blemlos neue Datenquellen angeschlossen werden können, ohne dass das Schema einer Adaptation bedarf.

Alle domänenspezifischen Schemata bilden gemeinsam den Datenpool aus Schicht 3 des hier beschriebenen Konzepts.