5.4 Analyse bestehender Verfahren zur Informationsauswertung
5.4.7 Qualitätsbetrachtung
In Abschnitt 5.3.1 wurden die zu erwartenden Eigenschaften der Informationsgrundlage beschrieben. In diesem Abschnitt werden die Effekte, welche durch die Eigenschaften der Informationsgrundlage verursacht werden, ana-lysiert.
Die Ausprägung des Effektes wird jeweils mit 0%, 25% und 50% betroffenen Elementen im Vergleich betrach-tet. Wobei die Darstellung mit 0% jeweils den Optimalfall darstellt, welches durch das Referenzszenario in Ab-schnitt 5.4.3 dargestellt wird.
Die in den folgenden Abschnitten aufgeführten Darstellungen zeigen die Mittelwerte, welche über 10 Testläufe hinweg gemessen wurden8.
Menge von Sensoren mit Relation zum Konzept
Wie sich die Qualität der Entscheidung abhängig von der Menge an relevanten beziehungsweise ausschlaggebenden Sensoren verhält, ist in Abbildung 5.16 dargestellt.
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 20 PM: 0 PB: 0 PF: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)Relevanz: 20%
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 80 PM: 0 PB: 0 PF: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)Relevanz: 80%
Abbildung 5.16:Vergleich verschiedener Anteile von Sensoren mit Relation zum Konzept
Eine sichere Entscheidung für eine Kontextklasse ist dann möglich, wenn sich die Domänen der Konzeptklassen nicht vollständig überdecken und mindestens ein Sensor eine Differenzierung im Bezug zu den anderen Kontext-klassen erlaubt. Die Herausforderung besteht jedoch darin, aus einer Menge von Sensoren mindestens diesen einen, relevanten Sensor zu bestimmen. Je größer diese Menge ist, desto länger benötigen die Verfahren um relevante
8 Aus Gründen der Übersichtlichkeit und der Lesbarkeit wurde auf Konfidenzintervalle verzichtet. Ein exemplarisches Szenario mit Kon-fidenzintervallen findet sich im Anhang im Abschnitt A.6.
106 5.4 Analyse bestehender Verfahren zur Informationsauswertung
Sensoren von irrelevanten zu unterscheiden. Bei 32 Sensoren und einem Anteil von 20% an relevanten Sensoren sind 6-7 Sensoren relevant für die Entscheidung. Alle anderen Sensoren liefern gleich verteilte Zufallswerte. Um die Entscheidung von dieser Menge von den 20% relevanter Sensoren abhängig zu machen und eine Qualität der Entscheidung von 90% zu erreichen, benötigen Verfahren wie NAIVE BAYES, NEARESTNEIGBOUR, SVM und NB TREE ca. 50 Trainingsinstanzen. J48 und NN GENERALIZED benötigen dagegen mit ca. 150 Trainingsinstanzen deutlich länger.
Erhöht man die Rate relevanter Sensoren, steigt auch die Lernkurve deutlich an. Bei 40% relevanter Sensoren, wie sie im Basisszenario dargestellt wurden, erreichen alle Verfahren die Genauigkeit von 90% mit 25 bis 50 Trainingsinstanzen. 80% relevante Sensoren führen zu annäherndoptimalenLernkurven (die Anzahl notwendiger Trainingsinstanzen nähert sich der Anzahl der Kontextklassen an).
Größe der Klassendomäne, Anzahl von Sensoren
Das Verhältnis der Klassendomäne zu der Anzahl von Sensoren ist bei der Betrachtung der erreichbaren Qualität ebenfalls von Interesse. Steigt, wie in Abbildung 5.17 dargestellt, die Anzahl der Kontextklassen bei gleichbleiben-der Anzahl von Sensoren, sinkt die Qualität gleichbleiben-der Entscheidung und die Länge gleichbleiben-der Lernphase.
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 8 SR: 40 PM: 0 PB: 0 PF: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)Klassendomäne: 8
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 16 SR: 40 PM: 0 PB: 0 PF: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)Klassendomäne: 16
Abbildung 5.17:Vergleich verschiedener Größen der Klassendomäne
Bei einer steigenden Anzahl von Kontextklassen steigt die Wahrscheinlichkeit für Überschneidungen im Do-mänenraum (komplette Überschneidungen wurden vermieden) und die Klassen können schwerer voneinander differenziert werden.
Fehlende Sensorwerte
In der Abbildung 5.18 sind die Auswirkungen fehlender Sensorwerte dargestellt.
In dem Szenario sind trotz fehlender Sensorwerte genug aussagekräftige Sensorwerte für jedes Konzept ver-fügbar. Dies wird deutlich durch die Genauigkeit, welche durch die Verfahren NAIVE BAYES, NB TREE oder SVM erreicht werden. Trotzdem zeigt das Entscheidungsbaumverfahren J48 sich stark von fehlenden Sensorwerten be-troffen. Diese Tatsache beruht auf der Eigenschaft des Verfahrens in jedem Knoten explizit einen Sensorwert zu betrachten. Ist dieser Wert nicht verfügbar, wird der Teilbaum weiter verfolgt, zu dem mehr Trainingsinstanzen zugeordnet werden können.
Die Qualität von NEARESTBEIGHBOUR, SVM, und NN GENERALIZED ist ebenso von dem Effekt fehlender Sensorwerte beeinträchtigt, zeigt jedoch geringe Einbrüche wie J48.
Am wenigsten von fehlenden Sensorwerten betroffen sind diejenigen Verfahren, welche auf NAIVE BAYES auf-setzen. Bei NAIVE BAYES wird eine Wahrscheinlichkeit über alle Sensorwerte berechnet. Fehlt einer dieser Werte,
5 Informationsauswertung 107
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 25 PF: 0 PB: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)25% fehlende Sensoren
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 50 PF: 0 PB: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)50% fehlende Sensoren
Abbildung 5.18:Vergleich verschiedener Raten von fehlenden Sensorwerten
so wird die Berechnung ohne den Einfluss dieses Wertes fortgeführt. Somit kann eine Aussage eines einzelnen Wertes, durch Aussagen anderer (statistisch abhängiger) Sensorwerte ergänzt werden.
Fehlende Sensorwerte - Optimierung durch Vorverarbeitung
Durch Schritte der Vorverarbeitung (siehe auch Abschnitt 5.2.5) können fehlende Aussagen ergänzt werden. Mit Hilfe von semantischen Informationen können hierzu Sensoren aggregiert werden. Im Rahmen dieses Verglei-ches, bei dem keine semantischen Informationen vorliegen, wurde hierzu ein vereinfachtes Verfahren angewendet, welches lediglich einzelne fehlende Sensorwerte, durch den bisher beobachteten Durchschnittswert des entspre-chenden Sensors ersetzt. In der Abbildung 5.19 wird der Optimierungsgrad der Genauigkeit durch diese Form der Vorverarbeitung deutlich.
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 25 PF: 0 PB: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)25% fehlende Sensoren
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 50 PF: 0 PB: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)50% fehlende Sensoren
Abbildung 5.19:Vergleich verschiedener Raten von fehlenden Sensorwerten in Kombination mit Vorverarbeitung zur Ergän-zung fehlender Werte
108 5.4 Analyse bestehender Verfahren zur Informationsauswertung
Die Analyse wurde mit denselben Parametern wie in Abbildung 5.18 durchgeführt, jedoch (bedingt durch den Aufbau) mit anderen, zufällig erstellten Instanzen. Trotzdem sind deutliche Unterschiede gerade bei dem Ent-scheidungsbaumverfahren J48 zu erkennen. Die Verfahren SVM, NN GENERALIZED, liefern durch dieses Vorgehen ebenfalls leicht verbesserte Ergebnisse, während NAERESTNEIGHBOUR und auf NAIVE BAYES basierende Verfah-ren davon relativ unbeeinflusst arbeiten.
Fehlerhafte Sensorwerte
In Abbildung 5.20 sind die Ergebnisse der Analyse, welche Auswirkungen fehlerhafte Sensorwerte haben, darge-stellt. Im Fehlerfall liefern einzelne Sensorwerte zufällig, abweichende Werte (in diesem konstruierten Szenario gleich verteilt über ihren Wertebereich).
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 25 PF: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)25% fehlerhafte Sensoren
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 50 PF: 0 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)50% fehlerhafte Sensoren
Abbildung 5.20:Vergleich verschiedener Raten von fehlerhaften Sensorwerten
Fehlerhafte Sensorwerte, wie sie in Abschnitt 5.3.1 beschrieben werden, haben im direkten Vergleich mit fehlen-den Sensorwerten einen ähnlichen, jedoch stärker ausgeprägten Effekt. Die Auswirkungen sind je nach Verfahren unterschiedlich. Das Entscheidungsbaumverfahren J48 hat, wie beim Effekt fehlender Sensorwerte, den stärksten Einbruch in der Genauigkeit. Während das Verfahren NN GENERALIZED mehr Schwierigkeiten hat mit fehler-haften Sensorwerten umzugehen, als mit fehlenden Sensorwerten, ist es beim NEARESTNEIGHBOUR-Verfahren gerade umgekehrt. Ebenso wie bei fehlenden Sensorwerten schneiden NAIVE BAYES und SVM am besten ab, wäh-rend sich die Genauigkeit von NB TREE nur noch im Mittelfeld bewegt. Insgesamt ist festzuhalten, dass es möglich ist trotz einer sehr hohen Rate von 50% fehlerhaften (also zufällig gewählten) Aussagen eine Genauigkeit von rund 80% zu erhalten.
Sofern Aussagen über die Bedeutung der Sensorwerte anhand ihrer semantischen Beschreibung möglich sind, können (vergleichbar zum Ersetzen fehlender Sensorwerte) durch geeignete Vorverarbeitungsschritte Verbesserun-gen in der Qualität erreicht werden.
Fehlerhaftes Feedback
Fehlerhaftes Feedback ist ein weiterer Effekt, welcher gerade in Szenarien vorkommen kann, in denen das Feedback von Nutzern generiert wird.
In geringem Umfang, wie bei der Darstellung mit 25% fehlerhaftem Feedback ersichtlich, kann dieses gut aus-geglichen werden und zeigt im Durchschnitt einen ähnlichen Effekt wie fehlerhafte und fehlende Sensorwerte. Bei der erhöhten Rate, bei der 50% aller Antworten zufällig gewählt wurden, sind die Auswirkungen im Durchschnitt deutlich stärker ausgeprägt als bei den anderen Effekten. Fast alle Verfahren weisen eine Qualität auf, die zum Teil
5 Informationsauswertung 109
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 0 PF: 25 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)25% fehlerhaftes Feedback
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 0 PF: 50 CD: 0 DA: 0
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)50% fehlerhaftes Feedback
Abbildung 5.21:Vergleich verschiedener Raten von fehlerhaftem Feedback
nur wenig besser ausfällt als wenn das Ergebnis rein zufällig ausgewählt worden wäre (bei 4 Kontextklassen = 25%). Lediglich NAIVE BAYES erreicht eine relativ hohe Qualität, jedoch mit deutlich verlängerter Lernphase.
Konzeptänderungen
In der folgenden Abbildung 5.22 wurde das Konzept nach der 100. und 200. Iteration abgeändert, jeweils in unterschiedlich starker Ausprägung.
Der Einbruch der Genauigkeit verhält sich relativ zur Stärke der Ausprägung der Konzeptänderung. Bei 4 betrof-fenen Kontextklassen findet einShiftdes gesamten Konzeptes statt. Die Eigenschaft der Offline-Lernverfahren, alle Trainingsinstanzen gleichermaßen gewichtet in der Modellgenerierung zu berücksichtigen, wird ebenfalls deutlich.
Neue Trainingsinstanzen müssen durch die Häufigkeit ihres Auftretens alte Trainingsinstanzen überstimmen. Die Auswertung bestätigt dies – je später eine Konzeptänderung stattfindet, desto länger ist die Anpassungsphase an das neue Konzept (das sogenannte Over-Training).
Durch den großen Konzeptraum ist die Wahrscheinlichkeit, dass nach einer Konzeptänderung das neue Kon-zept Überschneidungen mit dem alten KonKon-zept aufweist relativ klein, so dass sich das neue KonKon-zept gut von dem alten differenzieren lässt. Im Falle einer größeren Anzahl von Trainingsinstanzen, häufig auftretender Konzept-änderungen oder einem kleineren Konzeptraum wird die Auswirkung von KonzeptKonzept-änderungen noch deutlicher. In Abbildung 5.22 c) wurde hierzu der Domänenraum der diskreten Attribute halbiert, was zu dem erwähnten Effekt der größeren Überschneidungen der Konzepte führt. Bei den folgenden Abschnitten, bei denen die Auswirkungen von Konzeptänderungen betrachtet und behandelt werden, wird das Szenario mit reduziertem Konzeptraum als Referenz herangezogen.
Optimierungen hinsichtlich Konzeptänderungen
Ein Ansatz, das Problem von Konzeptänderungen anzugehen, besteht darin, die Instanzen selbst einen Zeitstempel beinhalten zu lassen. Somit sind die Instanzen selbst zeitbehaftet und ein Lernverfahren kann implizit zwischen alten und neuen Instanzen unterscheiden. Dieser Ansatz wurde getestet, indem ein weiterer Sensor hinzugefügt wurde, der als Zeitstempel die Nummer der aktuellen Iteration trägt. In der Abbildung 5.23 a) sind die Ergeb-nisse abzulesen. Während in der Anfangsphase gerade das Verfahren J48 schlechtere ErgebErgeb-nisse aufweist, zeigt das regelbildende Verfahren NN GENERALIZED eine Verbesserung der Resultate. Allgemein betrachtet hat dieses Vorgehen jedoch nur geringe Auswirkungen auf die durchschnittlich erreichbare Genauigkeit in der Entscheidung.
Ein weiterer Ansatz besteht darin, eine Instanz nur dann der Trainingsmenge zuzuführen, wenn diese Instanz nicht bereits durch das Modell beschrieben wird. Hierzu wird zuvor eineTest-Evaluationdurchgeführt, indem die
110 5.4 Analyse bestehender Verfahren zur Informationsauswertung
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 0 PF: 0 CD: 100 DA: 2
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)2 betroffene Kontextklassen
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 0 PF: 0 CD: 100 DA: 4
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)4 betroffene Kontextklassen
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 4 CA: 4 SR: 40 PM: 0 PB: 0 PF: 0 CD: 100 DA: 4
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(c)4 betroffene Kontextklassen unter Reduktion des Domä-nenraums der diskreten Attribute
Abbildung 5.22:Vergleich verschiedener Ausprägungen von Konzeptänderungen
Instanz auf das bereits bestehende Modell angewendet und überprüft wird, ob das Feedback mit dem Resultat der Auswertung übereinstimmt. Ist dies nicht der Fall, so wird die Instanz der Trainingsmenge zugeführt und das Modell wird neu erstellt beziehungsweise erweitert. Dies führt in erster Linie zu einer Reduzierung der Instanzen innerhalb der Trainingsmenge. Eine verringerte Anzahl von Trainingsinstanzen erhöht die Geschwindigkeit mit der eine Konzeptänderung durch das Modell adaptiert werden kann. Durch jede Konzeptänderung wird die Test-Evaluation häufiger fehlschlagen, wodurch die Trainingsmenge erweitert wird. Bei dem Zeitraum nach dem ersten Auftreten einer Konzeptänderung ist bei vielen Verfahren in Abbildung 5.23 b) deutliche Verbesserung der Qualität zu erkennen.
In der Tabelle 5.4 wird die Verbesserung für einige ausgewählte Verfahren verglichen. Die Werte entsprechen denen aus den Abbildungen 5.23 a) und b). Es werden die Anzahl von Trainingsinstanzen und die Genauigkeit in den kritischen Phasen am Anfang und nach dem Auftreten der Konzeptänderung betrachtet. Es ist zu erkennen, dass bereits eine geringe Anzahl von Instanzen ausreicht, um das Konzept hinreichend zu beschreiben. Tritt ei-ne Konzeptänderung auf, so wird bei der Variante mit der Optimierung die Trainingsmenge erweitert. Hierbei ist vor allem bei NAIVE BAYES und bei NEARESTNEIGHBOUR eine deutliche Steigerung der Qualität zu erkennen.
Bei SVM ist die Qualität etwas herabgesetzt, dafür ist durch die Reduzierung der Trainingsmenge die Geschwin-digkeit der Modellgenerierung deutlich erhöht. Dieser Effekt wirkt sich in diesem Vergleich nur bei SVM aus, da
5 Informationsauswertung 111
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 0 PF: 0 CD: 100 DA: 4
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)Zeitstempel
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 0 PB: 0 PF: 0 CD: 100 DA: 4
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)Update nur bei Fehlklassifikation
Abbildung 5.23:Vergleich verschiedener Optimierungen hinsichtlich Konzeptänderungen
NAIVE BAYES ein inkrementelles Lernverfahren und NEARESTNEIGHBOUR ein Lazy-Learner ist und somit beide unabhängig von der Größe der Trainingsmenge sind.
Verfahren Schritt 0-50 Schritt 100-150 Schritt 200-250 Ohne Optimierung
NAIVE BAYES 25/83% 125/68% 225/51%
NEARESTNEIGHBOUR 25/76% 125/87% 225/75%
SVM 25/79% (191 ms) 125/90%/ (260 ms) 225/79% (390 ms)
Mit Optimierung
NAIVE BAYES 10/74% 24/78% 38/70%
NEARESTNEIGHBOUR 4/89% 10/89% 16/87%
SVM 7/82% (66 ms) 18/85% (144 ms) 28/78% (158 ms)
Tabelle 5.4:Durchschnitt der Messwerte: Anzahl von Instanzen / Genauigkeit (Zeitbedarf für Modellgenerierung) Bei häufigerem Auftreten von Konzeptänderungen wird die Trainingsmenge jedoch weiterhin wachsen, wodurch jeweils der positive Effekt dieser Optimierung verringert wird. Durch eine Verringerung der Anzahlpositiver Instan-zenwird die Robustheit des Modells gegenüber fehlerhaften Daten reduziert.
Kombinierte Szenarien
In diesem Vergleich wurden zwei Szenarien gegenübergestellt, bei denen die zuvor erläuterten Effekte in Kombi-nation miteinander betrachtet wurden:
• Mäßige Bedingungen: Das erste Szenario beschreibt eine Umgebung mit mäßigen Bedingungen für das Lernverfahren. Hierzu wurden alle Parameter auf den Standardwerten belassen und Effekte wie fehlerhafte und fehlende Sensoren, sowie fehlerhaftes Feedback auf eine Rate von 10% eingestellt. Zudem tritt eine Konzeptänderung mit der Ausprägung von einem betroffenen Konzept auf vier Konzepten alle 100 Instanzen auf.
• Schwere Bedingungen:Das zweite Szenario dagegen stellt eine hohe Herausforderung für die Lernverfah-ren dar, da dort alle Effekte und Parameter deutlich schwerere Bedingungen beschreiben. Hierzu wurden die Parameter der Informationsgrundlage dahingehend verändert, dass nun (statt wie zuvor 32 Sensoren genutzt
112 5.4 Analyse bestehender Verfahren zur Informationsauswertung
wurden um 4 Konzepte zu beschreiben) insgesamt 64 Sensoren 8 Konzepten gegenüberstehen. Die Rate der Relationen der Sensoren zu den Konzepten wurde zudem von 40% auf 20% reduziert, so dass zwar immer noch gleich viele Sensoren in Relation zu einem Konzept stehen, diese aber aus einer doppelt so großen Menge an Sensoren ermittelt werden müssen. Alle Effekte wurden auf 25% eingestellt und jeweils alle 100 Instanzen tritt nun eine Konzeptänderung auf bei alle Konzeptklassen betroffen sind.
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 16 DS: 16 SD: 16 CA: 4 SR: 40 PM: 10 PB: 10 PF: 1 CD: 100 DA: 1
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(a)Mäßig Bedingungen
0 20 40 60 80 100
0 50 100 150 200 250
Zutreffende Resultate (%)
Iteration / Trainingsinstanzen
KS: 32 DS: 32 SD: 32 CA: 8 SR: 20 PM: 25 PB: 25 PF: 10 CD: 100 DA: 4
NAIVE BAYES J48 NB TREE NEARESTNEIGHBOUR NN GENERALIZED SVM
(b)Schwere Bedingungen
Abbildung 5.24:Kombinierte Szenarien
Wie in der Abbildung 5.24 und der Tabelle 5.5 abgelesen werden kann, schneiden unter mäßigen Bedingungen alle Verfahren gut bis sehr gut ab und erreichen eine Genauigkeit von 80% bis knapp 100%. Bei den schweren Bedingungen unterscheidet sich die Leistung der Verfahren jedoch stärker voneinander. Während NAIVE BAYES, NT TREE, NEARESTNEIGHBOUR und SVM trotz erschwerter Bedingungen eine Genauigkeit von ca. 50% bis 60%
erreichen, bleiben die Verfahren J48 und NN GENERALIZED eher im Bereich von 30% bis 40%.
Szenario NAIVE BAYES J48 NB TREE NEARESTN. NN GEN. SVM
μGenaui g kei t Mäßig 91,20% 80,14% 97,04% 94,88% 89,26% 94,04%
μGenaui g kei t Schwer 48,10% 27,68% 52,94% 50,58% 34,98% 43,38%
μt durchschnittlich gemessener Zeitbedarf.
Tabelle 5.5:Genauigkeit der Verfahren unter verschiedenen Bedingungen