Evolutionäres Lernen von Regelsystemen

(1)

Fachbereich f¨ ur Informatik und Informationswissenschaft ALTANA Stiftungs-Lehrstuhl f¨ ur Angewandte Informatik

Bioinformatik und Information Mining

Wissenschaftliche Arbeit

zur Erlangung des Grades eines Bachelor Information Engineering

im Fachbereich Informatik & Informationswissenschaft der Universit¨at Konstanz

Evolution¨ ares Lernen von Regelsystemen

Verfasser:

Sebastian Graf

15. September 2005

Gutachter:

Prof. Michael R. Berthold Prof. Daniel A. Keim

Universit¨at Konstanz

Fachbereich f¨ur Informatik und Informationswissenschaft D–78457 Konstanz

Germany

(2)

Sebastian Graf Schulthaißstraße 1A 78462 Konstanz Matr-Nr.:01/496901

E-mail: graf@inf.uni-konstanz.de

Evolution¨ares Lernen von Regelsystemen Bachelorarbeit, Universit¨at Konstanz, 2005.

(3)

Vorwort

Im Data Mining spielen Klassifikation eine große Rolle. Bei Klassifikation werden Regeln gebildet, mit denen unbekannte Daten anhand eines bezeichnenden Attributs eingeord- net werden. In dieser Bachelorarbeit wird ein Ansatz zum Lernen von Regelsystemen basierend auf evolutionären Algorithmen vorgestellt. Dabei wird insbesondere auf die genetischen Algorithmen eingegangen. Im Folgenden werden die beiden bekanntesten Vertreter genetischer Algorithmen zum Lernen von Regeln, der Michigan-Ansatz und der Pittsburgh-Ansatz, näher vorgestellt und miteinander verglichen. Dabei werden Parame- ter und Erweiterungen beim Pittsburgh-Ansatz vorgestellt und diskutiert. Die Grund- lage dieser Arbeit bildet eine Implementierung eines Pittsburgh-Ansatzes im HADES Framework der Arbeitsgruppe Bioinformatik und Information Mining des Fachbereichs Informatik und Informationswissenschaft der Universität Konstanz.

(4)

ii

(5)

Inhaltsverzeichnis

1 Einleitung 1

1.1 Aufbau der Arbeit . . . 1

2 Lernen von Regeln durch genetische Algorithmen 3 2.1 Grundlagen . . . 3

2.1.1 Evolution¨are Algorithmen . . . 4

2.1.2 Data Mining Grundlagen . . . 8

2.2 Ans¨atze genetischer Algorithmen zum Lernen von Regeln . . . 10

2.2.1 Michigan-Ansatz . . . 11

2.2.2 Pittsburgh-Ansatz . . . 13

2.3 Vergleich der beiden Ans¨atze . . . 14

3 Realisierung des Pittsburgh-Ansatzes 17 3.1 Aufbau und Operatoren . . . 17

3.1.1 Individuen . . . 17

3.1.2 Gene . . . 18

3.1.3 Mutation . . . 19

3.1.4 Crossover . . . 20

3.2 Diskussion des Ansatzes . . . 20

3.2.1 Mutationsoperator . . . 20

3.2.2 Crossoveroperator . . . 24

3.2.3 Elitismus . . . 26

3.2.4 Fuzzy Regeln . . . 29

(6)

iv INHALTSVERZEICHNIS

4 Ergebnisse und Ausblick 33

4.1 Ergebnisse . . . 33

4.1.1 Ergebnisse anhand des Wine Datensatzes. . . 34

4.1.2 Ergebnisse anhand andere Datens¨atze . . . 38

4.2 Fazit und Ausblick . . . 39

A Beschreibung der Implementierung 41

Literaturverzeichnis 47

(7)

Kapitel 1 Einleitung

In der heutigen Zeit sind Daten und das Wissen welches aus Daten extrahiert werden kann von zunehmender Relevanz. Die Anwendungsgebiete die dieser Relevanz zugrunde liegen, finden sich in komplett unterschiedlichen Bereichen unserer Gesellschaft, angefan- gen von Daten aus medizinischen Forschungen bis hin zur Analyse von Kundenverhalten.

Aufgrund dieser Relevanz sind Methoden zum Extrahieren des Wissens fundamental. Da- ta Mining, also das Herausarbeiten von Informationen aus der Datenmasse, hat sich aus diesem Grund immer mehr in der Informatik etabliert. Die Art des Herausarbeitens der Information kann hierbei auf sehr unterschiedliche Art und Weise erfolgen. Einer dieser Ansätze beschäftigt sich mit dem Aufbau von Regeln, anhand welcher unbekannte Da- tensätze eingestuft und klassifiziert werden können. Für das Lernen dieser Regeln gibt es sehr viele unterschiedliche Verfahren, einige verwenden das Grundprinzip evolutionärer Algorithmen. Diese basieren auf der natürlichen Selektion nach der Evolutionstheorie von Charles Darwin um potentielle Lösungen miteinander in Konkurrenz zu stellen, so dass nur gute Lösungen ’überleben’, während schlechte Lösungen ’sterben’. Dieses Vor- gehen und die dadurch resultierende Verbesserung der Lösungen bilden die Basis für einen Lerneffekt, der auf das Training von Regeln angewendet werden kann.

In dieser Arbeit werden Ansätze zum Lernen von Regeln mit Hilfe evolutionärer Algo- rithmen vorgestellt und beschrieben. Einer dieser Ansätze wird anhand einer konkreten Implementierung mit einigen potentiellen Erweiterungen näher diskutiert.

1.1 Aufbau der Arbeit

Diese Arbeit gliedert sich wie folgt: Nach der Einleitung, welche Motivation für diese Arbeit bieten soll, wird im zweiten Kapitel auf die Grundlagen eingegangen, auf welchen der hier vorgestellte Ansatz basiert. Zu diesen Grundlagen gehört eine Beschreibung evolutionärer Algorithmen als solche, wie auch das Prinzip des Lernens von Regeln. Der zweite Teil des zweiten Kapitels beschäftigt sich mit den Ansätzen genetischer Algo- rithmen, einer Unterart evolutionärer Algorithmen. Nach einer Beschreibung der beiden Grundansätze des Lernens von Regeln anhand genetischer Algorithmen, des Pittsburgh-

(8)

2 1.1. Aufbau der Arbeit

und des Michigan-Ansatzes, werden diese miteinander verglichen.

Kapitel drei beschreibt die konkrete Umsetzung des Pittsburgh-Ansatzes und diskutiert verschiedene Aspekte anhand einer konkreten Implementierung.

Nach der Diskussion des Ansatzes werden in Kapitel vier Ergebnisse anhand verschiedener Datens¨atze vorgestellt. Als Referenzdatensatz wird hierbei der Wine Datensatz [For92] von UCI [MA92] herangezogen. Verschiedene Parametereinstellungen werden anhand der erreichten Ergebnisse herausgearbeitet. Die erarbeiteten Parametereinstellun- gen werden danach auf anderen Datens¨atzen verifiziert. Die Arbeit schliesst mit einem Fazit und einem Ausblick des hier behandelten Ansatzes.

(9)

Kapitel 2

Lernen von Regeln durch genetische Algorithmen

Anhand evolutionärer Algorithmen sollen Klassifikationsregeln erstellt und diese in einem Lernprozess verbessert werden. Diese Verbesserung wird erreicht, indem Prinzipien der Evolution nachgestellt werden. Diese Prinzipien bestehen daraus, Regeln anfangs zufällig zu erstellen (Initialisierung) und diese in mehreren Evolutionszyklen zu verändern (Muta- tion) und zu kombinieren (Crossover), bis die Güte der Regeln ein gewisses Mass erreicht hat oder der Entwicklungszyklus beendet wird. Während des Zyklus darf nur die Regel den Evolutionsprozess weiter beeinflussen, welche gut klassifiziert. Regeln, die die Daten schlecht abbilden, verschwinden nach dem Prinzip der natürlichen Selektion.

Dieses Kapitel soll als Grundlage dienen und die verschiedenen Anforderungen und Ans¨atze evolution¨arer Algorithmen vorstellen.

2.1 Grundlagen

Die Grundidee evolutionärer Algorithmen gründet auf der Evolutionstheorie von Charles Darwin. Zentraler Bestandteil der Evolutionstheorie von Darwin ist die natürliche Selek- tion, welche besagt, dass das bestangepasste Individuum überlebt, während Individuen, welche schlecht angepasst sind, aus der Population verschwinden.

This preservation of favourable individual differences and variations, and the destruction of those which are injurious, I have called Natural Selection, or the Survival of the Fittest. Variations neither useful nor injurious would not be affected by natural selection[...].

(Quelle: [Dar99])

Diese Hauptaussage von Darwins Evolutionstheorie bildet die Grundlage für evoluti- onäre Algorithmen, welche auf einer stetigen Verbesserung schon vorhandener Lösungen basieren. Das Aufgabenfeld, welches durch evolutionäre Algorithmen abgedeckt werden

(10)

4 2.1. Grundlagen

kann, ist gross und reicht von Ansätzen zur Approximation von LösungenN P-schwerer Probleme über Steuerungsalternativen an Fertigungsstrassen bis hin zu verschiedenen Aufgaben des Data Minings.

2.1.1 Evolution¨ are Algorithmen

Evolution¨are Algorithmen versuchen Prinzipien der Evolutionstheorie so zu imitieren, dass der Grundgedanke der ungesteuerten Weiterentwicklung dominierend ist.

Die Population, welche durch den Evolutionsprozess verbessert werden soll, besteht aus potentiellen Lösungen, welche als Individuen fungieren. Diese Lösungen werden dabei oftmals codiert. Die Codierung erfolgt auf den Genen und stellt den Genotyp dar. Unter Genotyp ist das Schema, unter welchem das Individuum codiert ist, zu verstehen. Die dahinterstehenden konkreten Werte des Schemas werden als Phänotyp bezeichnet und stehen für die genauen Ausprägungen der einzelnen Merkmale des Individuums.

Grundsätzlich wird auf einer Population von möglichen Lösungen anstatt einer einzigen Lösung gearbeitet. Die verschiedenen Lösungen stehen dabei miteinander in Konkurrenz, so dass auf Basis der natürlichen Selektion immer die beste bisher erreichte Lösung in Form des besten Individuums berücksichtigt wird. Die Festlegung, welche Lösung gut oder schlecht ist, erfolgt über die Fitness des Individuums, welche, abhängig von der zu lösenden Aufgabe, unterschiedlich definiert sein kann. Die Lösungskandidaten werden dabei während des Evolutionsprozesses verschiedenen Operatoren unterworfen, welche die Individuen ständig modifizieren und anhand der Fitness anpassen.

Evolution¨are Algorithmen benutzen zur Verbesserung der Individuen folgende Operato- ren:

• Mutation: Die Mutation beschreibt die Modifikation des Individuums betreffs des Phänotyps. Diese Änderung erfolgt nicht zielgerichtet und dient dazu, grundsätzli- che Veränderungen an einem Individuum zu vollziehen. Nur durch die Mutation ist es möglich, grundsätzliche Neuerungen in die Population miteinfließen zu lassen.

• Rekombination: Durch die Rekombination, auch als Crossover bekannt, werden die Gene mehrere Individuen miteinander vermischt, so dass ein neues Individuum entsteht. Der dahinterstehende Grundgedanke, welcher aus der Evolution ¨ubernommen wurde, ist die Fortpflanzung.

• Selektion: Das letzte Prinzip basiert auf der nat¨urlichen Selektion von Darwin.

Damit wird sichergestellt, dass gutes Genmaterial überlebt. Nur durch den Fort- bestand des Genmaterials der besten Individuen ist eine stetige Verbesserung der Population gewährleistet. Bei evolutionären Algorithmen zum Regellernen bildet die Selektion den Bias ab, mit welchem der Lernprozess vollzogen wird.

Die oben genannten Grundideen k¨onnen hierbei beliebig miteinander kombiniert werden.

So kann beispielsweise die Selektion ein Individuum direkt in die n¨achste Generation

(11)

¨ubernehmen, oder aber die Auswahl der zu rekombinierenden Individuen steuern. Auch eine Auswahl vor der Mutation anhand des Selektionskriteriums ist m¨oglich. Ebenso ist eine Reihenfolge der verschiedenen Operatoren nicht vorgegeben, so dass bespielsweise die Mutation sowohl vor der Rekombination der Individuen erfolgen kann als auch danach.

Der Begriff evolutionäre Algorithmen fungiert als Oberbegriff für eine Vielzahl verschiedener Ansätze. Diese Ansätze sind insofern identisch, als dass sie, wie oben bereits beschrieben, versuchen, die Evolution basierend auf der natürlichen Selektion nachzubilden.

Desweiteren verwenden alle Ansätze die oben beschriebenen Operatoren; die meisten modifizieren diese allerdings für ihre Bedürfnisse. Neben dem genetischen Algorithmus (GA), welcher bei Klassifikationen am häufigsten von den evolutionären Algorithmen verwendet wird, gibt es noch Evolutionsstrategien (ES), evolutionäre Programmierung (EP) und genetische Programmierung (GP) als konkrete Ansätze unter dem Unterbe- griff der evolutionären Algorithmen [Dum00, ER99]. Im Folgenden werden diese vier Hauptansätze vorgestellt und die dahinterstehende Idee erklärt:

• Evolutionäre Programmierung (EP): Dieser Ansatz wurde von Fogel 1966 entwickelt um endliche Automaten zu optimieren [Fog62, FOW66]. Motivation für Fogel war es diese mit künstlicher Intelligenz zu versehen. Die künstliche Intelli- genz sollte sich darin aufzeigen, dass der Automat Vorhersagen treffen konnte. Dazu wurden zufällig Automaten erstellt, welche aus Status, Übergängen und Ausgabe- symbolen bestanden. Diese Bestandteile wurden per Mutation verändert. Anhand der getroffenen Vorhersage (output) des Automaten zu einer gegebenen Situation (input), konnte die Fitness des Automaten festgestellt werden. Eine Rekombinati- on ergab bei diesem Ansatz keinen Sinn, da diese auf den Inhalten der Automaten arbeiten würde. Als Optimierungsmethoden waren also nur noch Selektion und Mutation vorhanden.

Fogel entwickelte diese Idee weiter, somit wird die EP auch eingesetzt um Such- und Optimierungsprobleme zu l¨osen [Fog92].

• Evolutionsstrategien (ES): ES entwickelten sich aus der Notwendigkeit schwieri- ge Optimierungs- und Suchprobleme effizient zu lösen und wurden 1970 erstmals erwähnt [Rec73]. Die Motivation war, eine Alternative zu klassischen Suchstrategi- en zu erhalten. Ähnlich wie bei EP wird dabei das Problem, welches zumeist durch reele Zahlen darstellbar ist, nicht durch Genotypen codiert, sondern direkt als Lösungsansatz verwendet. Die Selektion geschieht bei ES nach dem Zufallsprinzip, die Übernahme in die nächste Generation nach der Evaluierung der einzelnen Indi- viduen. Die Mutation wird dynamisch bei jedem Evolutionsschritt neu berechnet und ist aufgrund ihres Zusammenhangs mit einer nicht fest definierten Standardab- weichung auch dynamisch. Das Finden der richtigen Standardabweichung zu einer erfolgreichen Mutation stellt hierbei das grösste Problem dar. Anwendungen von ES finden sich vor allem in verschiedenen Arten von Optimierungen.

• Genetische Programmierung (GP): Genetische Programmierung zeichnet sich da-

(12)

6 2.1. Grundlagen

durch aus, dass die Individuen, potentielle Lösungen in Form von Daten, auch noch Funktionen beinhalten. Individuen werden dadurch in GP als Baum dargestellt, wobei die Blätter die konkreten Werte darstellen, während die innenliegenden Knoten für die verschiedenen Funktionen stehen. GP verwendet daher eine Rekom- bination, welche einfach verschiedene Zweige verschiedener Bäume austauscht. GP findet aufgrund des Aufbaus der Individuen Anwendung in der Evaluation von Computerprogrammen.

• Genetische Algorithmen (GA): Der GA entstand 1962 aus der Motivation anpas- sungsfähige Systeme verwenden zu können [Hol62]. Der Ansatz des GA beruht auf einer Codierung des Problems, welche dann in Chromosomen zusammengefasst werden. Potentielle Lösungen bilden dabei die Individuen und werden, nachdem sie initialisiert worden sind, binär codiert. Diese binäre Codierung erlaubt eine einfache Handhabung der Mutation und der Rekombination. Neben dieser ursprünglichen Vorgehensweise des binären Codierens gibt es inzwischen auch Ansätze, welche auf diese binäre Darstellung der Gene verzichten.

Der hier vorgestellte Ansatz geh¨ort zu den genetischen Algorithmen. Daher soll auf die Mutation und die Rekombination eingegangen und ihre spezifische Verwendung beim genetischen Algorithmus dargestellt werden.

In Grafik 2.1 ist die Darstellung eines Individuums in der Population eines genetischen Algorithmus zu sehen. Die einzelnen Gene werden hier bin¨ar durch 0 oder 1 dargestellt.

Das bedeutet, dass die einzelnen Lösungen vor dem Evolutionsprozess codiert werden müssen. Diese Darstellung wurde von Holland bei seinem ursprünglichen Ansatz

Abbildung 2.1: Individuum bin¨ar codiert

eingeführt und soll insbesondere den Mutationsoperator vereinfachen. Nichts desto trotz arbeiten viele Ansätze des GA heute nicht mehr auf dieser binären Codierung, sondern auf realen Werten.

Die Mutation wird so modelliert, dass mit einer geringen Wahrscheinlichkeit ein Gen geändert wird. Durch die binäre Darstellung ist der Operator trivial, wie in Abbildung 2.2 ersichtlich, da die Änderung auf dem Individuum betreffs des Genotyps gering ist. Abhängig von der zugrundeliegenden Codierung allerdings kann diese geringe Anderung große Auswirkungen auf die eigentliche L¨¨ osung betreffs des Phänotyps haben.

Aus diesem Grund wird die Mutation auch mit einer geringen Wahrscheinlichkeit angewendet. Die Mutation ist dabei die einzige Möglichkeit, neue Lösungsansätze in die Population mit einfliessen zu lassen, da bei der Rekombination nur schon vorhandenes Genmaterial verwendet wird.

(13)

Abbildung 2.2: Prinzip der Mutation

Die Rekombination soll die Gene zweier Individuen vermischen und ein neues Indi- viduum bilden. Die Idee ist, dass gute Teillösungen zu einer guten Komplettlösung kombiniert werden. Im Gegensatz zur Mutation verwendet der genetische Algorithmus die Rekombination häufig. Die häufigsten Unterarten der Rekombination sind dabei der 1-Point Crossover, der 2-Point Crossover und deruniform Crossover. Die verschiedenen Arten unterscheiden sich dabei in der Art des Austauschs der Gene und sind in Abbildung 2.3 dargestellt. Dabei muss aber berücksichtigt werden, dass spezielle

Abbildung 2.3: Verschiedene Crossover-Arten

Anwendungen des GA eventuell auch eigene Varianten der Rekombination verwenden.

Rekombination und Mutation können in unterschiedlichen Abfolgen ausgeführt werden. Algorithmus 1 zeigt einen möglichen Ablauf eines genetischen Algorithmus.

Diese Abfolge kann beliebig erweitert und modifiziert werden. Eine mögliche Er- weiterung wäre das Einfliessen eines Elitismus-Operators, nach welchem sehr gute Individuen direkt ohne weitere Rekombination oder Mutation in die nächste Generation

(14)

8 2.1. Grundlagen

Algorithm 1Genetischer Algorithmus Require: Ein Problem wird gegeben

Ensure: Eine Lösung für das Problem wird gefunden Initialisiere verschiedene mögliche Lösungen

repeat

Selektiere Individuen nach ihrer Fitness Rekombiniere die selektierten Individuen

Ubernehme die neuen Individuen in die n¨¨ achste Population Mutiere die Population

Evaluiere die Population

untilZielfitness oder Anzahl der Evolutionzyklen erreicht

¨ubernommen werden.

2.1.2 Data Mining Grundlagen

Evolutionäre Algorithmen werden, wie oben erwähnt, zur Lösung von Optimierungs- und Suchproblemen eingesetzt. Data Mining, also das Herausarbeiten von Wissen aus grossen Datenmengen, bildet eine Unterklasse der genannten Probleme. Das Ziel besteht darin, Muster in den zu untersuchenden Daten zu finden [HK03, Fay96]. Dabei werden verschiedene Vorgehensweisen und Zielsetzungen des Data Minings unterschieden, wie zum Beispiel Ausreisseranalysen, Clustering oder aber Klassifikationen. Bei Klassifikationen wird versucht, anhand bestimmter Daten Regeln so zu lernen, dass anhand dieser Regeln später unbekannte Daten klassifiziert werden können. Der hier beschriebene Ansatz des GA hat als Zielsetzung die Klassifikation von Daten. Dieses Anwendungsgebiet des Data Mining wird aufgrund seiner weiteren Relevanz kurz beschrieben:

Beim Klassifizieren wird zuerst ein Modell aufgebaut. Dieses Modell wird durch die Analyse von Datensätzen gebildet. Die Datensätze benötigen zu diesem Zweck ein Klassenattribut, durch das die jeweilige Zugehörigkeit bestimmt wird. Diese Art des

x y Klasse 0.25 2.75 Klasse 1 3.75 9.5 Klasse 1 2.5 7 Klasse 1 1.5 3 Klasse 1 5 0.25 Klasse 2 9 4 Klasse 2 7 3 Klasse 2 6 1 Klasse 2

Tabelle 2.1: Beispieldatensatz

(15)

0 2 4 6 8 10

Klasse 1

3

Klasse 2 3

+

+ +

+

Abbildung 2.4: Beispieldatensatz im Koordinatensystem Lernens wird auch als supervised learning bezeichnet.

Der Klassifikationsprozess kann anhand verschiedener Modelle gelernt werden. Bekannte Verteter sind hier Entscheidungsbäume wie C4.5 [Qui93] und ID3 [Qui03], aber auch der K-Nearest-Neighbour-Algorithmus [Das91], bayessche Klassifikationverfahren [FGG97], neuronale Netze [Lip88] und Fuzzy-Regellerner [GB03] können verwendet werden, um die Aufgabe des Klassifizierens zu lösen.

Der hier verwendete genetische Algorithmus lernt dabei Regeln folgender Form:

IF z₁ ≥x^min₁ AN D z₁ ≤x^max₁ AN D ... AN D z_n ≥x^min_n AN D z_n≤ x^max_n T HEN < class z >

Die Regeln bilden sich als Hyperw¨urfel, welche das korrespondierende Klassenat- tribut umschließen, aus. Die Kanten des Hyperw¨urfels sind hierbei achsenparallel, was daran liegt, dass die einzelnen Regeln aus Konjunktionen von Bedingungen bestehen.

Diese Architektur ergibt sich aus der Tatsache, dass die Regeln auf verschiedenen Dimensionen des Suchraums Einschr¨ankungen formulieren, unter welchen das Klas- senattribut ausgegeben wird. Dabei wird jede Dimension durch eine Minimumgrenze und eine Maximumgrenze ausgezeichnet, zwischen welchen der zum Klassenattribut zugeh¨orige Wert liegen muss.

An einem Beispiel soll diese Regelarchitektur kurz n¨aher erl¨autert werden:

Tabelle 2.1 zeigt einen Beispieldatensatz, welcher zwei Dimensionen und zwei Klassen enthält. Dieser Datensatz soll als Beispiel für mögliche Regeln nach der oben beschriebenen Architektur dienen. Die Daten sind, zum besseren Verständnis, in Grafik 2.4 dargestellt. Anhand dieser Datenpunkte, welche als Trainingsdaten fungieren, wird

(16)

10 2.2. Ans¨atze genetischer Algorithmen zum Lernen von Regeln

0 2 4 6 8 10

Klasse 1

3

Klasse 2 3

+

+ +

+

Regel 1 + Regel 2

Abbildung 2.5: Beispieldatensatz im Koordinatensystem

versucht, Regeln zu lernen. Diese Regeln sollen dieselbe Architektur haben wie oben bereits beschrieben. Ein entsprechender Lernprozess bildet folgende Regeln:

IF x ≥ 0.25 AN D x ≤ 3.75AN D y ≥ 2.5 AN D y ≤ 9.5 T HEN Klasse 1 IF x ≥ 5 AN D x ≤ 9AN D y ≥ 0.25AN D y ≤ 4 T HEN Klasse 2

Grafik 2.5 zeigt die gelernten Regeln mit den Trainingsdaten in einem Diagramm. Die Regeln bilden, wie in Abbildung 2.5 zu sehen, Rechtecke im Suchraum aus, welche die korresponierenden Daten einschliessen. Ein Datenpunkt muss innerhalb des zu dem Klassenattribut gehörenden Hyperwürfels fallen, damit die Regel gültig ist.

2.2 Ans¨ atze genetischer Algorithmen zum Lernen von Regeln

Prinzipiell werden zwei verschiedene Ansätze des Regellernens anhand genetischer Al- gorithmen unterschieden. Diese Ansätze arbeiten beide nach dem oben beschriebenen Evolutionsparadigma, bilden aber das resultierende Regelsystem unterschiedlich ab. Im Folgenden sollen diese beiden Ansätze vorgestellt und miteinander verglichen werden.

(17)

2.2.1 Michigan-Ansatz

Der Michigan-Ansatz, im Folgenden als MA bezeichnet, zum Lernen von Regeln wurde 1975 von John H. Holland in Michigan entwickelt, woraus auch der Name des Ansatzes resultiert [Hol75]. Die dahinterstehende Idee ist, dass die Population des genetischen Al- gorithmus aus einzelnen Regeln besteht. Jedes Individuum der Population repr¨asentiert also genau eine Regel. Grafik 2.6 zeigt die Population des Michigan-Ansatzes schema- tisch.

Dieser Ansatz hat sowohl Vor- als auch Nachteile. Zum einen stehen diese einzelnen

Abbildung 2.6: Population des Michigan-Ansatzes

Regeln nach dem Evolutionsparadigma im Wettbewerb zueinander. Das bedeutet, dass wenn als Bias in diesem Fall die natürliche Selektion einfliesst, der Algorithmus in einer einzigen guten Regel konvergieren wird. Dies kann auf der einen Seite von Vorteil sein, wenn beispielsweise die Suche nach einer einzelnen gut klassifizierenden Regel die Auf- gabe ist, auf der anderen Seite allerdings, wenn das Ziel im einfachen Klassifizieren eines kompletten Datensatzes besteht, ist der Einfluss des Bias sehr genau zu beachten und unter Umständen auch zu steuern. Das Problem liegt darin, dass mehrere gute Regeln als Lösungen gebraucht werden, da es in den meisten Fällen mehr als eine Klasse zu lernen gibt oder aber die Daten nicht zusammenhängend sind, so dass ein einzelner Hyperwürfel diese nicht erfassen kann. Dies ist aber aufgrund der natürlichen Selektion nicht gegeben, da die Regeln als Individuen fungieren und dadurch in gegenseitiger Konkurrenz zueinander stehen. Daher ist es nicht möglich den Algorithmus einfach gegen das beste Individuum konvergieren zu lassen, weshalb ein simples Lernen zu unzureichenden Er- gebnissen führen kann. Um zu verhindern, dass das Lernen nur in einer Regel konvergiert, werden sogenannte Nichingmethoden [Mah95] verwendet: Ziel davon ist es, die Unter- schiedlichkeit verschiedenener Individuen beizubehalten, insbesondere was den Wert des Klassenattributs angeht. Eine Verbesserung wird dadurch erzielt, dass nur Individuen mit gleichem Klassenattribut anhand der natürlichen Selektion verbessert werden. Die Reichhaltigkeit der verschiedenen Klassenausprägungen geht aber nicht verloren. Eine Alternative zum Niching und sehr viel primitiverer Ansatz arbeitet damit, den Algorith- mus mehrmals über die Trainingsdaten laufen zu lassen. Dies hat den Vorteil, dass nur die natürliche Selektion als Einflussnahme des Bias benutzt wird, da Nichingmethoden

(18)

12 2.2. Ans¨atze genetischer Algorithmen zum Lernen von Regeln

auch wieder Parametereingaben benötigen; auf der anderen Seite kann dies aber in einer viel höheren Laufzeit resultieren. Der Algorithmus muss logischerweise dann mindestens so häufig gestartet werden, wie es Klassenattribute im Datensatz gibt. Desweiteren kann es, abhängig vom Datensatz und der Initialisierung der Regeln, zu weiteren Verschlech- terungen bezüglich der Laufzeit kommen.

Ein weiterer Nachteil liegt darin, dass der Einfluss der verschiedenen Regeln aufeinander nicht ber¨ucksichtigt wird.

[..]the set of best rules is not necessarily the best set of rules. (Quelle: [Fre98]) Freitas spricht mit diesem Zitat genau das oben beschriebene Problem an: Da die Regeln sich teilweise im Suchraum überschneiden, kann es sein, dass zwei gute Regeln, die jede für sich gesehen, ihre Klasse gut repräsentieren, in Kombination miteinander nur einen geringen Teil des Datenraums abdecken, wie Abbildung 2.7 zeigt. Regel 1 und Regel 2

0 2 4 6 8 10

0 1 2 3 4 5 6 7 8 9 10

Regel 1 Regel 2 Regel 3 Regel 4

Abbildung 2.7: Beeinflussung der Regeln

klassifizieren zwar sehr gut, ergänzen sich gegenseitig aber schlecht, während Regel 3 und Regel 4 einzeln zwar einen kleineren, gemeinsam aber einen grösseren Suchraum abdecken.

Der Vorteil des MA liegt in der Einfachheit der Mutations- und Crossoveroperatoren, da die Individuen nicht mehr darstellen als eine Regel, bei welcher verschiedene Attribute anhand dieser genetischen Operatoren einfach modifiziert werden. Ein weiterer Vorteil ist, dass ein einzelner Durchlauf des Michiganalgorithmus keine große Laufzeit in An- spruch nimmt. Das liegt daran, dass nur anhand der Datensätze gelernt werden kann, die auch die gleiche Klasse wie das Individuum haben. Außerdem stellt eine Codierung der Regeln als Gene keine Probleme dar. Durch diese Codierung werden sowohl Mutation als auch Rekombination vereinfacht, da diese nur auf binären Werten arbeiten müssen.

Angewandte Ans¨atze dieser Idee sind COGIN [Gre93] und REGAL [Gio93].

(19)

2.2.2 Pittsburgh-Ansatz

Der zweite Ansatz zum Lernen von Regeln anhand genetischer Algorithmen stammt von Smith und wurde im Rahmen einer Doktorarbeit an der Universit¨at Pittsburgh entwickelt [Smi80]. Daher ist dieser Ansatz als Pittsburgh-Ansatz, im folgenden auch PA genannt, bekannt. Im Gegensatz zum MA repr¨asentiert hier ein Individuum nicht nur eine sondern mehrere Regeln. Die Population besteht folglich aus kompletten Regelsets wie in Grafik 2.8 ersichtlich. Auch bei diesem Ansatz gibt es sowohl Vor- als auch Nachteile.

Abbildung 2.8: Population des Pittsburgh-Ansatzes

Auf der einen Seite macht dieser Ansatz eine Einflussnahme des Bias einfacher, da die einzelnen Individuen nur dann gut sind, wenn die darin enthaltenen Regeln eine gewisse Güte aufweisen. Anders als beim oben genannten Michigan-Ansatz ist es hier nicht von Belang auf bestimmte Regeln zu achten, da angenommen wird, dass ein Individuum nur dann gut ist, wenn die zum Individuum gehörigen Regeln die Daten gut klassifizieren können. Die natürliche Selektion alleine reicht hier als Bias aus, da die einzelnen Regel- sets in gegenseitiger Konkurrenz stehen.

Desweiteren wird eine Einflussnahme der im Individuum enthaltenen Regeln berücksich- tigt. Dies hängt damit zusammen, dass, anders als beim Michigan-Ansatz, sich die Regeln eines Individuums gegenseitig ergänzen müssen, falls das Regelset eine hohe Fitness er- fahren soll. Ein Individuum ist nicht dann gut, wenn es einzelne gute Regeln enthält, sondern es weist dann eine hohe Fitness auf, wenn die Regeln, welche in dem Individuum enthalten sind, gut zueinander passen.

Dieses Lernen aller Datensätze auf der anderen Seite hat einen negativen Einfluss auf die Laufzeit. Alleine für das Evaluieren des Individuums muss einmal über die kompletten Daten iteriert werden. Dieser Faktor, kombiniert mit der Anzahl aller Regeln und Indi- viduen, kann auf eine sehr lange Rechenzeit hindeuten. Daher braucht ein Algorithmus nach dem Pittsburgh-Ansatz erheblich mehr Rechenaufwand als eine Implementation nach dem Michigan-Ansatz.

Desweiteren müssen genetische Operatoren wie Mutation und Selektion bei diesem An- satz komplexer dargestellt werden. Dies liegt in der komplexeren Struktur der Individuen im Vergleich zum Michigan-Ansatz. So besteht die Notwendigkeit, dass oftmals mehr als ein Mutationsoperator implementiert werden muss, damit eine ähnliche Flexibilität der

(20)

14 2.3. Vergleich der beiden Ans¨atze

Mutation wie beim Michigan-Ansatz gew¨ahrleistet ist.

Auch die Rekombination weisst nicht dieselbe Flexibilität auf wie beim Michigan-Ansatz, da hierbei häufig die Gene in Form der Regeln gemischt, aber nicht selbst modifiziert werden. Desweiteren muss eine Art Konfliktbehandlung dahingehend implementiert werden, dass ein Datensatz von mehr als einer Regel in einem Individuum klassifiziert werden könnte. In diesem Fall stehen die einzelnen Regeln innerhalb eines Individuums in Kon- kurrenz zueinander.

Zusätzlich ist eine binäre Codierung, wie sie normalerweise bei genetischen Algorithmen angewendet wird, in diesem Fall nicht einfach zu bewerkstelligen, da die Seiteneffekte der einzelnen Regeln und zusätzliche Daten für eine eventuelle Konfliktbehandlung von Regeln gleicher Klassenattribute mit modelliert werden müssen.

Beispiele von Pittsburghimplementierungen sind [JSG93], [Jan93], [Goo97], [GRS90] und [CS94].

2.3 Vergleich der beiden Ans¨ atze

Die Auswahl, welcher Ansatz verwendet werden soll, hängt mit dem Ziel der Aufgabe zusammen. Da der MA einzelne Regeln als Individuen ansieht, welche sich anhand der ge- genseitigen Konkurrenz versuchen zu verbessern, eignet sich dieser Ansatz insbesondere zum Finden sehr hochwertiger Regeln, welche einen hohen Prozentsatz zu der Regel kor- respondierender Muster richtig klassifizieren. Ein weiterer Vorteil liegt beim MA in der Einfachheit des Ansatzes. Bis auf die Einflussnahme des Bias braucht es keine grössere Modifikation an den anzuwendenden genetischen Operatoren; nur eine Darstellung anhand reeler Werte statt einer binären Codierung der Regeln erfordert eine Anpassung des Crossover- und des Mutationsoperators. Auch die Einflussnahme des Bias kann ungesteu- ert sein, indem der genetische Algorithmus mehrmals auf den gleichen Trainingsdaten angewendet wird. Dabei kann zwar die Zeit, bis ein gutes Regelset gefunden wird, sehr gross werden, allerdings weist ein einfacher Durchlauf eine deutlich geringere Laufzeit auf als der PA. Um die Unterschiedlichkeit der Laufzeit darzustellen, die hauptsächlich für die Evaluierung der Individuen benötig wird, werden kurz beide Evaluierungen im Pseudocode dargestellt:

Der Michigan-Ansatz besitzt damit eine Laufzeit von O(i∗j) pro Generation. Damit Algorithm 2Berechnung der Fitness / Michigan

Ensure: Alle Individuen werden evaluiert for all i ∈ Datens¨atzen do

for all j ∈ Individuen do j.fitness = evaluiere(i, j) end for

end for

ergibt sich eine Laufzeit von O(n∗i∗j) pro Durchlauf des GA wenn n die Anzahl der

(21)

Generationen darstellt.

Der Pittsburgh-Ansatz hingegen braucht, wegen seiner erweiterten Architektur, mehr Algorithm 3Berechnung der Fitness / Pittsburgh

Ensure: Alle Individuen werden evaluiert for all i ∈ Datens¨atzen do

for all j ∈ Individuen do for all k ∈ Regeln ∈ j do

j.fitness = evaluiere(i, j) end for

end for end for

Zeit, da die Population kein einzelnes Regelset darstellt wie beim Michigan-Ansatz, sondern aus mehreren Regelsets zusammengesetzt wird. Daraus ergibt sich eine Laufzeit pro Generation von O(i∗j∗k) und die Laufzeit des Algorithmus bez¨uglich n Generationen O(n∗i∗j∗k).

Der PA benötigt neben der grösseren Laufzeit auch einige Ansätze zum Modifizieren der Mutationsoperatoren, da diese nicht so naiv wie beim MA verwendet werden. Wei- terhin müssen auch Möglichkeiten zur Konfliktbehandlung bei ähnlichen Regeln im PA umgesetzt werden. Da ein Individuum ein komplettes Regelset darstellt, muss explizit festgelegt werden, unter welchen Umständen welche Regel feuern darf, wenn ein Daten- satz anhand von mehreren Regeln klassifiziert wird. Diese Problematik soll anhand eines Beispiels veranschaulicht werden: In Grafik 2.9 werden zwei sich überlappende Regeln dargestellt. Unter der Annahme dass sich diese beiden Regeln im selben Individuum befinden, muss, wenn sich ein Datensatz in dieser Schnittmenge der beiden Regeln findet, eine Art Konfliktlösung vorhanden sein, die festlegt, welche Regel in einem solchen Fall vom Individuum ausgegeben werden soll. Diese Konfliktbehandlung hat grosse Auswir- kungen auf die Güte des genetischen Algorithmus, da die Ausgabe eines Individuums stark von der Art der Lösung dieses Problems abhängt. Ein Ansatz, auf welchem im nächsten Kapitel näher eingegangen wird, berücksichtigt die Menge der richtig von einer Regel klassifizierten Datensätze. Dieser Ansatz benötigt aber einen zusätzlichen Lern- aufwand, der für die einzelnen Regeln betrieben wird. Das wiederum resultiert in einer schlechteren Laufzeit. Diese ist ein Argument gegen den Pittsburgh-Ansatz.

Trotz der oben genannten Nachteile eignet sich der PA für allgemeine Klassifizierungs- aufgaben besser als der MA. Der Grund liegt zum einen darin, dass Seiteneffekte der einzelnen Regeln innerhalb einer Regelbasis berücksichtigt werden. Ein Individuum klassifiziert nicht unbedingt gut, wenn es nur gute Regeln enthält, aber es erreicht eine hohe Fitness, wenn die Regeln gut zusammenpassen und dadurch möglichst den gesamten Suchraum abdecken.

Desweiteren ist bei allgemeinen Klassifizierungen ein Set von Regeln interessanter als einzelne Regeln. Wie bereits erw¨ahnt, ist so eine Ausgabe beim Michigan-Ansatz nur durch Umwege oder aber mehrfaches Starten erreichbar. Dies resultiert aber entweder

(22)

16 2.3. Vergleich der beiden Ans¨atze

0 1 2 3 4 5 6 7 8 9 10

0 1 2 3 4 5 6 7

Regel 1 Regel 2

Abbildung 2.9: ¨Uberlappende Regeln

in zusätzlichen Parametereingaben oder aber in Regeln, welche sich unter Umständen nicht gut ergänzen.

Aus diesen Gründen soll im nächsten Kapitel der Pittsburgh-Ansatz näher betrachtet und eventuelle Erweiterungen an diesem diskutiert werden.

(23)

Kapitel 3

Realisierung des

Pittsburgh-Ansatzes

Dieses Kapitel soll einen Einblick in eine m¨ogliche, konkrete Umsetzung des Pittsburgh- Ansatzes geben. Dabei wird detailliert dargestellt, wie die verschiedenen Paradigmen des genetischen Algorithmus umgesetzt werden. Ein Beispiel soll hier anhand einer Imple- mentierung des Pittsburgh-Ansatzes von Corcoran [CS94] erfolgen .

Dabei werden zuerst die konkreten Umsetzungen des Ansatzes von Corcoran [CS94]

erl¨autert und sp¨ater diese Umsetzungen diskutiert.

Beide Kapitel beziehen sich auf eine vorgenommene Implementierung des Ansatzes in das HADES Framework der Arbeitsgruppe Bioinformatik und Information Mining des Fachbereichs Informatik und Informationswissenschaft an der Universit¨at Konstanz.

3.1 Aufbau und Operatoren

Die Grundidee ist, wie im letzten Kapitel besprochen, dass die Individuen eines genetischen Algorithmus aus Regelsets bestehen. Diese werden dann nach dem Schema des genetischen Algorithmus mutiert, rekombiniert und selektiert, um so auf Basis der nat¨urlichen Selektion eine Verbesserung der Regelsets zu erlangen. Im Folgenden sollen daher zuerst die einzelnen Bestandteile erl¨autert werden.

3.1.1 Individuen

Da ein Individuum im Pittsburgh-Ansatz ein Regelset darstellt, besteht die Population aus einer Menge von Regelsets. Diese Regelsets stehen aufgrund der Grundidee der Evolution in st¨andiger Konkurrenz zueinander. Der Bias kann direkt auf die einzelnen Individuen angesetzt werden. Die L¨ange der einzelnen Individuen, also die Anzahl der in einem Individuum enthaltenen Regeln, wird bei der Initialisierung fix als Parameter

¨

ubergeben. Damit wird sichergestellt, dass die verschiedenen Individuen gleichberechtigt

(24)

18 3.1. Aufbau und Operatoren

sind. Die Fitness eines Individuums setzt sich zusammen aus der Anzahl der richtig klassifizierten Datensätze über der Anzahl aller Datensätze:

f itness= richtig klassif izierte Datens¨atze alle Datens¨atze

Durch diese Funktion wird die nat¨urliche Selektion auf alle Individuen gleich angewendet:

Ein Individuum ist nur dann gut, wenn es m¨oglichst viele Daten richtig klassifiziert.

Da die Regeln als Hyperwürfel im Suchraum ausgebildet werden, kann es sein, dass bestimmte Datenpunkte nicht innerhalb dieser Hyperwürfel liegen. Dieser Fall, dass ein Datenpunkt nicht klassifiziert wird, nämlich genau dann, wenn der zu untersuchende Datensatz durch keine Regel eines Individuums abgedeckt wird, wurde in diesem Ansatz nicht näher dargelegt. Für den Fall wird ein Fehler für das Fehlen einer passenden Regel ausgegeben.

3.1.2 Gene

Anders als beim ursprünglichen Ansatz des genetischen Algorithmus [Hol75] werden die einzelnen Regeln nicht als Bitstrings codiert, sondern als reele Werte in den Genen abgelegt. Diese reelen Werte stellen in jeder Dimension eine untere und eine obere Grenze dar, zwischen welchen der Wert der Dimension des zu klassifizierenden Datensatzes zu liegen hat, damit die Regel feuert. Die Architektur der Regeln wurde im zweiten Kapitel dargestellt und erläutert. Diese Darstellung der Regeln resultiert in einem Set von 2n Werten. Dazu erhält jede Regel noch ein Klassenattribut, welches diese Regel ausgibt, wenn der Datensatz anhand der Regel klassifiziert wird. Damit besteht eine Regel aus 2n+ 1 Werten.

Eine Regel muss dabei nicht auf allen Dimensionen zu einem Datensatz passen. Bei vielen Datensätzen besitzen die Daten in unterschiedlichen Dimensionen ähnliche Ausprägungen. Daher hat der hier vorgestellte Ansatz die Möglichkeit, Dimensionen in einer Regel komplett zu ignorieren. Damit ist sichergestellt, dass ein hochdimensionaler Datensatz, welcher anhand von wenigen Dimensionen separierbar wäre, nicht in allen Dimensionen passen muss. Eine Dimension in einer Regel ist darum per Definition genau dann als ungültig deklariert, wenn die Maximumgrenze kleiner ist als die Minimumgrenze. Das Verschieben der Grenzen im Evolutionsprozess kann in großen Anderungen innerhalb des Individuums resultieren, da die Dimension aufgrund der¨ Position der Minimum- bzw. der Maximumgrenze ein- oder ausgeschaltet wird.

In einem Regelset können Konflikte zwischen den einzelnen Regeln auftreten. Dies wurde bei der Beschreibung und Diskussion des PA bereits erläutert. Der Ansatz von Corcoran [CS94] enthält daher eine Konfliktbehandlung, welche in diesem Fall entscheidet, welches Klassenattribut ausgegeben werden soll. Die Idee ist das Einfügen eines Gewichts, welches festlegt, welche Regel im Zweifelsfall die klassifizierende Regel darstellt. Das Gewicht, der sogenannte Classfactor, wird berechnet aus der Anzahl der

(25)

richtigen Klassifikationen durch diese Regel geteilt durch die Anzahl aller Klassifikatio- nen durch diese Regel.:

Classf actor= Anzahl richtige Klassif ikationen Anzahl aller Klassif ikationen

Dadurch ergibt sich ein Wert, welcher die Güte der Regel ausgibt. Dieser Wert wird bei jeder Generation für jede Regel angepasst und über den gesamten Evolutionsprozess beibehalten. Die einzige Ausnahme, bei der der Classfactor verworfen wird, bildet die Mutation, welche im Folgenden näher erläutert wird.

3.1.3 Mutation

Unter der Mutation wird die zufällige Veränderung eines Individuums betreffs des Phäno- typs verstanden. Die Mutation ist dabei die einzige Möglichkeit, grundsätzliche Neue- rungen in die Population einfließen zu lassen. Bei Klassifikationssystemen bedeutet das eine Änderung der Regel dahingehend, dass der Wert einer Dimension oder das resultierende Klassenattribut geändert wird. Daher ist beim Pittsburgh-Ansatz eine Mutation auf den einzelnen Regeln sinnvoller als eine Mutation auf dem Regelset als solches. Wie beim Vergleich zwischen Michigan- und Pittsburgh-Ansatz besprochen, kann die Muta- tion auf den Regeln beim Pittsburgh-Ansatz komplex werden. Im Ansatz von Corcoran [CS94] wird versucht, den Mutationsoperator so einfach wie möglich zu halten. Darum werden statt einem komplexen zwei weniger komplexe Mutationsoperatoren verwendet.

Die erste Art der Mutation wird durch das sogenannteCreep Mutate repräsentiert. Hier- bei werden die Minimum- und Maximumgrenzen der einzelnen Dimensionen einer Regel leicht verschoben. Diese Verschiebung geschieht dabei um einen geringen Bruchteil des Wertebereichs. Die Mächtigkeit dieser Art der Mutation soll dabei nicht unterschätzt werden. Durch die im letzten Kapitel besprochene Möglichkeit, bestimmte Dimensionen invalide zu machen, erhält die hier besprochene Mutation die Möglichkeit, eine Regel in einer bestimmten Dimension zu aktivieren oder zu deaktivieren. Dabei kann sich sowohl die Art wie auch die Anzahl der durch diese Regel klassifizierten Datensätze stark

ändern. Die Auswirkungen dieses Swappens werden in der folgenden Diskussion näher erläutert.

Die zweite Art der Mutation tritt seltener auf. Das sogenannte Random Mutate hat die Möglichkeit, einen bestehenden Wert einer Regel in einer Dimension durch einen neuen aus dem Wertebereich gewählten zu ersetzen. Dabei wird nicht wie beim Creep Mutate die Grenze nur um einen Prozentsatz des Wertebereichs verschoben, sondern es wird ein zufälliger neuer Wert aus dem Wertebereich gewählt. Zusätzlich dazu kann diese Art des Mutierens das Klassenattribut einer Regel ersetzen und dadurch einer Regel einen neuen Ausgangswert geben. Die Art der Mutation kommt der ursprünglichen bitweisen Mutation am nächsten, da hier das Ziel das Einbringen neuer Ansätze in die Population der Lösungsmöglichkeiten ist. Bei dieser Art des Mutierens wird, aufgrund der grossen

(26)

20 3.2. Diskussion des Ansatzes

M¨oglichkeit, dass die mutierte Regel andere Daten klassifiziert als vor der Mutation, der Classfactor der Regel zur¨uckgesetzt.

3.1.4 Crossover

Die Art der Rekombination wirkt trotz der Ankündigung, dass neben der Mutation auch die Rekombination bei Pittsburgh-Individuen komplex sind, erstaunlich trivial. Der Grund ist, dass ein Crossover nur an den Stellen innerhalb eines Individuums stattfinden kann, wo sich die Regeln trennen lassen. Das bedeutet, dass sich die Rekombination auf das Regelset als solches auswirkt und nicht auf die einzelnen Regeln selbst. Damit erfüllt der Crossover den Zweck, dass mehrere gute Regeln die Möglichkeit haben, Gene eines Individuums zu bilden, was dieses Individuum in Folge eine höhere Fitness erlangen lässt.

Eine Rekombination auf Basis der Regeln wird nicht angewendet, so dass das Anpassen und ¨Andern der Regeln einzig und allein auf Basis der Mutation erfolgen kann.

3.2 Diskussion des Ansatzes

Die Grundlage für die Diskussion und die hier dargestellten Daten entstammen einer konkreten Implementierung. Dabei wurden Fragen, welche sowohl genetische Algorithmen als auch Klassifizierungssysteme aufwerfen, offen gelegt. Diese einzelnen Fragestellungen sollen hier separat diskutiert und mögliche Verbesserungsvorschläge und Anpassungen vorgestellt werden.

3.2.1 Mutationsoperator

Die Mutation kann nicht trivial wie beim ursprünglichen Ansatz [Hol75] des genetischen Algorithmus übernommen werden. Da die Gene aus Regeln bestehen, welche nicht binär codiert sind, ist eine bitweise Mutation unangebracht. Eine Mutation auf den einzelnen Regeln ist sinnvoll, da die Mutation die einzige Möglichkeit ist, grundlegende Neuerungen in die Population mit einfließen zu lassen. Da sich die Regeln im Laufe des Evolutionprozesses an die Trainingsdaten anpassen sollen, werden diese Neuerungen auf den einzelnen Regeln statt auf dem Regelset angewendet. Aus diesem Grund wird die ursprüngliche bitweise Mutation ersetzt durch zwei Mutationsoperatoren, die direkt auf den Regeln arbeiten. Diese beiden Arten sollen im folgenden diskutiert werden:

Die erste Art des Mutierens auf den Regeln ist das sogenannte Random Mutate. Diese Art des Mutierens kommt der bitweisen Vertauschung einzelner Gene am nächsten, da hier zufällig neue, gültige Werte in die Regel eingebracht werden. Diese Werte beschränken sich in ihrer Gültigkeit auf die Grenzen, welche in jeder Dimension ausgemacht worden sind, um sicher zu gehen, dass der Wertebereich innerhalb einer spezifischen Dimension eingehalten wird. Ein weiterer Aspekt dieses Mutationsoperators betrifft das An- und Ausschalten der Regeln mit Hilfe dieser Mutation. Wie bereits beschrieben ist eine Regel genau dann ungültig, wenn die obere Grenze einer Dimension

(27)

einer Regel kleiner ist als die untere Grenze. Da der hier beschriebene Mutationsoperator zufällig einer Regel in einer Dimension einen neuen Wert zuweist, ist es möglich, dass diese Regel anhand dieser Dimension ein anderes Klassifikationverhalten an den Tag legt wie bisher. Ein letzter Aspekt dieser Mutation wird durch die Möglichkeit des Anderns des Klassenattributs einer Regel beschrieben. Hierbei muss beachtet werden,¨ dass dies die einzige Möglichkeit ist, durch die eine Regel eine neues Klassenattribut erhalten kann.

Da innerhalb eines Individuums mehrere Regeln ein- und denselben Datenpunkt klassifizieren können, besteht eine Konfliktbehandlung in Form des Classfactors. Dieser wird beim Random Mutate zurückgesetzt, da davon ausgegangen werden muss, dass die Regel, nachdem ein neuer Wert innerhalb der Regel zugewiesen wurde, andere Datenpunkte klassifiziert oder aber sogar ein anderes Klassenattribut repräsentiert.

Dies würde bei einer nicht erfolgten Zurücksetzung bedeuten, dass der Bias, welcher durch denClassfactor auch in den Lernprozess indirekt einfließt, verfälscht und dadurch der Lerneffekt negativ beeinflusst wird. Der Bias, der hier angesprochen wird, ergibt sich aus der Tatsache, dass evaluiert wird, ob eine Regel gefeuert hat oder nicht. Da aber angenommen werden muss, dass andere Datensätze mit dieser veränderten Regel klassifiziert werden, fehlt diese Grundlage, weshalb der Wert zurückgesetzt werden muss. Das Random Mutate hat die Aufgabe, komplett neue Bereiche des Suchraums zu explorieren oder Regeln betreffs ihres Klassenattributs zu modifizieren. Aufgrund seiner Mächtigkeit wird dieser Operator nur selten angewendet.

Die zweite Art des Mutierens, welche in diesem Ansatz verwendet wird, ist das soge-

0 10 20 30 40 50

0 20 40 60 80 100

swappen durch Creepmutation kein swappen durch Creepmutation

Abbildung 3.1: Vergleich Fitness bei unterschiedlichem Creep Mutate

nannte Creep Mutate. Dieser Mutationsoperator funktioniert so, dass die Ober- oder Untergrenze einer Dimension einer Regel um einen bestimmten Faktor des Wertebereichs dieser Dimension verschoben wird. Dieser Faktor wird als Parameter dem Algorithmus

(28)

übergeben und im folgenden Creeprate genannt. Durch den Zusammenhang zwischen der Creeprate und der Spanne des Wertebereichs werden die einzelnen Dimensionen individuell berücksichtigt, da die Grösse der Änderung relativ zur Grösse des Wertebe- reichs erfolgt. Dieser Mutationsoperator soll die Möglichkeit haben, Regeln anzupassen, aber nicht grundsätzlich zu ändern. Daher ist die Mutationsrate hierbei höher als beim Random Mutate. Es soll aber beachtet werden, dass auch diese Art des Mutierens grosse Änderungen betreffs des Phänotyps hervorrufen kann, da die Regelgrenzen einer Dimension tauschen können. Diese Tatsache kann Auswirkungen auf die einzelne Regel haben, da hierdurch entweder eine Dimension komplett für ungültig erklärt wird, oder aber, da diese Dimension berücksichtigt werden muss. Um herauszufinden, ob sich das Creep Mutate aufgrund dieser Tatsache und der hohen Mutationsrate negativ auf die Entwicklung der Fitness auswirkt, soll im folgenden dieser Sachverhalt diskutiert werden:

Zum Testen des Mutationsverhaltens wird derIris Datensatz [Fis36] herangezogen. Auf diesem werden Regelsysteme anhand von fünf Individuen mit je drei Regeln gelernt. Die Rekombination und das Random Mutate werden in diesem Beispiel nicht verwendet, so dass eine Änderung der Phänotypen einzig und allein auf demCreep Mutate basiert. Um eine repräsentative Aussage zu erhalten, wird der Algorithmus mit den besprochenen Parametern 100mal gestartet und der Mittelwert aus den errechneten Fitnesswerten gebildet. Diese Vorgehensweise wird einmal mit der Möglichkeit ausgeführt, den Creep Mutate die Dimensionen einer Regel vertauschen zu lassen, und einmal ohne diese Möglichkeit. Die daraus entstehenden Fitnesskurven sind in Abbildung 3.1 dargestellt:

Wie in dem Diagramm 3.1 ersichtlich ist, konvergieren beide Kurven gleich. Daraus

0 500 1000 1500 2000 2500 3000 3500

-1500 -1000 -500 0 500 1000 1500 2000 2500 3 Wert

33 33 33 33 3333 33 33 33 33 33 3 33 33 33 33 33 33 33 33 3 33 33 33 3 33 33 33 33 333333333 33 33 33 33 33 333333333333

3 33 33 33 33 3 33 333333 33 33 33 33 33 3 33 33 33 33 33 33 33 33 33333333333333333333333333333333 3333333 33 333333333333333333333333333333333333333

3 33 33 33 33 33 33 33 33 33 33 3 33 3333333333333333333333333333333333

33 33 3 33 33 33 3 33 333 33 333 33 33 33 3 333 33 33 3333333333

33 3 33 33 33 3333333333333

333 33 33 33 33 33 3

3 333333 3333 33 33 33 33 33 33 33 33 33 33333333333333333333333 33 33 33 33 33 3 3 33 33 33 33 33 33 33 3 33 3 33 3 33 33 3333 3 33 3 33 33 33 3 333333 33 3 33 3 333333 33 3 33 3 3 33333333333333333333333333333333333333333333333333

33 33 333333

333333333333333333 33 33 33 333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 33 33

3 33333

33333333333333333333333333333333333 33

33 3 333 3

33333 3 3333 3 3333333333333333333333333333333333333

33333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 3

3 333

3

3 33 33 33 3 33333

33333333333 3

3333333333 333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333

33 3 33

333333333333333333333333 33 33 3 3

33 33 33 33 33 333333333333 3333333333333 33 3 33 3 33

333333 333333333333333333333333333333333333333333333333333333333333333333333333 3

3 3 33333 33 3 33 3 33 3333333 33 33 33 33 33 33 3 3 33 33 33 3 33 3 3333 333333333333333333333333333333333333333333333333333 33 3 33 33 3 33 33 3333 3 3 3 3 3 33 333 3 3 33 33 333333333333333333333333333 33333 33 3 33333333333333333333333333333333333333 33 33 3 33 33 3333 33 3 3 33 3 3 3 33 3 3 3 3 3 3 3

33333333333333333333333333333333333333333333 33333333333333333333333333333333333333333333333333333333333333333333333333333333333333 3

3 3 33 3 33 3 3 33333333333333333333333333333333333333 3 3 3 33 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 33 333333333333333333333333333333 33 33 3 3 3 3 3 3333333333 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 333333333333333333333333333333333333333333333333 3 3 3 3 3 3 3 3 3 33 33 333333333333333333333333333333333333 3 3 3 3 33333 3 3 3 33 3 33 3 33 3 33 3 33 3 3333333333333333333 3333333333 3 3 3

33333333333333333333333333333333333333333333333333333333333333333333 3333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 3

3 3 3 3 3 3 3 3 3333333333333 3 3 3 3 3 3 3

33333333333333333333333333333333 3333 333333333333333333333333333333333333333333333333333 33333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 3

3 3 3 3 3 3 3 3 3 3 333333333333333333333 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 33 3

33333333333333333333333333333333333 33333 3 333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 3

Abbildung 3.2: Verteilung eines Wertes durch Creep Mutate

ist ableitbar, dass das Vertauschen der Minimum- und Maximumgrenzen einzelner

(29)

Dimensionen innerhalb einer Regel keine signifikante Verschlechterung oder Verbesse- rung mit sich bringt. Der Grund hierfür liegt in der Art des Creep Mutates: Ein Wert, welcher durch dasCreep Mutate angepasst wird, wird dadurch verändert, dass maximal ein gewisser Prozentsatz des Wertebereichs, die Creeprate, addiert oder subtrahiert wird. Die Wahrscheinlichkeit, ob eine Addition oder eine Subtraktion vorliegt, ist gleichverteilt, weshalb bei einem bestimmten Startwert sich die errechneten Werte um diesen kumulieren. Dadurch ergibt sich eine normalverteilte Häufigkeit, in der die durch das Creep Mutate angepassten Werte sich um den ursprünglichen Wert ansammeln.

Grafik 3.2 zeigt diese Häufigkeitsverteilung. Hier wird der Mutationsoperator vom genetischen Algorithmus verwendet. Die dargestellten Punkte resultieren aus einem 100fachen Durchlauf des genetischen Algorithmus. Dabei ist der Startwert immer gleich, ebenso wie die Mutationsrate desCreep Mutate, welche 50% beträgt, und die Größe des Creeprates, welche auf 1% des Wertebereichs festgelegt wird. Das Random Mutate wird bei diesem Experiment deaktiviert.

Dadurch, dass sich die Werte einer Grenze in einer Gaussverteilung ansammeln, kommt

0 500 1000 1500 2000 2500 3000 3500

-2500 -2000 -1500 -1000 -500 0 500 1000 1500 2000 2500 Minimumgrenze

3

3333333 33 33 3333 33 33 33 33 33 33 33 33 33 33333333 33 33 3 33 33 33 33 33 33 33 33 33 33333333333333333333333333333333333333 33 33 33 33 33 33 33 33 33 33 33 3 33 33 33 33 33 33 33 33 33 33 33 33333333333333333333333 33 33 33 33 33 33 33 33333333333333333333333333 3 33 33 33 33 33 33 333333333333333333333333333333333333333333333

333 33 33333 33 33 33 333333333333333333333 33 3333333333 33 333333333333333 33 3

33 33 33 33 33 33 333333333333333333333333333333333333333333333333333333333333333333333 333333 33 3 33333

333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 333333333 3

33 33 33 33 33 33 33 33 33 33 33 3333333333333333

3333333 3 33

33 333333333333333333333 33 3333

33 33333333333333333333333333333333333333333333333333 33

333333333333333333333333333333333333333 3333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 3333333333333

333 33 33 33 33

333 3

333 33 3

333333333 33 33333 33 33 33

33 33 33 33 3333333333333333333333 33 3333333 33 3 33 3 33 33 3 333 33 3 33 33 33333333333333333 33 33 33 33 3 33 33 33 33 33 33 33333333333333333333333333333333333333333333333333333333333333333333333333333333 33 33 33 33 333333333333 33 33 3 33 3 3 3 3 33 3 33 333333333

33 3 33 3 33333 33 33 33

3333 3333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 33

33 333333333

33333333333 3 33

33 33 3 33 33 33 3 33 3 33 33 33 33 3 33 33 3 3 3 33 33 33 33 3333 3 3 33 3 3 33 33 3 3 33 3 3 3 33 3 33 3333333 3 3 3 33 33 3 33 33

3333333333333333333333333333333333333333333333333333333333333333 3333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 33

3 3 3 3 3 3 3 33 333333333333 33 33 3 3 3 3 333333333333 3 33 33 3 3 3 33 3 33 3 3 33333333 3 3 33 3 3 3 3 3 3 3 33333333333333333333333 3 3 3

33333333333333333333333333333333333 33333333333333333333333333333333333333333333333333333333333333333333333333333333333333 333333 33333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333 3

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 33 3

3333333333333333333333333333333333333333333333333333333333333333333333333 333333333333333333333333333333333333333333333333333 3

3333333 3 3 3 3 3 3 3 3333333 3 33 33 3 3 3 3 3 3 3 33 3

33333333333333333333333333 333333 3

3 3 3 3 3 33 3 3 3 3 33 33 3 33333333 3 3 33 33 33 33 3 3 3 3 33 3 33 3 3 33 3 33 33 3 3 3 3 33 33 3 3 33 3 33 3 333333333333 33 33 33 33 3 33 333333333333333333 33 33 333333333333333333333333333333333333333333333333333 3 3 3 3 3 3 3

3333333333333333333333333333333333333333333333333333333333 333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333

Maximumgrenze 3 +

++ + + ++ ++ ++++ ++ ++ ++ ++ ++ + ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ +++++++++ ++ ++ ++ ++ ++ ++++++++++++

+ ++ ++ ++ ++ ++ +++++++ ++ ++ ++ ++ ++ ++ + ++ ++ ++ ++ ++ ++ +++++++++++++++++++++++++++++++++++++++++ ++ +++++++++++++++++++++++++++++++++++++++

++ ++ ++ +++ ++ ++ ++ ++ ++ ++ + ++ +++++++++++

+++++++++++++++++++++++ ++ ++ ++ ++ +++ + ++ +++ ++ +++ ++ ++ ++ + +++ ++ ++ +++++++

+ ++ ++

+ + + ++ ++ ++++++++++

++ ++ ++ ++ ++ ++ ++ ++ +

+ ++++++ +

+++

+ ++ ++ ++ ++ + ++ ++ ++ ++ ++ +++++++++++++++++++++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ ++ +++++++++ ++ ++ ++ ++ ++ ++ ++ + ++ + ++ ++ +++++++ ++ + ++++++++++++++++++++++++++++++++++++++++++++++++++++++

++ ++ ++++++

++++++++ +++++ ++ ++ ++ ++ +++++ ++++++++++

++++ ++ ++ ++ ++ ++ ++ ++ +++++++

++ ++ ++++

++ ++ +++++ ++ ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ++ + ++ ++ ++ ++ ++ ++ ++ ++ ++ + + +

++++ + +++++++

++++++++++++++++++++++++++ ++ ++

++ + +++ +

+++ ++ + ++++ ++++

+ +++++ ++++++++++++++++++

+++ ++ ++ + ++

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +

+ +++

+

+ ++ ++ ++ ++ ++++

++++ ++ ++ ++ + +

++++++++++ ++++++++++++++++++++++++++++++++++++++++++++++

+++++++++++++ ++ ++ +++++++++++++++++ ++ ++ ++ +++++ ++

+ + + ++

++++++++++++++++++++++++ ++ + + + +

++ ++++ ++ + ++ +++++++++++ +++++++++++++ ++ + + ++ ++

++ ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +

++ ++ + + +++++ ++ ++ ++ ++ +++++++ ++ + +++ ++ + ++ ++ ++ ++ ++ ++ ++ + ++++ +++++++++++++++++++++++++++++++++++++++++++++++++++ ++ + + ++ + + ++ + ++ ++ ++ + ++ + ++ ++ ++ ++++++++++++++++++++++++++++++++ ++++++ + ++ +++++++++++++++++++++++++++++++ ++++++ + ++ ++ + ++ + + +++ ++ ++ + + + ++ ++ ++ + + + +++++++++++++++++++++++++++

++

+ ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ++

++ ++ ++++ ++ ++ + ++ ++ + ++ ++ ++ ++ ++++++++++++++++++++++++++++++

+ ++ ++ ++ ++ + + + + + + + + + + ++ + + ++ + + ++ + +++++++++++++++++++++++++++++++ + + + + + + + + + ++++++++++ + + + ++ ++ ++ ++ + + ++ ++ ++ + + + + ++ ++ ++++++++++++++++++++++++++++++++++++++++++++++++ ++ ++ + ++ + ++ + + +++++++++++++++++++++++++++++++++++++ + + + + +++++ + + + + + + + + + + + + + + + + + + + + ++ +++++++++++++++ ++++++++++ + + +

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +

+ + + + + + + + + ++++++++++ + ++ + + + + + + +

++++++++++++++++++++++++++++++ +++ +++++++++++++++++++++++++++++++++++++++++++++++++++++++ ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +

+ + + + + + + + + ++++++++++++++++++++++ + + + + + + + + + + + + + + + + + + + + + + + + + + + + +

+++++++++++++++++++++++++++++++++++++ +++ + ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ +

Abbildung 3.3: Verteilung einer m¨oglichen Minimum- und Maximumgrenze durch Creep Mutate

die Möglichkeit des Swappens einer Dimension nur dann zum Tragen, wenn sich die Gaussglocken der beiden Grenzen möglichst stark überschneiden. Grafik 3.3 zeigt zwei Werte, welche das Creep Mutate beide angepasst hat. Die Gaussverteilungen liefern die Erklärung, weshalb es annährend keine Rolle spielt, ob die Regeln aufgrund des Creep Mutates swappen dürfen oder nicht. Die angegebenen erreichbaren Werte beider Grenzen haben nur eine sehr geringe Chance, die Positionen zu wechseln. Damit ist ersichtlich, dass es nur dann eine grosse Rolle spielt, ob ein Vertauschen der Minimum- und Maximumgrenze innerhalb einer Dimension zulässig ist oder nicht, wenn die beiden Werte nahe beeinander initialisiert werden oder wenn die Grösse der Schritte, um welche

(30)

eine Grenze bei der Mutation verschoben wird, vergrössert wird. In diesem Fall zeigt der Bias auf den Classfactor dahingehend Wirkung, dass eine Regel mit häufig tauschenden Minimum- und Maximumgrenzen keinen guten Classfactor erreicht. Daraus resultiert eine geringere Einflußnahme dieser Regel auf die Fitness des Regelsets, weshalb auf Basis der natürlich Selektion diese Regel aus dem Evolutionsprozess verschwindet.

DieCreepratewird aufgrund des häufigen Vorkommens klein gehalten, da die Zielsetzung des Creep Mutates das Anpassen und Verbessern schon vorhandener Regeln darstellt und nicht das Auffinden neuer Suchräume. Diese Aufgabe übernimmt das Random Mutate. Durch die Aufgabe des Anpassens wird das Creep Mutate in Corcoran Ansatz [CS94] mit 50% sehr häufig angesprochen.

3.2.2 Crossoveroperator

Als zweiter Operator wird im folgenden der Crossoveroperator diskutiert. Der Grundge- danke, welcher hinter dieser Rekombination steht, basiert auf der Reproduktion zweier Elternteile. Dabei werden die Genmengen der Eltern ausgetauscht.

Da die Gene in diesem Ansatz als Regeln fungieren, arbeitet die Rekombination auf dem Regelset als solches, statt auf den einzelnen Regeln. Damit wird eine direkte Verbesse- rung der einzelnen Regeln durch den Crossover unmöglich; statt dessen wird die Verbes- serung durch eine neue Kombination schon vorhandener Regeln erreicht. Dadurch, dass der Bias hauptsächlich über die Population der Regelsets Einfluss nimmt, kommt der Rekombination eine grosse Bedeutung zu. Dabei ist es von geringerer Priorität, ob bei den Individuen ein1-Point Crossover, ein2-Point Crossover oder einuniform Crossover vollzogen wird, vielmehr wird die Frage der grundsätzlichen Auswirkungen auf das gesamte Regelset berücksichtigt. Grafik3.4 zeigt ein 1-Point Crossover in diesem Ansatz.

Abbildung 3.4: Crossover bei Pittsburgh-Individuen

(31)

0 0.2 0.4 0.6 0.8 1 1.2

0.5 0.6 0.7 0.8 0.9 1 1.1 1.2

Klasse 1

3 33 3 3

3 3

3 3 3

3 3

3 3 3

3 3

3 333 3

3

3 3

3

3 3 3 333 33

3 3 3 3

3 3 33 3 3

3 3 3

3 3

3

3 3 3

3

33 3 33

3 33 3 33

3 33

3

3 3

3 33 3 3

3 3

3 3 3

33

3 33

3 3

3

3 3

33 3 3 3 3

3

3 3

33 3 3

3 3

3 3 3

3 33 3 33

3 3

3

3 3

33 3

3 3 3 3

3 3

3

3 3 3

3 3

3

3 3 3

3

3 3 33 3 3 3

3 33

3 3

3

3 3

3 3 3 3 3

33

3 3 3

3

3 3

33 3

3 3 3

3

33 3 3 3

3 3 3 3

3

3 3 3

3 3

3

3 3 3

33

3 3

3

3 3

3

3 3 3 3 3

3 333 3 3

3 33 3

3

3 3 33 33

3 3

3

3 3

3 3 3

3 3 3 3 3

3 33

3 3 3

3 3

3 3 3

33 3

3 3 33 3 3 33 3

3

3 3

3 3 3 3

3 3

3

3 3

33 3 3 3

3 3

3 3 3 33 33

3 3 3 33

333 3 3 3

3 3

3 3 333

3

3 3 3 3

3 3

3 3 3

3 3

3 3 3

333 3

3 3 3 3

3 3

3 3 33 3

3 3 3 3

3

3 3 3

3 3

33 3

3 3 3

33 3 3 33 3

3 3

3 3 3

33

3 33 3

3

33 3 3 3

3 3 3

3 3

33 3 3

3

3 3

3 3 3

3 3 3 3

3 3

3 3 3

3

3 3

3 3 3 3

3 3

3 3 3

3 3

3

3 3 3 3

3 3 33 3 3 3

3 3

3 3 3 3

3 3 3 3 3 3 333

33 3 3

3 3

3 3 3 3

3

Klasse 2 3

+ + ++

+ +

+ + +

+

++ + +

++

+ +

+

+ +

+ + +

+ +

+ + +

+ +

+

+ +

+ + +

+ +

+ + + +

++ + +

+ + + +

+

+ +

+

+ ++ + + +

+ + + +

++ +

+ +

+ + +

+ +

+

+ + +

+ + + +

+ +

+

+ +

+

+ + +

+

+ +

+

++ + +

+ +

++ +

+ +

+ + +

+ +

+ ++

+ + +

+

+ +

+ ++ + +

+ +

+

+ + +

+ +

+ + +

+ ++

++ +

+ + + +

+++ + + +

+ + +

+

+ +

+

+ +

++

+

+ +

+ + +

+ +

+

+ +

+

+ + + +

+

+ +

++ +

+

+ + + + +

+ +

+

+ +

+ + +

+

+ +

+

++

+ +

+ + +

+ +

+ ++ + +

+ + + +

+ +

+ ++

+

+ +

+

+ +

+

+ + +

+ +

+

+ + +

+

+ +

+ + + +

+ + + + ++ +

+ + +

+

+ +

+

++ ++ + +

+ +

+ + +

+

+ + +

+ + + +

+ +

++ + +

+

+ + + + +

+ +

+

+ + + + +++

+

+ +

+ + + +

+ +

+ + + + +

+ +

++ + +

+ +

++

+ +

+ + +

+ +

+ + +

+ +

+

+ + + +

+

+ +

+ ++ +

+

++ +

+ + +

+

+ + +

+ +

+

+ ++

+ +

+ + + +

+ + +

+ +

+

+ ++

+ +

+ + +

+

Abbildung 3.5: Testdatensatz

Aufgrund der komplexeren Architektur der Individuen ist die Anforderung an die Re- kombination eine andere als beim urspr¨unglichen Ansatz von Holland [Hol75]. Der Cros- sover soll hier das gesamte Regelset verbessern. Dabei ist allerdings zu beachten, dass die Regeln innerhalb eines Individuums fest auf Genposition verankert sind.

0 20 40 60 80 100

Regeln werden geswappt Regeln werden nicht geswappt

Abbildung 3.6: Fitness auf Testdatensatz

Wenn sich also sehr gute Regeln bei den zu rekombinierenden Individuen auf dem ersten Gen befinden, ist eine Verbesserung durch einen trivialen Crossoveroperator nicht