nur das F1-Maß der Klassifikation verbessert hat, sondern auch die miss-klassifizierten Samples wurden richtig klassifiziert. Allein durch entfernen dieser Features wurde die Klassifikation insgesamt verbessert. Das lässt den Schluss zu, dass das Model überan-gepasst ist und so erst durch das Entfernen von Features seine Anpassung reguliert.
Zwar wurden andere nicht richtig klassifiziert, aber die Anzahl der nicht korrekt klassi-fizierten Samples wurde verringert. Daraus kann man folgern, dass bestimmte Malware Familien die entfernten Features benötigen um richtig klassifiziert zu werden. Das heißt jedoch, dass der Klassifikator an dieser Stelle mit einem Ensemble an Klassifikatoren ersetzt werden sollte, um eine bessere Klassifikation zu gewährleisten.
4.2 Evaluation
Die Evaluation soll hier mittels des Intrusion Detection Datensatzes vorangetrieben werden. Dadurch soll untersucht werden, ob man die Treemap auch an Nicht-Binärfeatures anpassen kann und ob dann immer noch vergleichbare Ergebnisse zustande kommen können wie bei den Binärfeatures. Hierbei soll auch gezeigt werden, wie Treemaps auf unterschiedliche Features reagieren und wie diese weiter dargestellt werden.
4.2.1 Allgemeine Diskussion
Der Android Malware Datensatz Drebin bietet nur Binärfeatures und ist deshalb recht einfach in eine Treemap umwandelbar. Jedoch ist dies eher ein seltener Fall und es kommt meist eine Kombination verschiedener Typen von Features vor. Dabei können diese nicht so leicht in eine Treemap umgewandelt werden. Der Intrusion Detection Datensatz bietet genau diese Kombination. Das Verfahren das hier verwendet wird um diese Kombination von Typen zu Treemaps umzuwandeln, ist zuerst alle Features aufzusummieren. Dabei werden diskrete Features, das heißt Features mit einer festen Anzahl an möglichen Werten, zu Binärfeatures umgewandelt, was wiederum bedeutet jeder Wert erhält ein Feature mit wahr oder falsch. Kontinuierliche Features, also Features mit vielen verschiedenen Werten, bleiben in ihrer Form gleich. Bei Aufbau der Treemaps wird jeder Feature-Vektor der Samples, die diese Treemap bilden soll, aufsummiert und durch die Anzahl der Samples geteilt.
Bei diskreten Features sollte sich so das Feature, das am häufigsten in den Samp-les vorkommt, durchsetzen. Kontinuierliche Features sollten das arithmetische Mittel bilden. Dieses sollte, muss jedoch nicht, sich wenig von den Werten der eigentlichen
Klasse unterscheiden und sollte so einen ersten Eindruck vermitteln.
Abbildung 4.5: Die Hauptansicht des Programmes mit dem Intrusion Detection Da-tensatzes.
Das Verfahren wurde so gewählt, da es zu guten Ergebnissen bei den Treemaps geführt hat, wie man in Abb. 4.5 sieht. Jedoch führt dieses Verfahren dazu, dass die
„Helper Box“ nicht mehr benutzt werden kann. Da diese darauf aufgebaut ist, gleiche Features in der anfänglichen und in der klassifizierten Treemap zu finden. Dies ist jedoch bei kontinuierlichen Features nicht möglich, da jedes Sample diese Features mit unterschiedlichen Werten besitzt.
Als Alternative hätten auch alle Features zu Binärfeatures umgewandelt werden können um das Programm so zu verwenden wie bei dem Malware Datensatz. Aber das hätte selbst die Feature Anzahl der Malware Daten mit rund einer halben Millionen Features noch überstiegen. Darum wurde auf dieses verzichtet und es wurde die „Helper Box“ ausgeschlossen.
4.2.2 Weitere Diskussion
Das zeigt schon die erste Schwäche der Treemaps in der erweiterten Confusion Matrix.
Mit diesen wird es schwierig Features anzuzeigen, sodass erkannt werden kann welche
4.2 Evaluation 39 Features entfernbar sind und bei der Klassifikation Probleme für den Klassifikator bereiten könnten.
Dieses Problem kann jedoch dank der weiteren Informationen in der „Treemap Com-pare View“ in den Treemaps behoben werden. Hier können nun die Werte der kontinu-ierlichen Features miteinander verglichen werden um zu sehen warum manche Samples falsch klassifiziert wurden.
Abbildung 4.6: „Treemap Compare View“ miss-klassifizierter Samples mit dem Intru-sion Detection Datensatz.
In Abb. 4.6 sieht man aber trotzdem bei näherem Vergleich, warum die Samples falsch klassifiziert wurden. Die Werte der miss-klassifizierter Samples liegen näher an den Werten der klassifizierten Klasse als an der wirklichen Klasse. Vor allem an dem markierten Feature wird dies deutlich, da dieses in der wirklichen Klasse nicht in dem Wertebereich vorkommt.
Mit diesem Wissen kann jetzt Annahmen über den Klassifikator getroffen werden.
Zum Beispiel kann herausgefunden werden, wo dieser bei kontinuierlichen Features einen Split macht um die Klassen zu unterscheiden. Dabei gibt es auch Beispiele im Datensatz an denen ersichtlich ist, dass es Klassen gibt in denen sich die einzelnen Elemente deutlich stärker unterscheiden als in anderen.
Wobei es auch weitere Samples gibt in denen es recht schwierig wird zu erkennen, warum diese in eine falsche Klasse geordnet wurden. Abb. 4.7 zeigt dies recht gut, da selbst bei genauer Betrachtung es für den Nutzer schwierig erscheint festzustellen, welche Features ausschlaggebend für die Klassifikation waren. Dabei kann dies zwei
Ursachen haben. Einmal es liegt direkt an dem Datensatz und dieses Samples ist deutlich unterschiedlicher als alle anderen dieser Klasse oder das Verfahren um die Treemaps zu gewichten schlägt hier fehl.
Abbildung 4.7: „Treemap Compare View“ miss-klassifizierter Samples mit dem Intru-sion Detection Datensatz mit unklaren Ergebnissen.
41
5 Fazit und Ausblick
5.1 Fazit
Es sollte deutlich geworden sein, wie es möglich ist herauszufinden, warum bestimmte Samples aus dem Malware Datensatzes falsch klassifiziert wurden. Auch sollte gezeigt worden sein, dass die Erweiterung einer Confusion Matrix mit weiteren Visualisie-rungstechniken nicht nur einen visuellen Vorteil bringt, sondern das damit auch mehr Information in der Confusion Matrix angezeigt werden können. Dabei wurde vor al-lem gezeigt das eine erweiterte Confusion Matrix mit Treemaps einen guten Überblick über die Features der verschiedenen Klassen gibt. squarified Treemaps bilden dabei ein gutes Profil einer Klasse, sowohl mit Binärfeatures als auch mit Kombinationen von verschiedenen Featuretypen. Jedoch wird deutlich, dass Binärfeature deutlich besser damit harmonieren als andere Typen. Das wird vor allem in der „Treemap Compa-re View“ und der „Helper Box“ klar. Da nur bei BinärfeatuCompa-res in der „Helper Box“
hilfreiche Tipps beziehungsweise Features angezeigt werden können.
Aber wie gezeigt, kann in der „Treemap Compare View“ gesehen werden, wie es möglich ist auch kontinuierliche Features zu vergleichen und auszuschließen. Die „Hel-per Box“ kann auf diese Weise nicht mehr so eingesetzt werden wie angedacht und muss für diesen Zweck noch weiter angepasst werden. Jedoch wie man in Abb. 4.7 sieht, ist das derzeitige Verfahren die Treemaps mittels arithmetischem Mittel zu ge-wichten nicht das Beste. Dieses muss noch verbessert werden oder durch ein besseres Verfahren ersetzt werden. Allgemein muss jedoch die Technik so verändert werden, dass alle Featuretypen unterstützt werden. Dies hätte aber auch zur Folge das mit etwas Aufwand jeder Datensatz in „Interaktive Unterstützung für Malware Klassifikation“
eingebunden und analysiert werden könnte.