Membership Inference

Das Ziel des Membership Inference Angriffs ist es, anhand eines bestimmten Datenpunktes, eine Aussage darüber treffen zu können, ob eben jener Datenpunkt zum Trainieren des betrach-teten Modells verwendet wurde. Die zugrundeliegende Aufgabe des Zielmodells, also ob es sich bspw. um eine Klassifikation oder Regression handelt, ist hierbei für den Erfolg des Angriffs unwesentlich. Einem Angreifer geht es rein um das Verknüpfen eines Datenpunktes mit zusätz-lich vorhandenen Informationen über den Trainingsdatensatz. Shokri et al. [2] bewiesen, dass neuronale Netze aufgrund ihrer Konstruktion anfällig für Membership Inference Angriffe sind.

Die Autoren wiesen nach, dass ein trainiertes Netz oftmals spürbar anders auf Informationen reagiert, welche bereits zum Training verwendet wurden, als auf bisher ungesehene Testdaten.

Anhand dieser Rückmeldung kann ein Angreifer zuordnen, ob ein Individuum in einem bestimm-ten Dabestimm-tensatz enthalbestimm-ten ist oder nicht.

Allgemein stellen Angriffe wie die Membership Inference eine Verletzung der Privatheit dar, sind aber besonders dann kritisch, wenn es sich um sensible Informationen handelt, wie bspw. die finanzielle Situation oder medizinische Angaben über eine Person.

Beispielszenario

Ein Krankenhaus entwickelt ein auf maschinellen Lernverfahren basierendes Modell, welches Erbkrankheiten anhand von Portraitfotos der Patienten erkennt. Das Krankenhaus stellt das Modell nach abgeschlossenem Training der Öffentlichkeit frei zur Verfügung und betont dabei, dass es sich um eine komplett hauseigene Implementierung handele – das Modell wurde ausschließlich auf Daten trainiert, die in diesem Krankenhaus erhoben wurden.

Ein Angreifer, der im Besitz eines Portraitfotos ist, kann nun mittels Membership Inference herausfinden, ob die entsprechende Person im besagten Krankenhaus behandelt worden ist. Die Ausgabe eines solchen Angriffs ist binär – positiv, falls der Datenpunkt zum Training verwendet wurde und negativ, wenn nicht. Ein positives Ergebnis gilt allgemein als hinreichende Bedingung für die zu ermittelnde Information.

Technischer Hintergrund

Wie kommt es nun dazu, dass ein trainiertes Netz merkbar anders auf Informationen reagiert, welche bereits zum Training verwendet wurden als auf bisher ungesehene Testdaten? Das Training eines Neuronalen Netzes ist kein einmaliger, sondern ein iterativer Vorgang während dem das Modell den (endlichen) Trainingsdatensatz in unterschiedlichen Konstellationen immer wieder neu bewerten muss.

Häufig ist das Ziel des Trainings eine möglichst gute Anpassung zwischen den Modellentschei-dungen und den tatsächlich beobachteten Realisationen zu erreichen. Dafür wird am Ende jeder Trainingsiteration eine Verlustfunktion (engl. Loss) berechnet, die die Abweichung zwischen geschätzten und tatsächlichen Werten misst. Während des Trainings werden die Parameter des Modells so verändert, dass die resultierende Verlustfunktion minimiert wird.

Genau hier liegt allerdings ein zentrales Problem des überwachten Lernens begraben. Wird ein Modell zu lange auf einen endlichen Datensatz trainiert, beginnt es irgendwann damit sich Trainingsdatenpunkte zu merken, um die Verlustfunktion weiter zu minimieren. Anstatt Zusam-menhänge in den Daten zu erkennen, lernt das Modell die Trainingsdaten und die zugehörigen Ausgaben zu replizieren, was zu einer sinkenden Generalisierungsfähigkeit auf bisher ungesehe-ne Daten führt. Man spricht hier von Overfitting – eiungesehe-ner Überanpassung des Modells an die gegebenen Daten.

Abbildung 10: Zusammenhang Training loss und Generalisierungsfähigkeit, in Anlehnung an: Zhang, Lipton, Li, Smola, Dive into Deep Learning, 2019 [7].

Genau dieses Overfitting ist es, was sich der Membership Inference Angriff besonders zu Nutze machen kann. Sobald das Modell den optimalen Punkt überschritten hat und eine Überanpas-sung anfängt, beginnt es auch damit sich Trainingsinstanzen zu merken. Wird das Modell nach abgeschlossenem Training dann wiederum mit einem Trainingsdatum konfrontiert, wird es die Trainingsinstanz – vereinfacht gesprochen – wiedererkennen und mit einer höheren Konfidenz der jeweiligen Klasse zuordnen, verglichen mit einem bisher ungesehenen Datenpunkt.

Underfitting

Generalization loss

Training loss Optimum Overfitting

Training time

Loss

Abbildung 11: Verteilungen der Ausgabewahrscheinlichkeiten nach Trainings- und unbekannten Referenzdaten (jeweils 500 Datenpunkte) auf Purchase 10 Datensatz. Eigene Erstellung.

Graphisch dargestellt ist dieser Effekt in Abbildung 11. Es ist offensichtlich, dass die Ausgabe-wahrscheinlichkeiten für Elemente des Trainingsdatensatzes (grau) im Durchschnitt deutlich höher sind als die der Elemente des Referenzdatensatzes (blau) .

Der gesamte Membership Inference Angriff kann nun wie folgt ablaufen: Zunächst befragt der Angreifer das Zielmodell wiederholt, um einen vollständigen Datensatz mit Eingabe und zuge-höriger Ausgabe zu generieren. Anschließend wird ein sogenanntes Schattenmodell, welches das Zielmodell in seiner Funktionalität bestmöglich approximieren soll, auf einer Teilmenge eben dieses Datensatzes trainiert. Für ein weiteres Angriffsmodell, welches für die eigentliche Erken-nung der Trainingszugehörigkeit zuständig ist, muss nun zunächst noch das Schattenmodell mit den eigenen Trainingsdaten und mit einem bisher ungesehenen Referenzdatensatz befragt werden. Die Ausgaben des Schattenmodells bezüglich dieser beiden Datensätze, zusammen mit einem binären Code, ob es sich bei dem jeweiligen Datenpunkt um eine Trainingsinstanz han-delt oder nicht, dient dem Angriffsmodell als Trainingsdatensatz.

Auf obiges Beispielszenario angewendet, würde der Angreifer das Modell des Krankenhauses mit einem Portraitfoto befragen und daraufhin einen Vektor an Wahrscheinlichkeiten bezüglich der einzelnen Erbkrankheiten als Ausgabe bekommen. Diesen Ausgabevektor muss er nur noch in das fertig trainierte Angriffsmodell eingeben. Im Bezug auf Abbildung 11, könnte das Angriffs-modell etwa einen einfachen Schwellenwert erlernt haben und ausgeben, dass ein Datenpunkt Teil des Trainings war, wenn die maximale Ausgabewahrscheinlichkeit des Ausgabevektors über 0,6 liegt, wobei sich der Angreifer umso sicherer sein kann, je weiter sich der Wert vom Schwel-lenwert entfernt.

Trainingsdaten Unbekannte Daten

0 0.0 50 100 150 200 250 300 350

0.2 0.4 0.6 0.8 1.0

Ausgabewahrscheinlichkeit

Häufigkeit