Multibiometrie – mehr als nur multimodal
Katrin Radestock, Matthias Niesing Biometrie & Hoheitliche Dokumente
secunet Security Networks AG Kronprinzenstraße 30
45128 Essen
Katrin.Radestock@secunet.com Matthias.Niesing@secunet.com
Abstract: In der Biometrie bezeichnet „multimodal“ die Verwendung von mehreren biometrischen Verfahren zur Authentifizierung von Personen.
Multimodalität umfasst jedoch nur ein Teil der Möglichkeiten, Ergebnisse in einem biometrischen System zu kombinieren. Dieser Artikel zeigt weitere Methoden der Multibiometrie. Darüber hinaus wird dargestellt, auf welchen Ebenen Fusionen von (Zwischen-)Ergebnissen erfolgen können. Die vorgestellten Verfahren werden am Beispiel des neuen ePass mit Gesicht und Fingerabdrücken exemplarisch erläutert.
1 Multimodal vs. multibiometrisch
Wenn in der Biometrie über die Kombination von verschiedenen biometrischen Verfahren, von Algorithmen oder von verschiedenen Merkmalsaufnahmen geredet wird, dann werden diese Varianten häufig unter dem Begriff „multimodal“ zusammengefasst.
Dass diese Begrifflichkeit nicht immer ganz zutreffend ist, soll im Folgenden verdeutlicht werden.
Im strengen Sinne bedeutet Multimodalität, dass zwei oder mehr biometrische Merkmale für eine Authentifizierung verwendet werden. Die Bezeichnung „multimodal“ wird auch von dem in Arbeit befindlichen ISO-Standard ISO/IEC 24722 in dieser Art spezifiziert.
Ein Beispiel für Multimodalität ist in der folgenden Abbildung dargestellt. Hier wird das Merkmal Gesicht und das Merkmal Finger für die Authentifizierung in einem biometrischen System verwendet.
Abbildung 1: Beispieldatensatz für multimodal [FE04]
Neben der Kombination verschiedener biometrischer Merkmale gibt es weitere Möglichkeiten, Komponenten eines biometrischen Verfahrens zu kombinieren.
Abbildung 2: Varianten der Multibiometrie
Eine Möglichkeit ist die Verwendung verschiedener Instanzen eines biometrischen Merkmals, was alsmultiinstancebezeichnet wird. Dies umfasst folgende Punkte:
• Die Erstellung mehrerer affiner1 Aufnahmen von einem biometrischen Merkmal, beispielsweise die mehrmalige Aufnahme eines Fingerabdrucks.
Abbildung 3: Beispieldatensatz für multiinstance mit affinen Aufnahmen
• Die Aufnahme unterschiedlicher Elemente eines biometrischen Merkmals, beispielsweise die Aufnahme der beiden Zeigefinger.
Abbildung 4: Beispieldatensatz für multiinstance mit Aufnahmen verschiedener Elemente
• Die Aufnahme verschiedener Positionen eines biometrischen Merkmals. Diese enthalten mehr Informationen, als nur eine 2D Aufnahme.
Abbildung 5: Beispieldatensatz für multiinstance mit Aufnahmen verschiedener Positionen [FE04]
Die Verwendung verschiedener Sensorentechnologien wird als multisensorial bezeichnet. Dies bietet die Möglichkeit, Vorteile einzelner Technologien zu kombinieren, beispielsweise die hohe Bildqualität einer Technologie mit der guten Fake- Resistenz eines anderen Sensorverfahrens.
1Als „affin“ werden in diesem Kontext Aufnahmen bezeichnet, die vom selben Körperteil abgeleitet sind.
Abbildung 6: Beispiel für multisensorial (Verwendung von optischen [CR] und kapazitiven [SE]
Fingerabdrucksensoren)
Die bisher genannten Varianten sind durch den Anwender eines biometrischen Verfahrens sichtbar und erfordern seine aktive Mitarbeit. Die Verwendung verschiedener Darstellungsformen einer Aufnahme – alsmultirepresentationbezeichnet – ist für den Anwender nicht sichtbar. So können allerdings mehr Informationen über ein biometrisches Merkmals gesammelt werden.
Abbildung 7: Beispieldatensatz für multirepresentation [HO02]
Eine weitere für den Anwender nicht wahrnehmbare Alternative der Multibiometrie ist die Verwendung verschiedner Algorithmen – alsmultialgorithmicbezeichnet. In einem biometrischen Verfahren werden Algorithmen zur Merkmalsextraktion, für den Vergleich (Matching) und für die Entscheidungsfindung (Decision) verwendet. An diesen Stellen besteht jeweils die Möglichkeit, verschiedene Algorithmen zu verwenden.
Aus den beschriebenen Varianten wird ersichtlich, dass nicht nur Verfahren existieren, welche multimodal sind. Die Möglichkeiten multiinstance, multisensorial, multirepresentation und multialgorithmic können nicht unter dem Begriff multimodal zusammengefasst werden. Stattdessen sollte man diese Varianten genauso wie die Variante multimodal unter dem Begriff „multibiometrisches Verfahren“
zusammenfassen.
In der Fachliteratur hat sich die dargestellte Unterscheidung von Multibiometrie und Multimodalität ebenfalls durchgesetzt (siehe zum Beispiel [RNJ06]). Dies spiegelt sich auch in dem sich in der Entwicklung befindlichen Standard ISO/IEC 24722 „Multimodal and other Multibiometric Fusion“ [ISO06] wieder.
2 Fusionen
Die Verwendung multibiometrischer Verfahren impliziert, dass Daten aus verschiedenen Quellen so fusioniert werden, dass ein resultierendes Verifikationsergebnis (eine Klassifizierung in die Klassen Match oder Non Match) erzeugt werden kann. Diese Verknüpfung der Daten kann auf vier verschiedenen Fusionsebenen erfolgen. Die Einordnung der vier Fusionsebenen in einem biometrischen System ist in der nachfolgenden Abbildung dargestellt.
Abbildung 8: Einordnung der Fusionsebenen Zu den Fusionsebenen gehören:
• Das Sample Level – bei dem die Aufnahmebilder fusioniert werden.
• Das Feature Level – bei dem die Merkmalsvektoren fusioniert werden.
• Das Score Level – bei dem die Match Scores fusioniert werden.
• Das Decision Level – bei dem die Einzelentscheidungen fusioniert werden.
Die Möglichkeiten der Fusionierung in den einzelnen Ebenen werden in den nachfolgenden Abschnitten genauer betrachtet.
2.1 Sample Level Fusion
Auf dem Sample Level erfolgt die Fusionierung von Aufnahmebildern. Dadurch kann beispielsweise die Qualität der Aufnahme eines biometrischen Merkmals gesteigert werden. Die Bedingung für die Anwendung der Sample Level Fusion ist die Erstellung mehrerer Aufnahmen von einem biometrischen Merkmal.
Folgende Fusionsfunktionen sind auf dem Sample Level realisierbar:
• Ergänzung von fehlenden Bildbereichen: Hierbei werden aus den verschiedenen Aufnahmen fehlende Informationen ergänzt, so dass das endgültige Bild mehr Informationen enthält, als jedes der Einzelbilder. Diese Verfahren werden beispielsweise bei der Fingerabdruckerkennung (Fingerprint Mosaicking) eingesetzt. Durch zu feuchte Finger können nicht alle Minutien aufgenommen werden. Durch das Heben und Senken des Fingers wird der Finger trockener.
Bei einer zweiten Aufnahme besteht damit die Möglichkeit, dass fehlende Bereiche lesbar sind. Diese fehlenden Bereiche werden extrahiert und ein zusammenhängendes Bild ermittelt.
Abbildung 9: Fingerprint Mosaicking [JR02]
• Aufnahme von mehr Informationen in ein Bild: Hierbei werden verschiedene Aufnahmen zu einem Bild mit mehr Informationen zusammengefasst. Dieses Verfahren wird unter anderem in der Gesichtserkennung verwendet. Von dem Gesicht werden beispielsweise die linke, die frontale und die rechte Ansicht aufgenommen. Im Anschluss werden diese drei Aufnahmen zu einer Aufnahme fusioniert, welche mehr Informationen enthält, als jede Einzelaufnahme. Das bringt den Vorteil, dass eine leicht seitliche Aufnahme der Person trotzdem mit der Referenzaufnahme vergleichbar ist.
Abbildung 10: Umwandlung von 2D-Bildern in eine 2D-Textur [MO07]
2.2 Feature Level Fusion
Auf dem Feature Level erfolgt die Fusionierung von Merkmalsvektoren. Um Vektoren zu fusionieren, können beispielsweise folgende Fusionsfunktionen verwendet werden:
• Konkatenation – Die Konkatenation beschreibt das Aneinanderhängen der beiden Vektoren.
• Gewichtete Summation – Bei der gewichteten Summation der Merkmalsvektoren können die Gewichte sehr unterschiedlich gestaltet sein.
Sind alle Gewichte 1, so erhält man die einfache Summation. Ist hingegen die Summe der Gewichte 1 und jedes Gewicht aus den rationalen Zahlen, so kann bestimmt werden, wie stark ein Merkmalsvektor bei der nachfolgenden Berechnung ins Gewicht fällt. Eine weitere Möglichkeit ist, dass die Summe der Gewichte 1 ergibt und die Gewichte nur ganze Zahlen annehmen dürfen. So kann bestimmt werden, welcher Merkmalsvektor weiterverwendet werden soll.
Bei der Fusionierung auf dem Feature Level muss beachtet werden, dass die Referenzvektoren in gleicher Weise fusioniert werden wie die bei der Authentifizierung erhobenen Merkmalsvektoren.
2.3 Score Level Fusion
Auf dem Score Level erfolgt die Fusionierung von Match Scores. Bedingung für die Anwendung der Score Level Fusion ist eine vorherige Normalisierung der Match Scores.
Durch die Normalisierung wird erreicht, dass verschiedene Match Scores auf gleiche Wertebereiche abgebildet werden. Mögliche Normalisierungsfunktionen sind die min- max-Normalisierung, die Mediannormalisierung, die Dezimalskalierung und der z- Score.
Die normalisierten Match Scores können im Anschluss durch eine der nachfolgend beschriebenen Fusionsfunktionen kombiniert werden:
• Einfache Summation– ist das Aufsummieren aller Match Scores.
• Gewichtete Summation– ist die Multiplikation der Match Scores mit definierten Werten und ein anschließendes Aufsummieren.
• Minimum der MatchScores – verwendet den kleinsten Match Score als finalen Match Score.
• Maximum der Match Scores– verwendet den größten Match Score als finalen Match Score.
• Summe der Wahrscheinlichkeiten – verwendet die Summe der Einzelwahrscheinlichkeiten von jedem Match Score für den Eintritt des Ereignisses Match.
• Produkt der Wahrscheinlichkeiten – verwendet das Produkt der Einzelwahrscheinlichkeiten von jedem Match Score für den Eintritt des Ereignisses Match.
Bei der Verwendung der Summe von Wahrscheinlichkeiten und dem Produkt der Wahrscheinlichkeiten muss zur finalen Match Score Findung eine Trainingsmenge zur Verfügung stehen, anhand der die Wahrscheinlichkeiten berechnet werden können.
2.4 Decision Level Fusion
Auf dem Decision Level erfolgt die Fusionierung der Entscheidungen, ob ein Ergebnis der Klasse Match oder der Klasse Non Match zugeordnet wird. Bei der Eingabe handelt es sich ausschließlich um die Werte 0 oder 1, so dass als Fusionsfunktionen folgende booleschen Funktionen infrage kommen:
• AND-Funktion: Bei dieser booleschen Funktion werden die Ergebnisse durch das logische AND verbunden. Um eine Authentifizierung zu erreichen, müssen alle einzelnen Entscheidungen in die Klasse Match eingeordnet werden. Nur dann wird auch die endgültige Entscheidung in die Klasse Match eingeordnet.
• OR-Funktion: Bei der OR-Funktion werden die einzelnen Entscheidungen durch das logische OR verbunden. Für das Erreichen einer Authentifizierung ist es ausreichend, dass genau eine Entscheidung in die Klasse Match einordnet wird.
• RANDOM-Funktion: Die RANDOM-Funktion wählt zufällig eine der einzelnen Entscheidungen aus. Das Ergebnis der ausgewählten Entscheidung bildet das Gesamtergebnis. Die anderen einzelnen Entscheidungen werden unberücksichtigt gelassen.
Neben den booleschen Funktionen besteht die Möglichkeit, auch folgende Voting- Funktionen zu verwenden:
• Consensus Voting: Beim Consensus Voting führt die Mehrheit der Entscheidungen zur endgültigen Entscheidung. Dieses wird erreicht, indem die Anzahl der Entscheidungen für jede Klasse aufaddiert wird. Die Klasse mit der größeren Anzahl von Entscheidungen wird zur endgültigen Entscheidung gewählt.
• Majority Voting: Das Majority Voting ist eine Abwandlung vom Consensus Voting. Auch hier werden die Anzahl der Entscheidungen für eine Klasse aufaddiert. Allerdings wird die endgültige Entscheidung anhand eines definierten Schwellenwertes gebildet.
• Weighted Voting: Beim Weighted Voting muss a priori bekannt sein, welche Zuverlässigkeit die Entscheidung eines Decision Algorithmus besitzt. Nach dieser Zuverlässigkeit wird für jede Entscheidung ein Gewicht definiert. Die endgültige Entscheidung ergibt sich aus dem höchsten Gewicht.
3 Beispiel: Grenzkontrolle und der ePass
Ab November 2007 wird in Deutschland der neue deutsche Reisepass (ePass) unter der Verwendung der biometrischen Merkmale Gesicht und Fingerabdrücke der beiden Zeigefinger eingeführt. Diese Aufnahmen werden auf dem RFID-Chip des ePass gespeichert. Ein möglicher Datensatz ist in der folgenden Abbildung dargestellt.
Abbildung 11: Beispieldatensatz von einem biometrischen Reisepass mit (a) Gesicht, (b) rechter Zeigefingerabdruck und (c) linker Zeigefingerabdruck
Die Identitätsfeststellung einer Person im Rahmen der Grenzkontrolle kann durch biometrische Verifikationsverfahren unterstützt werden. Hier besteht auch die Möglichkeit, die Person durch multibiometrische Verfahren zu verifizieren. Nachfolgend werden die Möglichkeiten einer multibiometrischen Grenzkontroll-Applikation dargestellt.
3.1 Multimodal
Für ein multimodales Verfahren werden das Gesicht und ein Fingerabdruck benötigt.
Diese beiden biometrischen Merkmale werden nacheinander erfasst. Um die Daten zu fusionieren, stehen das Feature Level, das Score Level und das Decision Level zur Verfügung. Eine Fusion auf dem Sample Level ist nicht möglich, da die beiden Aufnahmen der biometrischen Merkmale keine Ähnlichkeit aufweisen.
3.2 Multiinstance
Für die Verwendung eines multiinstance Verfahrens mitaffinen Aufnahmeneignet sich aus dem Datensatz entweder der rechte oder der linke Zeigefinger. Bei diesem Verfahren wird ein Finger mehrfach auf einen Sensor aufgelegt, so dass mehrere affine Aufnahmen entstehen. Eine Fusionierung der Aufnahmen bzw. der Ergebnisse kann auf dem Sample Level, dem Feature Level, dem Score Level und dem Decision Level erfolgen. Bei diesem multiinstance Verfahren bietet sich die Fusionierung auf dem Sample Level an, da somit die Möglichkeit besteht, mehr Informationen aus einem Aufnahmebild zu extrahieren.
Für die Verwendung eines multiinstance Verfahrens mit verschiedenen Elementen werden der rechte und der linke Fingerabdruck der beiden Zeigefinger benötigt. Die Aufnahme erfolgt entweder durch Einzelfingersensoren nacheinander oder durch Mehrfingersensoren gleichzeitig. Eine Fusionierung kann dann auf dem Feature Level, dem Score Level oder dem Decision Level erfolgen. Die Fusionierung auf dem Sample Level kann bei zwei verschiedenen Fingerabdrücken nicht durchgeführt werden, weil die Aufnahmen keine gleichen Bereiche enthalten.
Eine weitere Möglichkeit eines multiinstance Verfahrens ist die Aufnahme von verschiedenen Positionen. Hierfür eignet sich die Aufnahme des Gesichts von der linken Seite, der rechten Seite und in frontaler Position. Diese Aufnahmen bzw. die zugehörigen Ergebnisse können auf dem Sample Level, dem Feature Level, dem Score Level oder auf dem Decision Level fusioniert werden. An dieser Stelle sollte das Sample Level bevorzugt werden, da diese Fusion mehr Informationen in ein Bild aufnimmt.
3.3 Multisensorial
Ein multisensoriales Verfahren benötigt verschiedene Sensortechnologien, um ein biometrisches Merkmal aufzunehmen. Mittlerweile existieren sowohl für das Gesicht, als auch für den Fingerabdruck verschiedene Sensortechnologien.
Für eine Grenzkontrolle ist diese Variante mit verschiedenen Fingerabdrucksensoren denkbar. Somit können die Nachteile (beispielsweise Empfindlichkeit bei Verschmutzungen) der verschiedenen Sensoren umgangen werden. Die Fusionierung kann auf dem Sample Level, dem Feature Level, dem Score Level und dem Decision
3.4 Multirepresentation
Für ein multirepresentation Verfahren werden entweder ein Fingerabdruck oder das Gesicht verwendet. Bei einer Aufnahme wird der Fingerabdruck oder das Gesicht unterschiedlich dargestellt. Das Gesicht kann beispielsweise zusätzlich zu einer optischen Aufnahme in einem Amplitudenspektrum dargestellt werden. Diese Berechnung kann ebenfalls auf dem Referenzbild durchgeführt werden. Die Fusionierung kann auf dem Feature Level, dem Score Level und dem Decision Level erfolgen. Das Sample Level ist hierbei nicht anwendbar, da die unterschiedlich dargestellten Aufnahmen keine Ähnlichkeiten enthalten.
3.5 Multialgorithmic
Um ein multialgorithmic Verfahren zu realisieren, werden verschiedene Algorithmen benötigt. Für die Auswertung von Gesichtern und für die Auswertung von Fingerabdrücken sind bereits mehrere verschiedene Algorithmen entwickelt worden, so dass beide biometrischen Merkmale für ein multialgorithmic Verfahren zur Verfügung stehen.
Für multialgorithmic Verfahren werden entweder verschiedene Merkmalsextraktions- algorithmen, Matching Algorithmen oder Decision Algorithmen verwendet. In Abhängigkeit der verschiedenen Algorithmen muss auch eine entsprechende Fusionsebene gewählt werden. Auszuschließen ist nur die Fusionierung auf dem Sample Level, da nur ein Aufnahmebild zu Verfügung steht.
4 Umsetzung multibiometrischer Verfahren
In diesem Paper wurden nur einfache Kombinationen betrachtet. Denkbar ist auch die Verwendung mehrerer Kombinationen. Somit besteht die Möglichkeit, eine Einordnung einer Person über mehr Merkmale und mehr Entscheidungen vorzunehmen.
In der Vergangenheit sind bereits Studien über multibiometrische Verfahren durchgeführt worden. So untersuchte das BSI in den Projekten BioMulti und BioFinger das Potenzial multibiometrischer Systeme. Hierbei wurde festgestellt, dass durch geeignete Kombinationen von biometrischen Verfahren oder Algorithmen die Erkennungsleistung erheblich gesteigert werden kann (vgl. [BSI05]).
Für die Realisierung von multibiometrischen Systemen erscheint der Einsatz einer flexiblen und modularen Architektur als sinnvoll. Hierfür könnte beispielsweise die vom BSI gemeinsam mit secunet entwickelte Biometrieplattform BioMiddle Verwendung finden. Mit BioMiddle können die Sensoren für unterschiedliche biometrische Merkmale flexibel eingebunden werden. Auch unterschiedliche Algorithmen sind mittels dieser Architektur kombinierbar. Dies ermöglicht eine relativ einfache Umsetzung multibiometrischer Verfahren.
Literaturverzeichnis
[BSI05] Bundesamt für Sicherheit in der Informationstechnik: „Jahresbericht 2005“;
www.bsi.bund.de/literat/jahresbericht/jahresbericht2005/bsi_jahresbericht2005.pdf [CR] Cross Match Technologies Inc.: „L SCAN™ 100 USB 2.0”, http://www.crossmatch.com [FE04] FERET-Database; http://www.itl.nist.gov/iad/humanid/feret/
[HO02] Hoffmann, Markus: „Grundsätzliche Untersuchung von Bildverarbeitungsalgorithmen zur Gesichtserkennung“, www.markus-hofmann.de/ fourier.html
[ISO06] ISO/IEC (2006): „JTC1/SC37 N1506 – Multimodal and Other Multbiometric Fusion“ – Technical Report; Stand: 28.02.2006; http://isotc.iso.org/livelink/livelink/fetch/2000/
2122/327993/2262372/2263034/2300193/JTC001-SC37-N-1506.pdf?nodeid=5045943&
vernum=2; [26. Juli 2006]
[JR02] Jain, Anil K.; Ross, Arun: „Fingerprint Mosaicking“, http://biometrics.cse.msu.edu/JainRossICASSP02.pdf
[MO07] Moghaddam, Baback: “3D Face Recognition”, http://www.merl.com/projects/3Dfacerec/
[RNJ06] Ross, Arun; Nandakumar, Karthik; Jain, Anil (2006): „Handbook of Multibiometrics“;
Springer Science + Business Media Inc.; ISBN: 0-387-22296-0
[SE] Secure-Tech: „AET-60 BioCARDKey“, http://www.securetech-corp.com/
aet60.html
