Aus der Universitätsklinik für Neurologie der Medizinischen Fakultät
der Otto-von-Guericke-Universität Magdeburg
"Analyse neuronaler Aktivität von humanen Fingerbewegungen mit invasiven und nicht-invasiven Messmethoden"
D i s s e r t a t i o n
zur Erlangung des Doktorgrades Dr. med.
(doctor medicinae)
an der Medizinischen Fakultät
der Otto-von-Guericke-Universität Magdeburg
vorgelegt von Fanny Quandt
aus Rostock
Dokumentationsblatt
Bibliographische Beschreibung
Quandt, Fanny:
Analyse neuronaler Aktivität von humanen Fingerbewegungen mit invasiven und nicht-invasiven Messmethoden. – 2016. – 60 Bl., 9 Abb., 0. Tbl., 4 Anl.
Kurzreferat
Die Geschicklichkeit, mit der der Mensch Fingerbewegungen ausführt, ist beispiellos. Einschränkungen im Funktionsumfang führen zu einer beträchtlichen Minderung der Lebensqualität. Im Kontext von Brain-Machine-Interfaces ist es daher von besonderer Bedeutung, Neuroprothesen zu entwickeln, die eine Dekodierung von Fingerbewegungen erlauben. Da die kortikale Repräsentation der Finger auf ein Areal von wenigen Millimetern beschränkt ist, stellt sich die Frage, mit welchen Messtechniken individuelle Fingerbewegungen in einzelnen Epochen dekodiert werden können. Hierfür wurde die neuronale Aktivität mittels nicht-invasivem EEG und MEG sowie invasivem ECoG aufgezeichnet. Probanden führten nach Instruktion durch einen visuellen Stimulus leichtgradige Fingerbewegungen in Form eines Knopfdruckes aus. Durch Anwendung von Algorithmen des maschinellen Lernens wurde der Informationsgehalt verschiedener Merkmalsräume analysiert. Die Studien zeigten, dass Fingerbewegungen einer Hand sowohl mit MEG (µ=57%) als auch mit ECoG (µ=73%) Ableitungen dekodiert werden können. Im EEG waren die Ergebnisse weniger robust (µ=43%). Im MEG enthielt die tiefpass-gefilterte Zeitreihe den höchsten Informationsgehalt, wohingegen im ECoG die Amplitude von Oszillationen >60 Hz die beste Unterscheidung einzelner Fingerbewegungen erlaubt. Die Dissertation zeigt den potentiellen Nutzen von MEG Messungen für die Implementierung von Fingerbewegungen in Brain-Machine-Interface Neuroprothesen und charakterisiert die zeitliche Dynamik sowie Änderungen während des motorischen Lernens von menschlichen Fingerbewegungen.
Schlüsselwörter
Brain-Machine-Interface MEG, EEG, ECoG Finger Motorik
Inhaltsverzeichnis
Dokumentationsblatt
II
Bibliographische Beschreibung II Kurzreferat II Schlüsselwörter IIInhaltsverzeichnis
III
Abkürzungsverzeichnis
IV
Zusammenfassung
1
Einleitung 1 Methoden 3Fingerdekodierung mit nicht-invasiven und invasiven Messmethoden 4
Vergleich der Merkmalsräume 8
Dynamische Repräsentation von Fingerbewegungen 12
a. Zeitliche Entwicklung der Dekodierungsinformation während einer Bewegung 12
b. Veränderungen der neuronalen Signale während des motorischen Lernens 13
Schlussfolgerung 16
Literaturverzeichnis
17
Wissenschaftliche Beiträge
VI
Journal Publikationen VI
Konferenzbeiträge als Erstautor VI
Danksagungen
VII
Ehrenerklärung
VIII
Bildungsweg
IX
Anlagen
V
Anlage 1 V Anlage 2 VI Anlage 3 VII Anlage 4 VIIIAbkürzungsverzeichnis
BMI Brain-Machine-Interface
ECoG Elektrokortikogramm
MEG Magnetoenzephalogramm
EEG Elektroenzephalogramm
SVM Support Vector Machine
DA decoding accuracy
NIRS Nahinfrarotspektroskopie
Zusammenfassung
Einleitung
Die Geschicklichkeit und Komplexität, mit denen wir Hand- und Fingerbewegungen ausführen können, sind im Vergleich zu anderen Lebewesen unübertroffen. Unsere Fingerfertigkeit ist das Resultat evolutionärer Entwicklung und zeichnet uns gegenüber anderen Primaten aus. Sie ist von besonderer Bedeutung bei der Manipulation von Werkzeugen und ein Verlust der Funktionalität führt zu erheblichen Einschränkungen im Alltag. Aus diesem Grund ist die Inkorporation von Hand- und Fingerbewegungen in Prothesen der oberen Extremität von außerordentlicher Relevanz. In den letzten Jahren hat die Bedeutung von gedankengesteuerten Prothesen zugenommen. Diese Prothesen ermöglichen die Steuerung einer künstlichen Extremität unter Umgehung der peripheren Nerven und der Muskulatur. Diese sogenannten Brain-Machine-Interfaces (BMIs) bilden eine Schnittstelle zwischen dem Gehirn und einer Maschine und erlauben einen Informationsaustausch ohne auf die üblichen Ausgangssignale des Hirns angewiesen zu sein (Abbildung 1) (Quandt et al., 2012b). 1 Hierzu muss die hochdimensionale neuronale Aktivität in Echtzeit mit Hilfe mathematischer Algorithmen in technische niederdimensionale Steuersignale umgewandelt werden. Diese Signale können dann zur Steuerung einer Prothese genutzt werden.
1 Eine ausführliche Darstellung über die Einteilung und Anwendung von BMIs ist in dem Übersichtsartikel
„Grundlagen und Anwendung von Brain-Machine Interfaces (BMI)“ zusammengestellt (Anlage 2, Quandt et al., 2012b).
Abbildung 1. Schematische Darstellung eines Online-BMI
Die neuronale Aktivität, hervorgerufen durch externe Stimuli oder intrinsisch generierte Modulation, wird aufgezeichnet und in Echtzeit mit Hilfe von Algorithmen in Steuerungssignale umgewandelt. Diese werden dann genutzt um beispielsweise einen Computer, einen Rollstuhl oder eine Prothese zu steuern.2
Verschiedene Forschergruppen konnten bereits die Kinematik und Position von Bewegungstrajektorien der oberen Extremität sowohl mit invasiven Einzelzellableitungen von Affen (Carmena et al., 2003; Taylor et al., 2002) und Menschen (Hochberg et al., 2006), mittels Elektrokortikogramm (ECoG) (Leuthardt et al., 2004) als auch mit nicht-invasiven Messmethoden wie dem Elektroenzephalogramm (EEG) und dem Magnetoenzephalogramm (MEG) (Georgopoulos et al., 2005; Jerbi et al., 2007; Waldert et al., 2008) dekodieren. Für die erfolgreiche Entwicklung einer BMI-gesteuerten Handprothese sind darüber hinaus detaillierte Kenntnisse über die Enkodierung von Hand- und Fingerbewegungen im menschlichen Kortex erforderlich. Im Vergleich zu Armbewegungen rufen diskrete Fingerbewegungen geringere neuronale Entladungsmuster im Kortex hervor (Pfurtscheller et al., 2003), die auf ein Areal von wenigen Millimeter beschränkt sind (Penfield and Boldrey, 1937). Des Weiteren zeigen die Entladungsmuster einzelner Finger hochgradige Überlappungen im somatosensorischen Kortex (Schieber, 2001). Es ist bisher ungeklärt, welche Detailinformationen über einzelne Fingerbewegungen mit invasiven als auch mit nicht-invasiven Messmethoden im Menschen gewonnen werden können. Weiterhin spielen Veränderungen der neuronalen Repräsentation von Bewegungen über die Zeit hinweg eine Rolle bei der Implementierung von BMIs.
2 * adaptiert aus Aimee E. Schultz and Todd A. Kuiken, Neural Interfaces for Control of Upper Limb Prostheses:
The State of the Art and Future Possibilities. Physical Medicine and Rehabilitation 2011, Vol. 3, Issue 1, p. 55-67 ** adaptiert aus Ho Shing Lo and Sheng Quan Xie, Exoskeleton robots for upper-limb rehabilitation:
Das menschliche Gehirn ist ein adaptives, plastisches System. Während des Erlernens einer Aufgabe, so zum Beispiel dem Einsatz eines BMIs, kommt es zu einer Anpassung der neuronalen Repräsentation.
Aus diesem Grund habe ich mich im Rahmen meiner Dissertation mit der Dekodierung und neuronalen Repräsentation von einzelnen Fingerbewegungen auseinandergesetzt und folgende Fragestellungen bearbeitet:
1) Können einzelne Fingerbewegungen einer Hand im menschlichen Kortex dekodiert werden und wenn ja, mit welchen Messtechniken?
2) Welche Merkmale sind am informativsten um die neuronalen Aktivierungsmuster von einzelnen Fingerbewegungen einer Hand zu unterscheiden?
3) Wie sieht die zeitliche Repräsentation der neuronalen Netzwerke aus, die einzelne Fingerbewegungen kontrollieren, und wie verändert sich das neuronale Signal über einen längeren Zeitraum?
Um diese Problemstellungen zu untersuchen, analysierte ich die neuronale Aktivität und Dekodierbarkeit von Fingerbewegungen sowohl mit nicht-invasiven (EEG und MEG) als auch mit invasiven (ECoG) Messtechniken. Probanden führten nach Instruktion durch einen visuellen Stimulus diskrete Fingerbewegungen in Form eines Knopfdruckes aus (Abbildung 2).
Methoden
Die nicht-invasiven Messtechniken umfassten eine simultane 248-Sensor MEG (BTi Magnes System, 4D-Neuroimaging, San Diego, CA, USA) und eine 29-Kanal EEG (SENSORIUM INC.) Aufnahme, welche in einem elektromagnetisch abgeschirmten Raum vorgenommen wurden. Dreizehn rechtshändige Probanden (mittleres Alter: 23,6 Jahre, von 21 – 27 Jahre, 9 Frauen) nahmen an dem MEG/EEG Experiment teil. Die Studie wurde von der Ethikkommission der Otto-von-Guericke Universität Magdeburg genehmigt. Die invasive Ableitung von neuronaler Aktivität erfolgte mittels subduraler Elektrodenmatten an der University of California, San Francisco. Diese Elektrodenmatten wurden im Rahmen der Epilepsiediagnostik bei Patienten mit pharmakoresistenter Epilepsie zur prächirurgischen Planung implantiert. Die Elektrodenmatten umfassen jeweils 64 (8x8 Matte, Elektrodenabstand 1 cm) oder 256 (16x16 Matte, Elektrodenabstand 0.4 cm) Elektroden und wurden mit 3015.82 Hz aufgenommen (Tucker-Davis Technologies, Alachua, FL, USA). Drei Patienten wurden in
das Experiment eingeschlossen (genehmigt durch das Institutional Review Board, University of California, Berkeley und San Francisco). In dem Experiment wurde den Probanden ein numerischer visueller Stimulus auf einem Bildschirm präsentiert. Sie wurden instruiert den korrespondieren Finger (1: Daumen, 2: Zeigefinger, 3: Mittelfinger, 5: kleiner Finger) auf einer Taster-Box (MEG/EEG) oder einer Tastatur (ECoG) schnellstmöglich zu drücken (Abbildung 2). Die aufgenommenen Daten wurden vorverarbeitet, um den Tastendruck segmentiert und in den Frequenzraum überführt (für Details siehe Anlage 1, (Quandt et al., 2012a) und Anlage 4, OHBM Poster Quandt et al. 2012c)
Abbildung 2. Aufgabenstellung und Set-Up im (A) MEG/EEG und (B) ECoG Experiment
Probanden wurde ein numerischer visueller Stimulus präsentiert. Sie wurden instruiert den korrespondieren Finger (1: Daumen, 2: Zeigefinger, 3: Mittelfinger, 5: kleiner Finger) auf einer Taster-Box (A) oder einer Tastatur (B) schnellstmöglich zu drücken.
Fingerdekodierung mit nicht-invasiven und invasiven Messmethoden
Bei der neuronalen Kodierung unterscheidet man die Enkodierung und die Dekodierung. Unter der Enkodierung versteht man die Verarbeitung von sensorischen Reizen zu ihrem neuronalen Korrelat. Die Dekodierung wiederum bezeichnet den Umkehrschluss, sprich die Rekonstruktion von sensorischen Reizen, wie z.B. Fingerbewegungen, aus der elektrophysiologischen Antwort. Hier wurden zur Dekodierung multivariate Methoden verwendet, welche Algorithmen des maschinellen Lernens nutzen um die neuronale Aktivität einzelner Fingerbewegungen zu klassifizieren. Im Unterschied zu herkömmlichen Methoden, die einen Mittelwert über Epochen bilden, erfolgte eine Klassifizierung der Reizantworten einzelner Bewegungen. Ein Klassifikator lernt, auf einem Teil des Datensatzes, eine
Entscheidungsfunktion, die die neuronale Aktivität von Daumen, Zeige-, Mittel- und kleinem Finger trennt. Diese Entscheidungsfunktion wird anschließend auf einem anderen Teil des Datensatzes getestet und aus der Anzahl der korrekten Zuordnungen von neuronaler Reizantwort und Fingerbewegung wird die Genauigkeit der Dekodierung (engl. decoding accuracy, DA) bestimmt. Als Klassifikator wurde eine lineare Support-Vektor-Maschine (SVM) verwendet. Die SVM bietet den Vorteil, dass sie auch bei kleinen Datensätzen robuste Ergebnisse produziert (Guyon et al., 2002; Rieger et al., 2008). Die SVM bestimmt eine separierende Hyperebene, die zwei Klassen voneinander trennt, und als Entscheidungsfunktion dient. Es wird das Vorzeichen der Distanz d zur Hyperebene berechnet und je nach dem, ob das Merkmal oberhalb (positives Vorzeichen) oder unterhalb (negatives Vorzeichen) der Hyperebene liegt, wird es einer der Klassen zugeordnet. Hier wurden vier SVMs in einem One-vs-All Schema trainiert (Daumen vs. Zeige-, Mittel- und kleinem Finger, Zeigefinger vs. Daumen, Mittel- und kleinem Finger etc.) und das Vorzeichen in jedem einzelnen Klassifikator berechnet. Im Anschluss wurde die Epoche der Klasse mit dem höchsten positiven d Wert zugeordnet. Das theoretische Rateniveau beträgt bei einem Vier-Klassen Problem 25 %. Von großer Bedeutung ist hierbei die Selektion von robusten und informativen Merkmalen, die eine Trennung der verschiedenen neuronalen Aktivierungsmuster erlauben. Auf die Merkmalsselektion wird detailliert im nächsten Abschnitt eingegangen.
Die durchschnittliche Dekodierungsgenauigkeit mit den jeweils informativsten Merkmalen betrug 57 % in der MEG Aufnahme, 43 % in der EEG Aufnahme und 73 % in der invasiven ECoG Ableitung (Abbildung 3A). Hiermit konnte ich erstmals zeigen, dass einzelne Fingerbewegungen einer Hand mit nicht-invasiven Messmethoden im menschlichen Kortex dekodiert werden können (Anlage 1, (Quandt et al., 2012a)).
Abbildung 3. (A) DA in % und (B) Vergleich der DA in EEG und MEG
(A) DA in % von EEG, MEG und ECoG im Zeitintervall um die Bewegung mit den jeweils für die Methode besten Merkmalen. Jeder Balken repräsentiert einen Probanden. Die DA ist über die Finger gemittelt. Im Mittel über die Probanden erreichen die ECoG Ableitungen die höchste DA (µ=73%), das MEG erlaubt eine robuste Vorhersage (µ=57%). Die Unterscheidung der Finger ist im EEG nicht bei allen Probanden möglich (µ=43%). Das theoretische Rateniveau liegt bei 25 %. (B) Die DA wurde für jeden Probanden und jeden Finger korrespondierend für MEG (x-Achse) und EEG (y-Achse) aufgetragen. Das MEG zeigt in fast jedem Datenpunkt höhere DAs.
Die DA über die Identität der Fingerbewegung mittels EEG war im Vergleich zum MEG nicht bei allen Probanden robust und ein Vergleich der DA zwischen beiden Messmethoden zeigte, dass die Dekodierung im MEG der Dekodierung im EEG fast immer überlegen ist (Abbildung 3B). Der prozentuale Anteil korrekter Zuordnung mit subduralen ECoG Elektroden übertraf im Mittel die nicht-invasiven Messmethoden .
Es gibt eine Reihe von Gründen, die zu den unterschiedlichen Klassifikationsergebnissen von EEG, MEG und ECoG beitragen könnten. Die Messmethoden unterscheiden sich in der zeitlichen und räumlichen Auflösung, ihrem Signal-Rausch-Verhältnis, der Handhabbarkeit sowie ihrer Invasivität (Abbildung 4). Das EEG ist den anderen Messtechniken in seiner Handhabbarkeit und guten Verfügbarkeit überlegen, unterliegt den anderen Verfahren jedoch in der zeitlichen und räumlichen Auflösung sowie im Signal-Rausch-Verhältnis. Die zeitliche Auflösung von EEG und MEG ist technisch fast identisch, das MEG verfügt allerdings über eine bessere räumliche Auflösung (Hämäläinen et al., 1993). Neben der besseren räumlichen Auflösung könnten auch andere Faktoren eine Rolle spielen, die zu einem Vorteil des MEGs gegenüber dem EEG zur Dekodierung von Fingerbewegungen führen. Die Finger sind im primären motorischen Kortex auf einer stark gekrümmten Kortexwindung, dem
„finger knob“ repräsentiert (Yousry et al., 1997). Da die magnetischen Vektorfelder stärker von der Orientierung abhängen als die elektrischen Potentialfelder, ändert sich das magnetische Feld bereits bei neuronalen Aktivierungen, die in unmittelbarer Nähe zueinander liegen. Dies könnte die erfolgreiche Dekodierung im MEG Sensor-Raum erklären. Invasive Ableitungsmethoden bieten den Vorteil einer sehr guten Signalqualität, einhergehend mit einer besseren räumlichen und zeitlichen Auflösung. Dies ermöglicht die Erweiterung der Signalräume und Detektion von Merkmalen mit besserer Trennschärfe von einzelnen Bewegungen. Anderseits haben invasive Ableitungsmethoden den Nachteil, dass sie nicht die neuronale Aktivität des gesamten Kortex ableiten, sondern nur punktuelle Daten erfassen. Die Positionierung der Elektrodenmatten erfolgt ausschließlich unter klinischen Gesichtspunkten. Sobald die Elektrodenmatte den „finger knob“ nicht vollständig abdeckt, oder der Elektrodenabstand zu groß ist, kann wichtige informative neuronale Aktivität verloren gehen. Weiterhin ist der Anwendungsbereich dieser Messtechnik aufgrund des Risikoprofils mit der Gefahr von Blutungen und Infektionen limitiert.
Abbildung 4. Gegenüberstellung der zeitlichen und räumlichen Auflösung der Messtechniken
Die verschiedenen Messtechniken unterscheiden sich bezüglich ihrer räumlichen und zeitlichen Auflösung. Die grün unterlegten Methoden basieren auf nicht-invasiven Techniken, die rot unterlegten auf invasiven Techniken.3
3 * adaptiert aus Cui et al.: NIRS-based hyperscanning reveals increased interpersonal coherence in superior frontal
cortex during cooperation, NeuroImage 2012, Vol. 59, Issue 3, p. 2430-2437
** adaptiert aus Churchland et al.: Techniques for extracting single-trial activity patterns from large-scale neural recordings, Current Opinion in Neurobiology 2007, 17:609–618
Vergleich der Merkmalsräume
Um Bewegungen oder Bewegungsintentionen zuverlässig zu dekodieren, müssen diese unterschiedliche neuronale Aktivitätsmuster hervorrufen. Hierbei ist es von Bedeutung robuste und informative Merkmale zu finden, die diese neuronalen Muster eindeutig trennen. Bei einer Bewegungsausführung kommt es zu einer Änderung der kortikalen neuronalen Aktivitätsmuster. Neben dem Hervorrufen von ereigniskorrelierten Potentialen evoziert die Bewegung spektrale Änderungen über dem sensormotorischen Kortex. Es kommt zu einer Desynchronisation der Oszillationen im Alpha (8 – 13 Hz) und Beta (15 – 25 Hz) Frequenzband (Crone et al., 1998b; Pfurtscheller and Lopes da Silva, 1999) sowie zu einer Zunahme der Amplitude in Frequenzen über 60 Hz (High Gamma) (Crone et al., 1998a). Um die informativsten Merkmale zur Dekodierung von einzelnen Fingerbewegungen in den verschiedenen Messmethoden zu bestimmen, erfolgte die Klassifikation (a) mit der tiefpass-gefilterten Zeitreihe in einem Zeitintervall um die Bewegung sowie (b) der Modulation der Amplitude von Oszillationen in verschiedenen Frequenzbändern. Der Merkmalsraum der Zeitreihe bestand aus der Anzahl der jeweiligen Elektroden (MEG = 248, EEG = 29 und ECoG = 64 und 256) sowie der Abtastrate des bei 16 Hz tiefpass-gefiltert Zeitintervalls. Die Amplitude wurde mit einer multitaper schnellen Fourier-Transformation berechnet (1 – 120 Hz, in 2.5 Hz Schritten). Im Anschluss erfolgte eine exploratorischen Analyse, bei der die Klassifikation mit Frequenzbändern für jede mögliche Kombination aus unterer und oberer Frequenz-Grenze vorgenommen wurde (Abbildung 5).
Die informativsten Merkmale für die Dekodierung von Fingerbewegungen unterschieden sich je nach Messmethode. Im MEG erlaubten einzig die zeitlich-örtlichen Verteilungsmuster der tiefpass-gefilterten Zeitreihe eine zuverlässige Dekodierung einzelner Fingerbewegungen (Anlage 1, (Quandt et al., 2012a)). Die gemittelte Bandstärke zwischen 6 – 11 Hz lieferte die besten Ergebnisse der spektralen Klassifikation, war allerdings weniger informativ als die zeitlich-örtlichen Verteilungsmuster der tiefpass-gefilterten Zeitreihe. Dies weist auf die Bedeutung der exakten Dynamik der neuronalen Aktivität, wie z.B. der Phaseninformation, hin, die in der Zeitreihe der magnetischen Felder erhalten bleibt, bei Berechnung der Bandstärke der Oszillationen jedoch verloren geht. In Einklang mit anderen Studien wird die Wichtigkeit des Informationsgehaltes der tiefpass-gefilterten Zeitreihe bei der Motordekodierung (Acharya et al., 2010; Bansal et al., 2011; Kubanek et al., 2009; Rickert et al., 2005; Schalk et al., 2007; Waldert et al., 2008) unterstützt. Bei subduraler Ableitung der neuronalen Aktivität verbessert sich das Signal-Rausch-Verhältnis und begünstigt die Detektion von Oszillationen mit höherer Frequenz. Frequenzen über 60 Hz bieten den Vorteil,
dass die bewegungsabhängigen Änderungen sowohl räumlich als auch zeitlich hoch spezifisch für eine Bewegung sind, wohingegen Änderungen in tieferen Frequenzbändern eine weitflächigere Verteilung über dem Kortex zeigen (Crone et al., 1998b; 1998a; Miller et al., 2007). Übereinstimmend zeigte sich in der Analyse der subduralen ECoG Signale, dass hochfrequente Gamma Oszillationen (60 – 180 Hz) fingerspezifisch sind und die höchsten Dekodierungsraten lieferten. Die Klassifikation von bewegungsassoziierten Änderungen im Beta Band hingegen erlaubte keine Trennung der einzelnen Finger (Abbildung 5). Die Desynchronisation der Beta Aktivität könnte ein örtlich ausgedehntes Phänomen widerspiegeln, welches spezifisch für die Bewegung per se ist, jedoch nicht die Unterschiede zwischen einzelnen diskreten Bewegungen erfasst.
Abbildung 5. DA in % für verschiedene Frequenzbänder
Die Farbskala codiert die DA für Frequenzbänder mit unterschiedlicher Breite und Mittenfrequenz für (A) MEG und (B) ECoG, gemittelt über Probanden. Die untere Intervallgrenze des Frequenzbandes variiert entlang der x-Achse, die obere Intervallgrenze entlang der y-Achse. Im MEG (A) wurde die höchste DA mit dem Frequenzband von 6 – 11 Hz erreicht. Diese lagen jedoch nur knapp über dem Rateniveau und waren den DAs der tiefpass-gefilterten Zeitreihe unterlegen. High Gamma Frequenzen erlaubten keine Unterscheidung der Fingerbewegungen im MEG. Im ECoG (B) hingegen wurden die höchsten DAs mit Frequenzen über 60 Hz erreicht.
Auch im MEG stieg die Bandstärke zwischen 60 – 120 Hz über dem sensomotorischen Kortex zum Zeitpunkt der Bewegung an (Abbildung 6A). Dies ließ sich jedoch nur unter Mittelung der Epochen nachweisen (Abbildung 6A) und nicht in einzelnen Epochen (Abbildung 6C). Ein Grund hierfür ist das niedrige Signal-Rausch-Verhältnis. Weitere Gründe könnten die abnehmende Stärke bei zunehmender Frequenz 1/f in Zusammenhang mit der Distanz der Sensoren von der kortikalen Oberfläche sowie die Aufzeichnung von größeren räumlichen Einheiten im MEG im Vergleich zu EcoG Elektroden auf dem Kortex sein. Da für eine
erfolgreiche Klassifikation eine charakteristische Änderung in der einzelnen Epoche benötigt wird, konnten die hohen Frequenzen nicht als Merkmalsraum im MEG dienen. Im ECoG hingegen zeigte sich ein Anstieg der Bandstärke nicht nur unter Mittelung (Abbildung 6B), sondern auch in einzelnen Epochen (Abbildung 6D), welcher zeitlich an die Bewegung gekoppelt war.
Abbildung 6. Änderungen der High Gamma Bandstärke um die Bewegung
(A) Relative High Gamma Bandstärke (61 – 120 Hz) im MEG, gemittelt über alle Epochen um die Fingerbewegung in der Topographie (links) sowie in den markierten Sensoren (rechts), ein repräsentativer Proband. Die relative Bandstärke vergleicht die Bandstärke um die Bewegung ( -50 ms bis 450 ms) mit der Bandstärke der Baseline (- 1000 ms bis – 800 ms). Werte > 1 beschreiben einen Anstieg, Werte < 1 einen Abfall der Bandstärke im Vergleich zur Baseline. (B) ECoG Topographie (Patient 1, 2, 3) der High Gamma Bandstärke und Spektrogramm der markierten Elektrode gemittelt über Epochen. Sowohl im MEG (A) als auch im ECoG (B) ist ein bewegungsabhängiger Anstieg der High Gamma Bandstärke über dem sensomotorischen Kortex zu erkennen. (C) High Gamma Bandstärke in einzelnen Epochen ohne Mittelung (Inlay, rechts) im MEG von Sensor
b und (D) im ECoG. Die x-Achse zeigt die Zeit, die y-Achse die einzelnen Epochen, Farbe spiegelt die Bandstärke
wider. Warme Farben repräsentieren ein Anstieg der Bandstärke, kalte Farben einen Abfall; jeweils ein repräsentativer Proband. Im MEG zeigt sich kein High Gamma Anstieg in den einzelnen Epochen um die Bewegung (Zeit = 0 s), wohingegen im ECoG der Anstieg der Bandstärke bereits in einzelnen Epochen während der Fingerbewegung um den Sulcus centralis sichtbar ist.
Um weiterhin die räumliche Verteilung des Informationsgehaltes zu analysieren, berechnete ich die DA in kleineren Elektrodenclustern. Im MEG wurden die langsamen evozierten Potentiale in jeweils einzelnen Sensoren klassifiziert um eine topographische Darstellung des Informationsgehaltes zu erhalten. Es zeigte sich, dass die Sensoren über dem kontralateralen somatomotorischen Kortex die höchste DA erreichten (Abbildung 7A). Eine detailliertere Analyse der räumlichen Repräsentation lässt die subdurale ECoG Messung der Hirnaktivität zu. Einerseits nimmt im Vergleich zum MEG/EEG das inverse Problem eine geringere Bedeutung ein, da die Elektroden direkt auf dem Kortex platziert sind, und anderseits erlaubt das bessere Signal-Rausch-Verhältnis die Aufzeichnung hochfrequenter High Gamma Oszillationen, die eine räumlich fokussiertere bewegungsabhängige Aktivität zeigen (Crone et al., 1998a; Miller et al., 2007). Zur Analyse des räumlichen Verteilungsmuster der High Gamma Aktivität klassifizierte ich verschiedene Elektrodencluster für zwei Zeitbereiche. Die Cluster bestanden jeweils aus einer zentralen Elektrode und ihren direkten Nachbarn (Abbildung 9b). Das erste Intervall erfasste nur prämotorische Aktivität (Informationsgehalt von t = -500 ms bis -150 ms), das zweite schloss motorische Aktivität mit ein (Informationsgehalt von t = -350 ms bis 0 ms). Elektrodencluster über primärem motorischen und primärem sensorischen Kortex zeigen diskriminative Aktivität sowohl zum Zeitpunkt der Bewegung als auch bereits in der Phase der Bewegungsplanung (Abbildung 7B).
Abbildung 7. Räumliche Verteilung der DA in % im (A) MEG und (B) ECoG
(A) MEG: Topographie der DA in % von einzelnen Sensoren für das Zeitintervall um die Bewegung, gemittelt über Finger und Probanden. Die 30 Sensoren mit der höchsten DA liegen alle über dem kontralateralen sensormotorischen Kortex. (B) ECoG: Verteilungsmuster der DA in % von signifikanten Elektrodenclustern gemittelt über die Finger. Farbe markiert den Ort der zentralen Elektrode. Elektrodencluster über primärem motorischen und primärem sensorischen Kortex erreichen Klassifikationsergebnisse oberhalb des Rateniveaus in beiden Zeitbereichen.
Dynamische Repräsentation von Fingerbewegungen
a. Zeitliche Entwicklung der Dekodierungsinformation während einer Bewegung
Für die erfolgreiche Anwendung einer BMI Neuroprothese ist es notwendig neuronale Signale zu dekodieren, die nicht ausschließlich bei der Bewegung und deren sensorischen, afferenten Konsequenz entstehen. Diese sind jedoch bei Patienten mit motorischer Beeinträchtigung zumeist nicht verfügbar. Aufgrund der engen strukturellen und funktionellen Verbindung von somatosensorischen und motorischen Arealen lässt sich der Einfluss von sensorischer und propriozeptiver Rückmeldung auf die Klassifikationsergebnisse schwer eliminieren. Die Analyse der zeitlichen Entwicklung der Dekodierungsinformation ermöglicht es neuronale Aktivitätsmuster vor der eigentlichen Bewegungsausführung zu untersuchen. Wünschenswert wäre eine erfolgreiche Klassifikation bereits in der Phase der Bewegungsplanung um eine eindeutige Trennung von motorischer und sensorischer neuronaler Aktivität zu gewährleisten.
Um die zeitliche Entwicklung der Dekodierungsinformation zu untersuchen, wurden Klassifikationsintervalle à 500 ms (MEG) oder à 250 ms (ECoG) in 30 ms Schritten vorgeschoben (Abbildung 8). Hierbei zeigte sich, dass der Informationsgehalt von einzelnen Fingern bereits vor der Bewegung ansteigt. Die MEG Aufzeichnung ergab eine signifikante Klassifikation der Zeitreihe der einzelnen Finger bereits im Intervall von -620 ms bis -120 ms. Die ECoG Daten zeigten, dass die Modulation der Amplitude im High Gamma Bereich bereits eine frühere signifikante Dekodierung erlaubt als die Aktivitätsmuster der tiefpass-gefilterten Zeitreihe. Die neuronalen Oszillationen zwischen 62 – 178 Hz erreichten signifikante Klassifikationsergebnisse mit Informationen aus dem Zeitintervall von -530 ms bis -280 ms. Mit beiden Aufnahmemethoden war der Informationsgehalt bei Einschluss des Zeitintervalls um die Bewegung am höchsten. Aufgrund der frühen signifikanten Dekodierung ist es unwahrscheinlich, dass die sensorische Rückmeldung des Tastendrucks die Dekodierung beeinflusst hat. Denn obwohl die Muskelaktivität bereits vor dem Tastendruck einsetzt, ist davon auszugehen, dass auch die propriozeptive Rückmeldung erst mit einer Latenz eine kortikale Antwort hervorruft. Dieser prämotorische Zeitbereich wäre für die Steuerung einer Prothese im Rahmen von Brain-Machine-Interfaces von Interesse, da die sensorischen Afferenzen einer Bewegung hierbei zumeist nicht verfügbar sind.
Abbildung 8. Zeitliche Entwicklung der DA für (A) MEG und (B) ECoG
DA in % (y-Achse) für mehrere Zeitpunkte, über Probanden und Finger gemittelt. Die x-Achse markiert den frühsten Zeitpunkt, an dem Informationen in das Klassifikationsintervall eingehen, null korrespondiert mit dem Tastendruck. (A) DA der tiefpass-gefilterten MEG Daten. Fehlerbalken markieren den Standardfehler der DA, die horizontale Linie stellt das empirische Rateniveau dar. Das graue Rechteck gibt den Zeitbereich an, in dem die DA erstmals das Rateniveau überschreitet. Das Rateniveau wird bereits überschritten, wenn Information aus Hirnaktivität vor dem Tastendruck einfließt. (B) DA der tiefpass-gefilterten (blau) und High Gamma (rot) ECoG Daten (Linie = Mittelwert, schattierter Bereich = 95% Konfidenzintervall). Die graue Fläche stellt das empirische Rateniveau dar. Das rote Rechteck gibt den Zeitbereich an, in dem die DA erstmals das Rateniveau überschreitet. High Gamma Oszillationen sind informativer bei der Dekodierung einzelner Fingerbewegungen als die langsam evozierten Potentiale und erlauben eine frühere Unterscheidung der Finger.
b. Veränderungen der neuronalen Signale während des motorischen Lernens
Neben der zeitlichen Dynamik innerhalb einer Bewegung spielt die Änderung der neuronalen Signale über die Zeit eine wichtige Rolle in der Entwicklung von Brain-Machine-Interfaces. Nicht-stationäre Prozesse im neuronalen Eingangssignal können zu einem Abfall der Klassifikationsleistung führen. Ursache dieser nicht-stationären Prozesse sind sowohl technischer Natur (z.B. Variabilität während der Messung) als auch die Folge von Lernprozessen des Gehirns. Erstere können z.B. mit Algorithmen, die nur stationäre Merkmale extrahieren, minimiert werden (Samek et al., 2012). Letztere setzen ein Verständnis der neuronalen Veränderungen während des motorischen Lernens voraus.
Um diese Veränderungen des motorischen Lernens zu untersuchen, leiteten Dürschmid et al. die neuronale Aktivität in sechs ECoG Patienten ab, die je eine von drei verschiedenen motorischen Aufgaben ausführten. Jede Aufgabe setzte die Fingerkoordination zu einem externen Stimulus voraus. Zwei der sechs Patienten führten das weiter oben beschriebene Finger Experiment durch. Je zwei Patienten führten einen Go/No-Go Versuch oder eine auditorisch-motorischen Koordinationsaufgabe durch (für weitere Details wird auf Dürschmid et al., 2014 verwiesen). In dem ersten Block der Experimente zeigte sich eine signifikante Verbesserung der motorischen Leistungen. Ziel der Studie war es ein neuronales Korrelat für diese verbesserte Leistung zu finden. Ein vorgeschriebener Mechanismus für die Kommunikation über kortikale Regionen hinweg ist die Koordination der neuronalen Aktivität über die Phasen-Amplituden Kopplung. Hierbei wird die Amplitude der hochfrequenten Oszillationen von der Phase der niederfrequenten Oszillationen moduliert (Canolty et al., 2006). Weiterhin gibt es erste Hinweise, dass das Verhalten in Verbindung mit der Phasen-Amplituden Kopplung steht. Aus diesem Grund wurde die Beziehung zwischen Fluktuationen in Phasen-Amplituden Kopplung und motorischem Verhalten analysiert. Es zeigte sich, dass es beim Erlernen von motorischen Fähigkeiten zu Änderungen der Phasen-Amplituden Kopplung kommt. Hierbei korreliert eine Zunahme der Kopplungsstärke von niederfrequenter Theta Phase und hochfrequenter High Gamma Amplitude mit einer verbesserten Leistung im motorischen Verhalten, insbesondere in der initialen Phase des motorischen Lernens (Abbildung 9A) (Dürschmid et al., 2014).
Abbildung 9. Veränderungen der neuronalen Signale über die Zeit
(A) Veränderungen der motorischen Leistung (grüne Punkte) und der Phasen-Amplituden Kopplung (schwarze Punkte) über die Zeit für den ersten und zweiten Block des Experiments für alle Probanden. Linien markieren die exponentielle Anpassung und zeigen einen ähnlichen Verlauf zwischen motorischer Leistung und Kopplungsmaß. (B) Räumliche Auflösung der signifikanten Korrelation von Kopplungsstärke und Verhalten in einzelnen Epochen. lernunabhängige Korrelation (links) sowie lernabhängige Korrelation von Kopplungsstärke und Verhalten.
Eine Korrelation zwischen verbesserter Leistung und Kopplungstärke kann sowohl durch lernabhängige als auch lernunabhängige Effekte entstehen. Bei lernabhängigen Effekten variiert die Korrelation von Leistung und Kopplungstärke systematisch über die Zeit und beschreibt eine Zunahme der motorischen Leistung, die mit Veränderungen im neuronalen Netzwerk einhergeht. Lernunabhängige Effekte hingegen können z.B. Fluktuationen der Phasen-Amplituden Kopplung sein, welche zufällig variieren und deren Korrelation zur Leistung zeitunabhängig ist. Für jede Elektrode wurde sowohl die Pearson als auch die partielle Korrelation (Faktor Zeit) von Leistung und Kopplungsstärke berechnet. Elektroden, die eine signifikante Korrelation in der Pearson Korrelation (zeitabhängige und zeitunabhängige Effekte) jedoch eine signifikant andere Korrelation in der partiellen Korrelation ohne Einfluss des Faktors Zeit zeigten, weisen eine lernabhängige Korrelation auf. Diese Auswertung unterstützt den Zusammenhang zwischen der Zunahme der Phasen-Amplituden Kopplung und dem motorischen Lernen und erlaubt eine anatomische Zuordnung auf prämotorische und primär sensomotorische Areale (Abbildung 9B). Hieraus ergibt sich für die erfolgreiche BMI Langzeitnutzung die Notwendigkeit eines dynamischen, adaptiven Systems. Einerseits „lernt“ die Maschine und es erfolgt eine Anpassung der Algorithmen auf Veränderung der neuronalen Signale über die Zeit, anderseits kommt es während des motorischen Lernen auch zu Veränderungen der neuronalen Aktivitätsmuster, die eine Anpassung an das BMI System erlaubt.
Schlussfolgerung
Zusammenfassend wurde in der Dissertation die neuronale Aktivität von humanen Fingerbewegungen mit nicht-invasiven sowie invasiven Messmethoden analysiert und im Kontext von Brain-Machine-Interfaces diskutiert.
In der Publikation „Grundlagen und Anwendung von Brain-Machine-Interfaces“ (Quandt et al., 2012b) wurde eine Übersicht der Brain-Machine-Interface Forschung gegeben. Es erfolgte eine Darstellung der Funktionsweise und Anwendung von BMIs, mit dem Schwerpunkt auf BMIs zur Unterstützung und zum Ersatz von motorischen Funktionen. In der Studie „Single trial discrimination of individual finger movements on one hand: A combined
MEG and EEG study“ (Quandt et al., 2012a) wurden erstmals erfolgreich einzelne
Fingerbewegungen einer Hand mit nicht-invasiven Messtechniken dekodiert. Die Dekodierung im MEG war robust und der Dekodierung im EEG fast immer überlegen. Hierdurch wird der potentielle Nutzen des MEGs als nicht-invasive Messtechnik für die Implementierung von Fingerbewegungen in Brain-Machine-Interface Neuroprothesen demonstriert. Anschließend wurde die Analyse von Fingerbewegungen auf invasive Messungen mittels subduralen Elektroden ausgeweitet und in dem Poster „High gamma oscillations in ECoG allow for
pre-movement decoding of rapid dexterous finger pre-movements“ (OHBM 2012, Quandt et al. 2012c)
vorgestellt . Im ECoG war die Dekodierung von Fingerbewegungen erfolgreicher als mit den nicht-invasiven Methoden. Hierzu trug insbesondere der fingerspezifische Informationsgehalt in Oszillationen über 60 Hz bei.
Bereits vor der eigentlichen Bewegungsausführung konnte fingerspezifische Aktivität nachgewiesen werden. Dieser prämotorische Zeitbereich ist für die Steuerung einer Prothese im Rahmen von Brain-Machine-Interfaces von Interesse, da die sensorischen Afferenzen einer Bewegung hierbei zumeist nicht verfügbar sind. Weiterhin kommt es bei repetitiver Ausführungen von geübten Fingerbewegungen zur Anpassung der neuronalen Aktivität. Diese Veränderungen wurden in der Publikation „Oscillatory dynamics track motor performance
improvement in human cortex“ (Dürschmid et al., 2014) untersucht. Es zeigte sich eine
Zunahme der Kopplungstärke zwischen Theta und High Gamma Oszillationen, die mit einer schnelleren Reaktionszeit korrelierte. Veränderungen während des motorischen Lernens müssen bei der Entwicklung von adaptiven Algorithmen des BMIs berücksichtigt werden.
Literaturverzeichnis
[1] Acharya, S., Fifer, M.S., Benz, H.L., Crone, N.E., Thakor, N.V., 2010.
Electrocorticographic amplitude predicts finger positions during slow grasping motions of the hand. J Neural Eng 7, 046002. doi:10.1088/1741-2560/7/4/046002
[2] Bansal, A.K., Vargas-Irwin, C.E., Truccolo, W., Donoghue, J.P., 2011. Relationships among low-frequency local field potentials, spiking activity, and 3-D reach and grasp kinematics in primary motor and ventral premotor cortices. J Neurophysiol 1–53. doi:10.1152/jn.00532.2010
[3] Canolty, R.T., Edwards, E., Dalal, S.S., Soltani, M., Nagarajan, S.S., Kirsch, H.E., Berger, M.S., Barbaro, N.M., Knight, R.T., 2006. High gamma power is phase-locked to theta oscillations in human neocortex. Science 313, 1626–1628. doi:10.1126/science.1128115 [4] Carmena, J.M., Lebedev, M.A., Crist, R.E., O'Doherty, J.E., Santucci, D.M., Dimitrov,
D.F., Patil, P.G., Henriquez, C.S., Nicolelis, M.A.L., 2003. Learning to Control a Brain– Machine Interface for Reaching and Grasping by Primates. PLoS Biol 1, e42.
doi:10.1371/journal.pbio.0000042
[5] Crone, N.E., Miglioretti, D.L., Gordon, B., Lesser, R.P., 1998a. Functional mapping of human sensorimotor cortex with electrocorticographic spectral analysis. II. Event-related synchronization in the gamma band. Brain 121 ( Pt 12), 2301–2315.
[6] Crone, N.E., Miglioretti, D.L., Gordon, B., Sieracki, J.M., Wilson, M.T., Uematsu, S., Lesser, R.P., 1998b. Functional mapping of human sensorimotor cortex with
electrocorticographic spectral analysis. I. Alpha and beta event-related desynchronization. Brain 121 ( Pt 12), 2271–2299.
[7] Dürschmid, S., Quandt, F., Krämer, U.M., Hinrichs, H., Heinze, H.-J., Schulz, R., Pannek, H., Chang, E.F., Knight, R.T., 2014. Oscillatory dynamics track motor performance improvement in human cortex. PLoS ONE 9, e89576. doi:10.1371/journal.pone.0089576 [8] Georgopoulos, A.P., Langheim, F.J.P., Leuthold, A.C., Merkle, A.N., 2005.
Magnetoencephalographic signals predict movement trajectory in space. Experimental Brain Research 167, 132–135. doi:10.1007/s00221-005-0028-8
[9] Guyon, I., Weston, J., Barnhill, S., Vapnik, V., 2002. Gene Selection for Cancer
Classification using Support Vector Machines - Springer. Machine Learning 46, 389–422. doi:10.1023/A:1012487302797
[10] Hämäläinen, M., Hari, R., Ilmoniemi, R.J., Knuutila, J., Lounasmaa, O.V., 1993. Magnetoencephalography—theory, instrumentation, and applications to noninvasive studies of the working human brain. Reviews of modern Physics 65, 413.
[11] Hochberg, L.R., Serruya, M.D., Friehs, G.M., Mukand, J.A., Saleh, M., Caplan, A.H., Branner, A., Chen, D., Penn, R.D., Donoghue, J.P., 2006. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. NATURE- … 442, 164–171.
doi:10.1038/nature04970
[12] Jerbi, K., Lachaux, J.-P., N'Diaye, K., Pantazis, D., Leahy, R.M., Garnero, L., Baillet, S., 2007. Coherent neural representation of hand speed in humans revealed by MEG
[13] Kubanek, J., Miller, K., Ojemann, J., Wolpaw, J., Schalk, G., 2009. Decoding flexion of individual fingers using electrocorticographic signals in humans. J Neural Eng 6, 066001. [14] Leuthardt, E.C., Schalk, G., Wolpaw, J.R., Ojemann, J.G., Moran, D.W., 2004. A
brain-computer interface using electrocorticographic signals in humans. J Neural Eng 1, 63–71. doi:10.1088/1741-2560/1/2/001
[15] Miller, K.J., Leuthardt, E.C., Schalk, G., Rao, R.P.N., Anderson, N.R., Moran, D.W., Miller, J.W., Ojemann, J.G., 2007. Spectral changes in cortical surface potentials during motor movement. Journal of Neuroscience 27, 2424–2432.
doi:10.1523/JNEUROSCI.3886-06.2007
[16] Penfield, W., Boldrey, E., 1937. Somatic motor and sensory representation in the cerebral cortex of man as studied by electrical stimulation. Brain 60, 389.
[17] Pfurtscheller, G., Graimann, B., Huggins, J.E., Levine, S.P., Schuh, L.A., 2003. Spatiotemporal patterns of beta desynchronization and gamma synchronization in corticographic data during self-paced movement. Clin Neurophysiol 114, 1226–1236. [18] Pfurtscheller, G., Lopes da Silva, F., 1999. Event-related EEG/MEG synchronization and
desynchronization: basic principles. Clinical Neurophysiology 110, 1842–1857.
[19] Quandt, F., Reichert, C., Hinrichs, H., Heinze, H.J., Knight, R.T., Rieger, J.W., 2012a. Single trial discrimination of individual finger movements on one hand: a combined MEG and EEG study. NeuroImage 59, 3316–3324.
doi:10.1016/j.neuroimage.2011.11.053
[20] Quandt, F., Reichert, C., Schneider, B., Dürschmid, S., Richter, D., Hinrichs, H., Rieger, J.W., 2012b. Grundlagen und Anwendung von Brain-Machine Interfaces (BMI). Klin Neurophysiol 43, 158–167. doi:10.1055/s-0032-1308970
[21] Quandt, F., Dürschmid, S., Hinrichs, H., Chang, E.F., Crone, N.E. Knight, R.T., Rieger J.W., 2012c [Poster] “ High gamma oscillations in ECoG allow for pre-movement decoding of rapid dexterous finger movements ”. In: Beijing, China: Organization for Human Brain Mapping
[22] Rickert, J., Oliveira, S.C. de, Vaadia, E., Aertsen, A., Rotter, S., Mehring, C., 2005. Encoding of movement direction in different frequency ranges of motor cortical local field potentials. Journal of Neuroscience 25, 8815–8824. doi:10.1523/JNEUROSCI.0816-05.2005
[23] Rieger, J., Reichert, C., Gegenfurtner, K., Noesselt, T., Braun, C., Heinze, H., Kruse, R., Hinrichs, H., 2008. Predicting the recognition of natural scenes from single trial MEG recordings of brain activity. NeuroImage 42, 1056–1068.
[24] Samek, W., Müller, K.-R., Kawanabe, M., Vidaurre, C., 2012. Brain-computer interfacing in discriminative and stationary subspaces. Conf Proc IEEE Eng Med Biol Soc 2012, 2873–2876. doi:10.1109/EMBC.2012.6346563
[25] Schalk, G., Kubanek, J., Miller, K., Anderson, N., Leuthardt, E., Ojemann, J., Limbrick, D., Moran, D., Gerhardt, L., Wolpaw, J., 2007. Decoding two-dimensional movement trajectories using electrocorticographic signals in humans. J Neural Eng 4, 264. [26] Schieber, M.H., 2001. Constraints on somatotopic organization in the primary motor
[27] Taylor, D.M., Tillery, S.I.H., Schwartz, A.B., 2002. Direct cortical control of 3D neuroprosthetic devices. Science 296, 1829–1832. doi:10.1126/science.1070291 [28] Waldert, S., Preissl, H., Demandt, E., Braun, C., Birbaumer, N., Aertsen, A., Mehring,
C., 2008. Hand movement direction decoded from MEG and EEG. Journal of Neuroscience 28, 1000–1008. doi:10.1523/JNEUROSCI.5171-07.2008
[29] Yousry, T.A., Schmid, U.D., Alkadhi, H., Schmidt, D., Peraud, A., Buettner, A.,
Winkler, P., 1997. Localization of the motor hand area to a knob on the precentral gyrus. A new landmark. Brain 120 ( Pt 1), 141–157.
Wissenschaftliche Beiträge
Journal Publikationen (peer reviewed)
Quandt, F., Reichert, C., Hinrichs, H., Heinze, H.-J., Knight, R.T., & Rieger, J.W., 2012. Single trial discrimination of individual finger movements on one hand: A combined MEG and EEG study. NeuroImage, 59(4), 3316–3324. doi: 10.1016/j.neuroimage.2011.11.053
Quandt, F., Reichert, C., Schneider, B., Dürschmid, S., Richter, D., Hinrichs, H., & Rieger, J.W., 2012. Grundlagen und Anwendung von Brain-Machine Interfaces (BMI). Klinische Neurophysiologie, 43(02), 158–167. doi:10.1055/s-0032-1308970
Dürschmid, S., Quandt, F., Krämer, U.M., Hinrichs, H., Heinze, H.-J., Schulz, R., Pannek, H., Chang, E.F., Knight, R.T., 2014. Oscillatory dynamics track motor performance improvement in human cortex. PLoS ONE 9, e89576. doi:10.1371/journal.pone.0089576
Konferenzbeiträge als Erstautor (peer reviewed)
Quandt, F., Dürschmid, S., Hinrichs, H., Chang, E.F., Crone, N.E. Knight, R.T., Rieger J.W., 2012 [Poster] “ High gamma oscillations in ECoG allow for pre-movement decoding of rapid dexterous finger movements ”. In: Beijing, China: Organization for Human Brain Mapping
Quandt, F., 2010 [Vortrag]. “Comparing the information content in EEG, MEG and ECoG in a finger movement task“. In: San Diego, USA: Society for Neuroscience
Quandt, F., Rieger J.W., Reichert, C., Kennel, M., Heinze, H.-J., Knight, R.T., 2010 [Poster] “Decoding of single finger movements using MEG, EEG and ECoG”. In: Long Beach, USA: Neural Interface Conference
Quandt, F., 2010 [Vortrag]. “Decoding of finger movements“. In: Magdeburg, Deutschland: 1st Workshop on Brain Machine Interfacing
Danksagungen
Eine wissenschaftliche Arbeit ist nie das Werk einer einzelnen Person. Daher möchte ich die Chance nutzen, den Personen, die mich auf dem Weg begleitet haben, zu danken.
Mein besonderer Dank gilt Herrn Professor Jochem Rieger für die hervorragende Betreuung der Promotion sowie die langjährige Zusammenarbeit. Für die erhebliche Mühe und Zeit die Herr Rieger investierte, um mir die Datenanalyse sowie das wissenschaftliche Schreiben zu vermitteln, bin ich äußerst dankbar. Insbesondere möchte ich mich dafür bedanken, dass Herr Rieger mein eigenes Vorankommen in der Wissenschaft immer aktiv unterstützt und gefördert hat.
Bei Herrn Professor Hans-Jochen Heinze möchte ich mich für die Unterstützung vor allem in der initialen Phase der Promotion und für die Vergabe des sehr interessanten Themas sowie dem damit einhergehenden Aufenthalt an der UC Berkeley, California bedanken.
I would particularly like to thank Professor Robert Knight and the Knight Lab. It was a great pleasure to work in Mr. Knight’s laboratory and I deeply appreciate the warm welcome, support and advise.
Weiterhin möchte ich mich bei meinen Kollegen der Magdeburger Arbeitsgruppe, Herrn Christoph Reichert und Herrn Stefan Dürschmid sowie dem MEG Team für die nette Zusammenarbeit und wertvollen Diskussionen bedanken. Herrn Christoph Reichert danke ich vor allem für die unermüdliche Unterstützung beim Erlernen des Programmierens in Matlab in der Startphase.
Ein großer Dank gilt allen teilnehmenden Patienten und Probanden, ohne die diese wissenschaftliche Arbeit nicht möglich gewesen wäre.
Für die finanzielle Unterstützung des Auslandaufenthaltes an der UC Berkeley bedanke ich mich bei der Leistungsorientierten Mittelvergabe der Universität Magdeburg.
Ausdrücklich möchte ich mich bei meiner Familie und meinen Freunden bedanken, die mir im Laufe der Jahre stets beistanden. Mein besonderer Dank gilt meinen Eltern, Frau Kathrin Quandt und Herrn Dr. Heiko Quandt für die unermüdliche Unterstützung in jeglicher Hinsicht, die wertvollen Ratschläge und den Glauben an meine Arbeit. Vielen Dank meiner Mutter auch für das sorgfältige Korrekturlesen.
Ehrenerklärung
Ich erkläre, dass ich die der Medizinischen Fakultät der Otto-von-Guericke-Universität zur Promotion eingereichte Dissertation mit dem Titel:
„Analyse neuronaler Aktivität von humanen Fingerbewegungen mit invasiven und nicht-invasiven Messmethoden“
an der Universitätsklinik für Neurologie, Otto-von-Guericke Universität Magdeburg, mit Unterstützung durch Herrn Professor Jochem W. Rieger ohne sonstige Hilfe durchgeführt und bei der Abfassung der Dissertation keine anderen als die dort aufgeführten Hilfsmittel benutzt habe. Bei der Abfassung der Dissertation sind Rechte Dritter nicht verletzt worden.
Ich habe diese Dissertation bisher an keiner in- oder ausländischen Hochschule zur Promotion eingereicht. Ich übertrage der Medizinischen Fakultät das Recht, weitere Kopien meiner Dissertation herzustellen und zu vertreiben.
Magdeburg, den 23.03.2016
Bildungsweg
Fanny Quandt, geboren am 02.08.1987 in Rostock, Deutschland
Schul- und Hochschulbildung
10/2006 – 11/2013 Studium der Humanmedizin
Otto-von-Guericke Universität Magdeburg Ärztliche Prüfung (1,5)
08/1997 – 07/2006 Albert-Schweitzer-Gymnasium, Hamburg Abitur (1,2)
Wissenschaftlicher Werdegang
Seit 02/2014 BrainImaging and NeuroStimulation Laboratory der Klinik für Neurologie, Universitätsklinikum Hamburg-Eppendorf
Seit 01/2009 Medizinische Promotion an der Universitätsklinik für Neurologie, Magdeburg
09/2009 – 07/2010 Forschungsaufenthalt im Rahmen der Dissertation an der University of California, Berkeley, USA, Knight Lab am Helen Wills Neuroscience Institute
Stipendien im Rahmen der Promotion
2009 – 2013 Stipendiatin der Studienstiftung des deutschen Volkes e.V. 2009 – 2010 Promotionsstipendium der Leistungsorientierten Mittelvergaben,
Medizinische Fakultät Magdeburg
11/2010 Förderung einer Kongressreise durch den DAAD (Deutscher Akademischer Austausch Dienst), Vortrag auf der Jahreskonferenz der Society for Neuroscience, San Diego, USA 05/2010 Student Excellence in Neural Interfacing Award, Neural
Interfaces Conference, Long Beach, USA
Anlagen
Anlage 1
Quandt, F., Reichert, C., Hinrichs, H., Heinze, H.-J., Knight, R.T., & Rieger, J.W., 2012. Single trial discrimination of individual finger movements on one hand: A combined MEG and EEG study. NeuroImage, 59(4), 3316–3324. doi: 10.1016/j.neuroimage.2011.11.053
Single trial discrimination of individual finger movements on one hand: A combined
MEG and EEG study
☆
F. Quandta,b, C. Reicherta, H. Hinrichsa, H.J. Heinzea, R.T. Knightb,c, J.W. Riegera,b,⁎
aDepartment of Neurology, University Medical Center Magdeburg A.ö.R, Leipziger Str. 44, 3120 Magdeburg, Germany bHelen Wills Neuroscience Institute, University of California, Berkeley, 132 Barker Hall, Berkeley, CA 94720, USA cDepartment of Psychology, University of California, Berkeley, 1650 Tolman Hall, Berkeley, CA 94720, USA
a b s t r a c t a r t i c l e i n f o Article history: Received 1 July 2011 Revised 11 November 2011 Accepted 16 November 2011 Available online 30 November 2011 Keywords: Finger decoding Brain–Machine Interface Magnetoencephalography Motor cortex High-gamma oscillations Electroencephalography
It is crucial to understand what brain signals can be decoded from single trials with different recording tech-niques for the development of Brain–Machine Interfaces. A specific challenge for non-invasive recording methods are activations confined to small spatial areas on the cortex such as the finger representation of one hand. Here we study the information content of single trial brain activity in non-invasive MEG and EEG recordings elicited by finger movements of one hand. We investigate the feasibility of decoding which of four fingers of one hand performed a slight button press. With MEG we demonstrate reliable discrimina-tion of single button presses performed with the thumb, the index, the middle or the little finger (average over all subjects and fingers 57%, best subject 70%, empirical guessing level: 25.1%). EEG decoding perfor-mance was less robust (average over all subjects and fingers 43%, best subject 54%, empirical guessing level 25.1%). Spatiotemporal patterns of amplitude variations in the time series provided best information for discriminating finger movements. Non-phase-locked changes of mu and beta oscillations were less pre-dictive. Movement related high gamma oscillations were observed in average induced oscillation amplitudes in the MEG but did not provide sufficient information about the finger's identity in single trials. Importantly, pre-movement neuronal activity provided information about the preparation of the movement of a specific finger. Our study demonstrates the potential of non-invasive MEG to provide informative features for individ-ual finger control in a Brain–Machine Interface neuroprosthesis.
© 2011 Elsevier Inc. All rights reserved.
Introduction
One of the major efforts of current Brain–Machine Interface (BMI) research is the reliable control of an upper limb prosthesis. It remains an open question at what level of detail non-invasive recording tech-niques can provide information for movement decoding. For coarser movements, recent studies succeeded in decoding the kinematics and the position of hand trajectories and arm movements from single-unit recordings in monkeys (Carmena et al., 2003; Taylor et al., 2002) and in humans (Hochberg et al., 2006). Similarly, invasive subdural electrocorticography (ECoG, Leuthardt et al., 2004) non-invasive electroencephalography (EEG) and non-non-invasive magneto-encephalography (MEG) recordings (Georgopoulos et al., 2005; Jerbi
et al., 2007; Waldert et al., 2008) allowed for decoding of arm move-ment directions. On a finer level of detail, ECoG recordings in humans (Acharya et al., 2010; Kubánek et al., 2009; Miller et al., 2009) and sin-gle unit recordings in monkeys (Aggarwal et al., 2009; Hamed et al., 2007) show the potential to detect movements of individual fingers.
It is unclear, however, whether it is possible to decode single fin-ger movements of the same hand in single trials with non-invasive MEG or EEG. The limited spatiotemporal resolution and the low signal to noise ratio (SNR) of non-invasive recordings might not be suffi-cient to detect the weak signals generated by finger movements of one hand. The muscle mass involved in finger movements is smaller than in limb or hand movements and neuronal discharges of motor cortex neurons are correspondingly smaller in finger movements than in arm or wrist movements (Pfurtscheller et al., 2003), which makes them difficult to detect. Importantly, in a MEG study
Kauhanen et al. (2006) were able to discriminate left from right hand index finger movements showing that single trial brain activity accompanying finger movements is indeed detectable. Another po-tential challenge is the spatially overlapping finger representation in somatosensory cortex. Penfield and Boldrey found that the distance along the Rolandic fissure that evoked finger movements after corti-cal stimulation was 55 mm (Penfield and Boldrey, 1937). The
NeuroImage 59 (2012) 3316–3324
☆ Funding source: Land–Sachsen–Anhalt Grant MK48-2009/003, ECHORD 231143, NINDS grant NS21135.
⁎ Corresponding author at: Department of Neurology, University Medical Center Magdeburg A.ö.R, Leipziger Str. 44, 39120 Magdeburg, Germany. Fax: +49 39167290224.
E-mail addresses:FannyQuandt@gmail.com(F. Quandt),
christoph.reichert@med.ovgu.de(C. Reichert),hermann.hinrichs@med.ovgu.de
(H. Hinrichs),hans-jochen.heinze@med.ovgu.de(H.J. Heinze),rtknight@berkeley.edu
(R.T. Knight),Jochem.Rieger@med.ovgu.de(J.W. Rieger).
1053-8119/$ – see front matter © 2011 Elsevier Inc. All rights reserved. doi:10.1016/j.neuroimage.2011.11.053
Contents lists available atSciVerse ScienceDirect
NeuroImage
maximum spatial resolution of MEG for sources is thought to be around 2–3 mm but only under optimal circumstances and extensive averaging (Hämäläinen et al., 1993), hence leaving open if the spatial resolution is sufficient for single trial decoding. In addition,Schieber (2001), reviewing somatotopic hand organization, reported substan-tial overlap of the territories in M1 controlling individual fingers and noted that the encoding of muscle activations and joint positions in the brain does not follow a strict somatotopic organization which pre-sents another obstacle for decoding.
A further question pertains to the observed event-related and os-cillatory brain dynamics captured with non-invasive EEG and MEG.
Crone et al. (1998a, 1998b)reported a decrease of oscillatory beta power (15 Hz–25 Hz) using ECoG over motor cortices during limb movements and a power increase in oscillatory high gamma (greater than 60 Hz). A similar pre-movement signal decrease (event related desynchronisation, ERDS) of oscillatory mu (7 Hz–12 Hz) and beta (20 Hz–24 Hz) bands has been described in EEG (Pfurtscheller and Lopes da Silva, 1999). Such signals proved to be reliable enough to control a non-invasive, EEG-based, human BMI based on imagined tongue and foot movements eliciting ERDS at relatively distant spatial sites along the Rolandic fissure (Pfurtscheller et al., 2006). Similarly, the low-pass filtered time series has been shown to provide useful in-formation for movement decoding in invasive (Acharya et al., 2010; Kubánek et al., 2009) and non-invasive (Waldert et al., 2008) record-ings. Although, high frequency oscillations can be recorded non-invasively under some circumstances (Cheyne et al., 2008), it is currently unclear whether their signal to noise ratio is sufficient to discriminate movements in single trials.
Finally, the recording technique may also have an influence on the signals that can be obtained in non-invasive recordings from the skull. Most studies on motor decoding employ EEG for practical rea-sons. Although MEG can provide an advantage over EEG in spatial res-olution (Hari et al., 1988), it has rarely been used for single trial decoding (Rieger et al., 2008; Waldert et al., 2008). Here, we simulta-neously recorded EEG and MEG to decode changes of neuronal activ-ity evoked by minimal finger movements. Our goal was to directly compare the feasibility to decode single finger movements of the same hand with the two methods.
To our knowledge no classification of finger movements on the same hand has been shown with non-invasive recording techniques yet. In this study we aim to discriminate individual finger taps on a single trial basis with two non-invasive recording techniques (EEG and MEG). Importantly, whereas previous invasive studies focused on the repetitive movement of fingers (Kubánek et al., 2009; Miller et al., 2009) we concentrate on the decoding of single, minimal finger taps. Our subjects performed slight finger movements by pressing buttons on a button box with four fingers of the same hand. Beyond decoding our goal was to understand the dynamic and spatial fea-tures as well as the timing of brain networks controlling dexterous finger movements.
Material and methods
Recording systems and subjects
MEG and EEG were recorded simultaneously in an electromagnet-ically shielded room. The data was sampled at 1017.25 Hz, using a whole-head BTi Magnes system with 248-sensors (4D-Neuroimaging, San Diego, CA, USA) and a 32-channel EEG system. EEG electrodes were positioned according to the 10–20 System of the American Elec-troencephalographic Society (EEG system by SENSORIUM INC.) (Fp1, Fpz, Fp2, F7, F3, Fz, F4, F8, FC1, FC2, T7, C3, Cz, C4, T8, CP1, CP2, P7, P3, Pz, P4, P8, PO9, PO7, PO3, PO4, PO8, PO10, Oz, O9, Iz, O10). Eye move-ment artifacts were detected by measuring the vEOG and hEOG. The impedance of the EEG electrodes was kept below 5 kΩ. A total of thir-teen right-handed subjects participated in the experiment (9 females
and 4 males, mean age: 23.6 years, range: 21–27 years), all of whom gave written informed consent. The study was approved by the ethics committee of the Medical Faculty of the Otto-von-Guericke University of Magdeburg.
Task
The subject was presented with a number on a screen (visual cue) that indicated which finger to move (1: thumb, 2: index, 3: middle, and 5: little finger). The visual cue was presented every 2 s and the participants were instructed to press and immediately release a but-ton with the finger indicated by the visual cue using their dominant hand (Fig. 1). Trials with reaction times shorter than 200 ms were ex-cluded from the later analysis. Moving the ring finger individually appeared to be difficult and was therefore excluded from the experi-ment. Subjects were seated comfortably in an upright position, the right elbow was rested on a pillow and the hand was held in a prone-position.
Data analysis
Preprocessing
Both datasets (MEG and EEG) were segmented in intervals of +/−1400 ms around the button press for further analysis (Fig. 1). This was necessary to fit the data into computer memory. The cut out segments were somewhat longer than the actually analyzed inter-val to avoid boundary effects in the following filtering and frequency analysis steps. Power line noise was removed with a 50 Hz notch-filter. The EEG data was band-pass-filtered from 0.15 Hz–50 Hz and down-sampled to 256 Hz. Higher frequencies were excluded from the EEG because due to their small amplitudes it is unlikely that they provide sufficient information in single trials. In EEG the channel-averaged activity was subtracted from each channel at every point in time to obtain common average referenced signals. The MEG data was band-pass-filtered from 0.15 Hz to 128 Hz and down-sampled to 256 Hz. Trials with EOG contributions or artifactual amplitude steps were dismissed from the analysis (on average 24% dismissed tri-als). These data were used for the following frequency analysis.
Additional preprocessing was done for time series classification. First, a baseline (−1000 ms to −800 ms with respect to the button press) was subtracted from each trial. The baseline interval was chosen to minimize the influence from the cortical response evoked by the visual cue and to prevent leaking of the motor evoked response from the previous button press into the current baseline. The success is demonstrated by the flat baselines in Fig. 5a (gray rectangle). Second, the raw time series was digitally low-pass filtered at 16 Hz and down-sampled to 32 Hz by picking every 8th sample. Third, we initially restricted the interval length to 500 ms from −50 ms to 450 ms around the button press.
The Fieldtrip toolbox (Donders Institute for Brain, Cognition and Be-haviour,http://www.ru.nl/neuroimaging/fieldtrip, (Oostenveld et al., 2011)) and custom software were used for preprocessing.
Frequency analysis
Spectrograms were calculated from 1 Hz to 120 Hz (in steps of 2.5 Hz) for each trial of the MEG. The time resolved spectral analysis was computed with a short-time FFT-multitaper approach, using 5 slepian tapers (Mitra and Pesaran, 1999). The center of the moving window was shifted in steps of 30 ms, with a window width of 500 ms.
Classification
For classification we tested different feature spaces: The time se-ries of both MEG and EEG and oscillation amplitude modulation of MEG: To prevent classifier bias among fingers we balanced numbers of trials among fingers by randomly eliminating trials from the larger
3317 F. Quandt et al. / NeuroImage 59 (2012) 3316–3324
sets. (on average 136 trials per finger, minimum: 97, maximum: 184). To avoid artificial increase of correlation between training and test sets, all trials were preprocessed independently and all classification steps were performed in a five-fold cross-validation loop in which the classifier was trained on 80% of the trials and generalization of the trained classifier was tested on 20% of the trials. The decoding ac-curacy (DA) was calculated as the average percentage of correctly classified trials in all five folds. All sampling points of the low-pass fil-tered time series were included as features for classification, without any further feature selection. Consequently, each of the 500 ms inter-vals used for single trial classification consists of 3968 features (248 sensors by 16 samples) in the MEG data and 464 features (29 sensors by 16 samples) in the EEG data. We chose a linear support vector ma-chine (SVM) for classification of single finger movements because this technique has been shown to provide robust results even when the number of features exceeds the number of examples (Guyon et al., 2002; Rieger et al., 2008). The support vector machine estimates the linear discriminate function: f(x)=wx+b, with w being the weight vector and b being the bias.
We trained SVMs in a winner-takes-all one-vs-all multi-class clas-sification scheme using LIBSVM (http://www.csie.ntu.edu.tw/~cjlin/ libsvm/) through the spider toolbox (http://people.kyb.tuebingen. mpg.de/spider/main.html). Four binary SVMs were trained (thumb vs. index, middle, and little finger; index vs. thumb, middle, and little finger; middle vs. thumb, index, and little finger; little vs. thumb, index, and middle finger). For classification we calculate the distance dof the trial to the separating hyperplane in each of the four binary classifiers. Then the trial is assigned to the class with the highest
value of d. The probability for correct guessing in this classification scheme is 1/n, for n equally probable class assignments. With n= 4 for four fingers, the guessing level is 25%.
Evaluation of classifier generalization
To test whether the DAs are significantly better than random, we compared them to an empirically estimated guessing level. The gues-sing level was determined in a permutation test in which each subject's class-labels were randomly shuffled among trials. Classifica-tion was repeated 500 times with different randomizaClassifica-tions (for a de-tailed description see (Rieger et al., 2008)). The mean prediction accuracy over all repetitions and subjects equaled the empirical gues-sing level. The permutation tests provided 95% confidence intervals and DAs above the upper confidence interval were assumed to be sig-nificant. In addition to the EEG and MEG time series, we classified the EOG time series using the same approach to ensure that classification performance is not based on eye movement artifacts.
Results
The mean reaction time (visual cue to button press) was 470 ms (standard deviation 50 ms). The highest power modulations are ob-served in the interval around the button press and in sensors above sensorimotor areas on the contralateral cortex. However, averaged over subjects, activation patterns of the individual fingers appeared relatively similar (Fig. 2).
Fig. 1. Task and trial structure. Each trial started with a numerical visual cue and instructed the subject to press a button with the corresponding finger (1: thumb, 2: index, 3: mid-dle, 5: little, ring finger was not used). The inter-trial interval was 2 s with a temporal jitter of 0.3 s.
–14 –14 –14 –14
Fig. 2. Topography of subject averaged evoked magnetic fields. Evoked magnetic fields are shown for movements of the thumb, index, middle, and little finger of the right hand (interval−50 ms to 200 ms). The location of magnetic flux direction reversal (lateral blue to central red) indicates activity in contralateral, left somato-motor cortex. Back dots indicate sensor locations. Red signifies magnetic flux directed outward the skull and blue inward.
