Multisensorische Integration von redundanten Reizen

redundanten Reizen

Dissertation zur Erlangung des

Doktorgrades der Naturwissens haften (Dr. rer. nat.)

dem Fa hberei h Psy hologie der Philipps-Universit¨at

Marburg vorgelegt von MatthiasGondan aus Freiburg

VomFa hberei hPsy hologieder

Philipps-Universit¨

atMarburg

am ... angenommen.

Erstguta hter: Prof. Dr. Brigitte Roder¨

Zweitguta hter: Prof. Dr. Frank R ¨

osler

Zusammenfassung 1

Einleitung 3

0.1 Intersensoris heErlei hterungseffekte . . . 5

0.2 Ra eModelundCoa tivationModel . . . 7

0.3 RedundanzgewinnebeiunimodalenundbimodalenReizen . . . 10

0.4 SuperpositionsmodellderKoaktivierung . . . 14

0.5 Energysummationundpreparationenhan ement . . . 15

0.6 Zellul¨areMe hanismen . . . 17

0.7 ¨ Uberbli kuber¨ dieTeilstudien . . . 19

1 Trisensoris heInteraktionen 21 1.1 Hintergrund . . . 21 1.2 Methode . . . 25 1.3 Ergebnisse . . . 28 1.4 Diskussion. . . 33 2 Modalit¨atswe hselkosten 35 2.1 Hintergrund . . . 35 2.2 Methode . . . 39 2.3 Ergebnisse . . . 41 2.4 Diskussion. . . 44

3.2 Methode . . . 55

3.3 Ergebnisse . . . 57

3.4 Diskussion. . . 62

4 Raumli he¨ BeziehungderReizkomponenten 67 4.1 Hintergrund . . . 67 4.2 Methode . . . 75 4.3 Ergebnisse . . . 81 4.4 Diskussion. . . 90 5 Raumli he¨ Aufmerksamkeit 97 5.1 Hintergrund . . . 97 5.2 Experiment1–Methode . . . 102 5.3 Experiment1–Ergebnisse . . . 103 5.4 Experiment1–Diskussion . . . 106 5.5 Experiment2–Methode . . . 108 5.6 Experiment2–Ergebnisse . . . 109 5.7 Diskussion. . . 112

6 Allg emeineDiskussion 117 6.1 DiskussionderTeilstudien . . . 118

6.2 S hlussfolgerungen . . . 127

6.3 KortikaleMe hanismen . . . 132

6.4 OffeneFragenundAusbli k . . . 136

Literatur 143

Danksagung 169

Wenn eine Versu hsperson die Aufgabehat, in der glei henWeise auf Reizezweier

Modalit¨aten (z.B. ein Li ht- und ein Tonsignal) zu reagieren, beoba htet man

deut-li h s hnellere Reaktionen, wenn die beiden Reize glei hzeitig dargeboten werden,

alswenn nur einerder beiden Reizedargebotenwird. Dieser Effektwird als

Redun-danzeffekt (redundant target effe t) bezei hnet. Die s hnelleren Reaktionen auf die

redundanten Reize sind ein Hinweis darauf, dass die Informationenaus den

Sinnes-systemeninirgendeinerWeiseintegriertwerden. Aufwel heWeise dieseIntegration

stattndetundwovonsieabh¨angigist,wurdeindervorliegendenArbeit inf¨unfT

eil-studienuntersu ht, wobeidie Anzahlderredundanten Reize,Reihenfolgeeffekte, die

r¨aumli he Beziehung der Reizkomponenten und die r¨aumli he Aufmerksamkeit

be-tra htetwurden.NebenReaktionszeitenwurdeninzweiTeilstudien(Kap.3&4)au h

ereigniskorreliertePotentialegemessen,umHinweiseaufdiejenigenHirnregionenzu

gewinnen,dieinspezis herWeiseaufmultimodaleReizeantworten.

In Kapitel 1 wird gezeigt, wie spezis he Redundanzgewinne bei dreifa h

red-undanten Reizen (Ton, Li ht und Tastreiz) untersu ht werden k¨onnen. Es wird

ins-besondere gezeigt, dass die beoba hteten Redundanzgewinne bei trimodalen Reizen

vollst¨andigdur hpaarweisebisensoris heRedundanzgewinneerkl¨artwerdenkonnen.¨

InKapitel2wirdderEinussvonModalit¨atswe hselkostenuntersu ht:Inzuf¨

alli-genSequenzenvonauditivenundvisuellenReizensinddieReaktionenaufeinenTeil

der Reize verlangsamt, dann n¨amli h, wenn si h die Modalit¨at des aktuellen Reizes

vonderModalit¨atdesVorg¨angerreizesunters heidet.Dabei denredundantenReizen

redundanten Reize hiervon ni ht betroffen. Ein Teil des Redundanzgewinns konnte¨

daherau haufModalit¨atswe hselkostenzuru kgehen.¨ InKapitel2wird gezeigt,wie

manmit diesem Problem umgehenkann und dassModaliatswe hsel¨ zwar einen

Re-dundanzgewinnverursa henkonnen,¨ dasses aberglei hwohldeutli heHinweiseauf

multisensoris heIntegrationbeiauditiv-visuellen,auditiv-taktilenundvisuell-taktilen

redundantenReizengibt.

InKapitel3 wirdeine Methodevorgestellt,mitder We hselwirkungendes

Seh-und H¨orsystemsmit ereigniskorrelierten Potentialen (EKPs)untersu ht werden kon-¨

nen.InbisherigenUntersu hungenwurdehierf¨urh¨augdasEKPaufeinen

auditiv-vi-suellenReiz (AV) mit der Summeder EKPs aufeinen auditivenund einenvisuellen

Reiz(A+V )vergli hen.EinProblemdieserVerglei hsmethodeist,dassAV,AundV

keinerleigemeinsameAktivit¨atenthaltendurfen.¨ InKapitel3wirdeine

Alternativme-thodevorgestellt,dierobustgegen¨ubergemeinsamerAktivit¨atist.

InKapitel4wirduntersu ht,inwieweitdier¨aumli heBeziehungderbeiden

Kom-ponenteneines redundantenReizes die multisensoris heIntegration undden

Redun-danzgewinn beeinusst. Es zeigt si h, dass redundante Reize, die am glei hen Ort

pr¨asentiertwerden, efzienterverarbeitetwerden als redundanteReize, die an

unter-s hiedli henOrtenpr¨asentiertwerden.Dier¨aumli heBeziehungderReizewirktsi h

au hauf die kortikale Verarbeitungaus: Bei Reizen, die am glei hen Ortpr¨asentiert

wurden, konnteeine EEG-Ver¨anderung an parietalenElektroden beoba htet werden,

wasaufeinespezis heBeteiligungpolymodalerHirnarealeimParietallappenander

multisensoris henIntegrationhinweist.

In Kapitel 5 wird gezeigt, dass der Redundanzgewinn in hohem Maße davon

abh¨angigist,obsi hdieVersu hspersonaufdenOrtderReizpr¨asentationkonzentriert.

DiesisteinHinweisdarauf,dassdiemultisensoris heIntegrationvonredundanten

Rei-zenwenigereinreizgesteuerterbottomup-Prozessist,sonderneheraufderEbenevon

Reiz-Reaktions-Assoziationenstattndet,wieesinneuerenModellenderVerarbeitung

Wahrnehmung imAlltag betrifft seltenein Sinnessystemalleine. Meist sindmehrere

Sinneglei hzeitigaktivundliefernerg¨anzende,redundanteund(selten)widerspr¨

u hli- heInformationen,ausdenendanneineeinheitli heRepr¨asentationderUmwelt

kon-struiertwird.DieInformationenausdenvers hiedenenSinnessystemenmussen¨ hierf¨ur

integriertundineinengemeinsamenCodeubersetzt¨ werden, deramEndeneben

sin-nesspezis henMerkmalenwieLautst¨arke,Tonhohe,¨ HelligkeitundKontrastau h

su-pramodalebzw.modalit¨ats¨ubergreifendeMerkmalewieAnzahl,DauerundBedeutung

bes hreibt(Calvert,Spen e&Stein,2004).

IndervorliegendenArbeitwirdeinspezis herAspektdieserIntegration

unter-su ht: die Verarbeitung redundanter auditiver und visueller Informationen bei

einfa- henReaktionsaufgaben.Ineinertypis henAufgabedieserArtwerdenderV

ersu hs-person drei Arten von Stimuli dargeboten: ein auditiver Reiz (A), z.B. ein Ton aus

einemLautspre her;einvisuellerReiz(V),z.B.eine aufdenLautspre hermontierte

Lampe,diekurzaueu htet;unddieKombinationausbeiden,alsoeinauditiv-visueller

bzw.bimodalerReiz(AV).AufalledreiStimulisolldieVersu hspersoninderglei hen

Weise reagieren, z.B. mit einem Tastendru k. Daauf A und V die glei he Reaktion

ausgef¨uhrtwerdensoll,AundV demna hdieglei he

”

Bedeutung“ f¨urdie V

ersu hs-personhaben,wirdAVau halsredundanterReizbezei hnet.Eszeigtsi h,dassdie

Re-aktionenaufdieredundantenReizei.d.R.wesentli hs hnellersindalsdieReaktionen

aufdieunimodalenReize. DieserEffektwirdau h alsRedundanzeffekt(redundan y

gain,redundantsignalseffe t,redundanttargeteffe t,z.B.Miller, 1982)bezei hnet.

In-formationen aus den beiden Sinnessystemen in irgendeiner Weise integriert werden.

Auf wel he Weise diese Integration stattndet, wurde in der vorliegenden Arbeit in

f¨unf Teilstudien untersu ht. Dabei wurden folgende Aspekte genauer betra htet: die

Anzahl der redundanten Reize (Kapitel 1), Reihenfolgeeffekte (Kapitel 2), das EEG

(Kapitel3), dier¨aumli he Beziehungderbeiden Reize(Kapitel4) unddie

Fokussie-rungderr¨aumli henAufmerksamkeit(Kapitel5).

Multisensoris heIntegrationsprozessek¨onneninzweiKlasseneingeteiltwerden

(Loveless, Brebner & Hamilton,1970): (a) Ein Sinnessystembeeinusst dasandere;

(b)dieSinnessystemekooperieren.Zu(a)z¨ahlenz.B.derBau hrednereffekt(Howard

&Templeton, 1966),Illusionen(Shams,Kamitani&Shimojo,2000)und

rossmoda-leAufmerksamkeitseffekte(Driver&Spen e, 1998;Eimer, 1999;Hillyard, Simpson,

Woods,vanVoorhis&M¨unte,1984).Zu(b)z¨ahlenz.B.Vorg¨angebeider

multisenso-ris henObjekterkennung(Calvert,Brammer&Iversen,1998)unddieInteraktionvon

SehenundH¨orenbeimSpra hverstehen(Sumby&Polla k,1954). Dieinder

vorlie-gendenArbeituntersu htenRedundanzeffektefallenebenfallsinKategorie(b).

Eine ahnli he¨ Einteilung wurde von Wel h und Warren (1986) vorges hlagen.

Sieunters heidendreiMe hanismendermultisensoris henIntegration:unspezis he

akzessoris heEffekte,Kontexteffekteundspezis hemultisensoris heInteraktionen.

Unterdieunspezis hen akzessoris henEffekte f¨alltz.B.die Beoba htung, dassein

auditiverWarnreizdieVerarbeitungeinessp¨aterpr¨asentiertenvisuellenReizes

erlei h-tert.

”

Unspezis h“bedeutetdemna h,dassdieSinnessystemekeinerleiInformationen

austaus hen:DasWarnsignal erh¨oht ledigli hVigilanzundReaktionsbereits haftder

Person(z.B.Lovela e,Stein&Walla e,2003;M Donald,Teder-S¨alej¨arvi&Hillyard,

2000).Obwohlunspezis h,wirddieserMe hanismusglei hwohlvonvielenFaktoren

beeinusst,soz.B.vonderIntensit¨atdesWarnreizes,vonderIntensit¨atdesZielreizes,

vom Intervall zwis henden Reizenusw. (vgl. Wel h &Warren, 1986). Die

Kontext-effekteentspre hendenbereitsgenanntenT¨aus hungen/Illusionen,hierwirktsi hdie

Darbietungeines Reizes inder einen Modalit¨at aufdie Verarbeitung der

zwei Tonreizen dar, beri hten Versu hspersonen h¨aug, zwei Li htreize gesehen zu

haben(Shams et al., 2000). Unter spezis henmultisensoris hen Effekten verstehen

Wel hundWarren,dassdieSinnessystemeinirgendeinerFormInformationen

austau-s henund si hgegenseitigerg¨anzen. Diesges hieht z.B. unter s hle htenW

ahrneh-mungsbedingungen:Hort¨ maneinerPersonzuundsiehtglei hzeitigihre

Lippenbewe-gung,verstehtmansiebesser(Sumby&Polla k,1954).

0.1 Intersensoris he Erlei hterungseffekte

Diejenigen Untersu hungen zur multisensoris hen Integration, die f¨ur die

Fragestel-lungdervorliegendenArbeitrelevantsind,konnen¨ grobinzweiKategorienunterteilt

werden:IndieersteKategoriefallenUntersu hungen,beidenendieVerarbeitungeines

ReizesineinerbestimmtenSinnesmodalit¨atuntersu htwurde,wobeizus¨atzli h

irrele-vanteReizeineineranderenSinnesmodalit¨atdargebotenwurden. Indiezweite

Kate-goriefallendieeigentli henRedundanzexperimente,beidenendieVersu hspersonauf

zwei Artenvon Stimuli in derglei hen Weisereagieren soll und die Stimuli einzeln

oderkombiniertdargebotenwurden.Einetypis heUntersu hungdererstenKategorie

wurde von Bernstein und Edelstein (1971) dur hgef¨uhrt. Hier hatten die V

ersu hs-personendieAufgabe,WahlreaktionenaufvisuelleReizehinauszuf¨uhren:Wurdeder

ReizaufderlinkenSeitedargeboten,solltendieVersu hspersonenmitderlinkenHand

reagieren,wurdederReizaufderre htenSeitedargeboten, solltensiemitre hts

rea-gieren. Glei hzeitig wurde in man hen Dur hg¨angen ein auditiver Reiz dargeboten,

den die Versu hspersonen ni ht bea hten sollten. Bernstein und Edelstein

beoba h-teten, dass derzus¨atzli he auditive Reizbereits zus hnelleren Reaktionenfuhrte.¨ Er

bewirktealsoeinenunspezis henErlei hterungseffekt:DervisuelleStimuluswurde

dur hden zus¨atzli henauditivenReiz s hnellerverarbeitet, obwohl dieV

ersu hsper-sonen auf alleine dargebotene auditive Reize gar ni ht reagieren durften (vgl. au h

Bernstein,Clark&Edelstein,1969;Simon&Craft,1970).

eines preparatory state model erkl¨art und von Ni kerson (1973) als preparation

en-han ementbezei hnet.DerMe hanismus,derdiesemunspezis henEffektzugrunde

liegt,s heintrelativglobalzuwirken:S hmidt,GielenundvanderHeuvel(1984)

be-oba htetenz.B., dassder Gewinndur h einen auditivenWarnreizkonstant war, und

zwarunabh¨angigvonderIntensit¨atdesvisuellenZielreizes,unabh¨angigvonder

Kom-plexitat¨ dergefordertenReaktionundebenfallsunabh¨angigvonder

Reaktionskompa-tibilit¨atdes visuellen Zielreizes. DerauditiveWarnreizs heint also wederdie W

ahr-nehmungdesvisuellenReizesno hdieAntwortselektionzubeeinussen.

Zus¨atzli h beoba hteten Bernstein und Edelstein (1971) einen weiteren

spezi-s hen Effekt: Wenn der auditive Warnreiz auf der glei hen Seite wie der

visuel-le Zielreiz dargeboten wurde, waren die Reaktionen s hneller, als wenn der W

arn-reiz auf der gegen¨uberliegenden Seite dargeboten wurde. Frassinetti, Bolognini und

Ladavas(2002)beri htenahnli he¨ EffektebeiderEntde kungvons hwa hen

visuel-len Reizen. Der

”

unspezis he“ Me hanismus s heintalso zumindest teilweiseau h

r¨aumli hspezis hzuwirken.

DiezweiteKategoriebildendieeigentli henRedundanzexperimente:Hierhatdie

Versu hspersondieAufgabe,aufalleStimuliinderglei henWeisezureagieren.

Eini-gedieserUntersu hungenwerdenimFolgendenvorgestellt,zuvormussjedo hein

Me- hanismusbes hrieben werden, der streng genommen gar ni ht alsmultisensoris he

Integration bezei hnetwerden kann: statisti alfa ilitation (Raab,1962). Dieser

Me- hanismuskannambestenanhandeinerW¨urfelanalogieverans hauli htwerden:Die

Chan e, eine se hszu w¨urfeln, betr¨agt 1/6,wenn man einmalwurfelt.¨ Entspre hend

seidieWahrs heinli hkeitbeieiner ktivenVersu hsperson1/6,dasssiewenigerals

200 ms f¨ur die Reaktionauf einen einfa hen auditiven oder visuellen Reiz ben¨otigt.

W¨urfeltmannunmitzweiW¨urfelnundw¨ahltdenW¨urfelmitderh¨oherenAugenzahl,

liegtdieChan eaufeinese hsinetwadoppeltsoho h,genauer:2/6–(1/6
1/6).Wird

derVersu hspersoneinredundanterReizdargeboten,wirdangenommen,dassdie

bei-denTeilstimulijeweilsvoneinanderunabh¨angigeVerarbeitungsprozesseauslosen¨ und

ahr-s heinli hkeit,dassdieReaktionauf einengegebenenredundantenReizs hnellerals

200msist,l¨agedann analogebenfalls bei2/6– (1/6
1/6). AufredundanteReizeist

alsoau hdanneinh¨ohererAnteils hnellererReaktionenunddamits hnelleremittlere

Reaktionszeitenzuerwarten,wenndieInformationenausdenbeidenSinnessystemen

v¨olligunabh¨angigvoneinanderverarbeitetwerden.Willmanmultisensoris he

Interak-tionenna hweisen,mussmansi hdahergegenstatisti alfa ilitationabsi hern.

0.2 Ra e Model und Coa tivation Model

Eineinfa herVerglei hdermittlerenReaktionszeitenvoneinfa henundredundanten

Reizenrei htalsoni htaus,ummultisensoris heIntegrationbeiderVerarbeitungvon

auditiv-visuellenReizenna hzuweisen:Dennselbst wenndie Verarbeitungswegefur¨

denauditivenunddenvisuellenTeilstimuluskomplettunabh¨angigvoneinanderw¨aren,

w¨urde man aufgrund von statisti al fa ilitation trotzdem s hnellere Reaktionen auf

redundanteReizealsaufunimodaleReizebeoba hten(Raab,1962).Das

entspre hen-deVerarbeitungsmodell,indemdieReizeunabh¨angigvoneinanderverarbeitetwerden

undquasi

”

umdieWette“ rennen,wurdevonMiller(1982)alsra emodelbezei hnet.

EineIntegrationderInformationenausdenbeidenSinnessystemenndet, wiebereits

erw¨ahnt,indiesemModellni htstatt.

Der Reaktionszeitgewinn, der dur h statisti al fa ilitation erm¨ogli ht wird, hat

eineobereGrenze,dieentwederdur hSimulation(Klein, 1977)odereinfa herdur h

diera emodelinequality(Miller,1982)festgelegtwerdenkann:

p(RT AV <t 0 )p(RT A <t 0 )+p(RT V <t 0 ) (0.1)

Glei hung 0.1 besagt: Die Wahrs heinli hkeit, dass eine Reaktion auf einen

re-dundanten ReizRT

AV

innerhalbvon z.B. t

0

= 200 ms erfolgt, ist kleiner oderglei h

der Wahrs heinli hkeit, dass eine Reaktion auf einen auditiven Reiz innerhalb von

Reizinnerhalbvon200mserfolgt.SinddieVerarbeitungszeitenf¨urdiebeidenStimuli

unkorreliert,wiebeimW¨urfeln,giltdasindependentra emodel:

p(RT AV <t 0 )=p(RT A <t 0 )+p(RT V <t 0 ) p(RT A <t 0 )
p(RT V <t 0 ) (0.2)

InReaktionszeitexperimentenistdieseAnnahmeproblematis h,dennMudigkeit,¨

Motivation usw. beeinussen die Verarbeitungszeiten der beiden Reize

glei herma-ßen, weswegen man ni ht annehmen kann, dass RT

A

und RT

V

im bimodalen Reiz

voneinander unab¨angig sind. Deshalb wird i.d.R. Glei hung 0.1 verwendet, die die

obereS hrankef¨urdenReaktionszeitgewinndur hstatisti alfa ilitationangibt.

Glei- hung 0.1 kann nur in den unteren Prozentr¨angen der Reaktionszeitverteilung

ange-wendet werden, weil die re hte Seite von Glei hung 0.1 bei p= 2 endet (z.B. ist

p(RT

A

<10s)1und p(RT

V

<10s)1). UmGlei hung0.1anzuwenden,werden

zun¨a hstdiekumuliertenH¨augkeitsverteilungen(CDFs)derReaktionszeitenaufdie

unimodalenReize(AundV)gebildet.DieCDFgibtan,wel herAnteilderReaktionen

s hnelleralseinegegebeneReaktionszeitist,z.B.t

0

=200ms,also p(RT <200ms).

DannwerdendieCDFszuAundVaufsummiert(vgl.re hteSeitevonGl.0.1)undmit

derCDFderReaktionszeitenaufdenredundantenReiz p(RT

AV

<200ms)vergli hen,

derlinkenSeitevonGlei hung0.1.Dasra emodelgilt,wenndieCDFder

Reaktions-zeitenaufbimodaleReizep(RT

AV <t

0

)f¨urallet

0

kleineralsdieSummederCDFsder

ReaktionszeitenaufdiebeidenunimodalenReize p(RT

A <t 0 )+p(RT V <t 0 )ist.Dies

istinAbbildung0.1agraphis hverans hauli ht.

Verletzungen des ra e model k¨onnen auf Signikanz uberpr¨¨ uft werden, indem

f¨ur jede Versu hsperson kumulierte H¨augkeitsverteilungen f¨ur RT

A , RT

V

und RT

AV

gebildet werden. Hierf¨ur werdendie Daten zun¨a hst diskreten Kategorien(bins)

zu-geordnet. Die Kategoriengrenzenwerden z.B. an jedem 5. Perzentil der

Gesamtver-teilungdeniert.JedembinwirddanndieAnzahlderReaktionszeitenzugeordnet,die

innerhalbder Kategoriengrenzenliegen, plus alle langsamerenReaktionen, da ja die

kumulierteH¨augkeitsverteilunggebildet wird. An jedemdieser bins kann dann ein

Vorzei hentest fur¨ die Differenz bin

AV

(bin

A +bin

V

a b

Abbildung0.1:Simulierte kumulierte Reaktionszeitverteilungen (CDFs) fur¨ auditive

(A),visuelle(V)undbimodale(AV)Stimuli.DiemitPluszei hen

mar-kierteKurveistdieSummederunimodalenReaktionszeitverteilungen,

p(RT A <t 0 )+p(RT V <t 0

).DieSummenkurveendetbei2.0,derra e

model-TestistdeswegennurindenunterenProzentr¨angenanwendbar.

Der CDF der bimodalen Reaktionszeiten im linken Bild (a) liegt ein

ra emodelzugrunde, sieliegtdeswegenunter derSummenkurve.Im

re hten Bild (b)wurde Koaktivierung angenommen, die CDF der

bi-modalen Reize liegt daher teilweise oberhalb der Summenkurve(mit

Pfeil henmarkiert).

2002). Na h dem ra e model muss bin

AV ¨

uberall unterhalb der S hranke liegen, die

dur h(bin

A +bin

V

)deniertwird(Abb.0.1a).

Liegt der Anteil der s hnellen Reaktionen auf bimodale Stimuli oberhalb

die-serS hranke (Abb. 0.1b),mussein oa tivationmodelangenommenwerden(Miller,

1982):Das oa tivationmodelgehtvoneinerStationderkognitivenVerarbeitungaus,

anderdieInformationenausdenbeidenSinneskan¨alenAundVintegriertwerden.

Die-seStationprotiert von derredundantenInformation,wodur hs hließli h s hnellere

0.3 Redundanzg ewinne bei unimodalen und

bimodalen Reiz en

InExperimentenmitreinunimodalenredundantenReizen(z.B.Einfa hreaktionenauf

visuelleReizevon linksund re hts)beoba htetman beiNormalpersoneni.d.R.

kei-ne Verletzungendes ra e model (Corballis, 2002; Forster, Cavina-Pratesi, Aglioti &

Berlu hi, 2002; Mordkoff, Miller & Ro h, 1996; Murray, Foxe, Higgins, Javitt &

S hroeder,2001),d.h.dieredundantenInformationenwerdeninnerhalbeines

Sinnes-systemsparallelverarbeitet(vgl. hierzuau h Kap.5). In dreiAusnahmef¨allenwurde

allerdingsau h beirein visuellenAufgaben Koaktivierungbeoba htet(Miniussi,

Gi-relli&Marzi,1998;Miller, 1982;Mordkoff&Yantis,1991).BeiMiniussi etal.

hat-tendieVersu hspersonendieAufgabe,aufvisuelleReizezureagieren,dielinksoder

re htsimunterenGesi htsfelders hienen. WurdenbeideReize glei hzeitig

dargebo-ten(redundanterReiz),warendieReaktionens hneller,undeswurdeeinegeringfugige¨

Verletzungdesra emodelbeoba htet.DieAutorenf¨uhrtenallerdingskeinen

Signi-kanztest dur h. Der ohnehin sehr geringe Effekt in dieser Studie k¨onnte daher au h

aufZufallss hwankungenzuru kgehen.¨ Miller(1982, Exp. 3)beri htetebenfalls

Ko-aktivierungbeieinerSu haufgabe,beiderBu hstabendetektiertwerdensollten.Hier

stelltsi haberdasProblem,dassdieni ht-redundantenReizeKombinationenaus

ei-nemZielreiz undeinem Reiz waren, auf den ni htreagiert werden sollte.Insol hen

F¨allenisteinReaktionskoniktdenkbar,derdieReaktionenaufdieni ht-redundanten

Reizebremst.BeidenredundantenReizentrittkeinsol herReaktionskoniktauf,da

auf beide Teilstimuli in der glei hen Weise reagiert werden soll.Fournier und

Erik-sen(1990)argumentieren,dasshierdur heins heinbarerKoaktivierungseffekt

zustan-dekommenkann.S hließli hbeoba htetenMordkoffundYantis(1991)einen

Koakti-vierungseffektbeireinvisuellenReizen,wennzwis hendenStimuluskomponenten

ei-nesredundantenReizespositiveKontingenzenhergestelltwurden,wennalsoeinReiz

Koaktivierungbei reinvisuellen redundantenReizen beoba htet,paradoxerweise

ge-naudann,wenndieReizeingetrenntenGesi htsfelderndargebotenwurden(Corballis,

1998;Corballis,Hamm, Barnett&Corballis, 2002;Roser& Corballis,2002;

Reuter-Lorenz,Nozawa,Gazzaniga&Hughes,1995).

InExperimentenmitredundantenReizeninzweiSinnesmodalit¨atensinddie

Re-dundanzgewinnei.d.R.hoher¨ alsdur hstatisti alfa ilitationvorhergesagt(vgl.z.B.

Kap. 1–4;Diederi h&Colonius, inpress;Miller, 1982, 1986, 1991;Molholmetal.,

2002; Murray et al., in press; S hr¨oger & Widmann, 1998). An irgendeiner Station

derkognitivenVerarbeitungs heintalsoeinRedundanzgewinnanzufallen. Esbesteht

aberwenigEinigkeit,anwel herStationdiesstattndensoll. ¨

Uberdiesk¨onnen

Redun-danzgewinneau hanmehrerenStellenglei hzeitiganfallen(Miller,1982).Hinweise

aufRedundanzgewinnean fruhen,¨ eher perzeptuellenVerarbeitungsstufen lieferndie

Untersu hungenvon Molholm et al. (2002) und Murrayet al. (in press, vgl.

folgen-derAbs hnitt).Miller(1982,1991)gehtehervonderEbenederAntwortselektionaus.

HinweiseaufKoaktivierungbeimotoris henVerarbeitungsstufengebenDiederi hund

Colonius (1987) und Giray und Ulri h (1993, vgl. ubern¨¨ a hste Seite). Einige dieser

Untersu hungenundihreBedeutungfur¨ dievorliegendeArbeitwerdenimFolgenden

dargestellt.

Molholmetal. (2002)untersu htenEinfa hreaktionenaufauditive,visuelleund

auditiv-visuelleReizemitereigniskorreliertenPotentialen(EKPs).DasHauptinteresse

lagaufdemZeitpunkt,andemdasauditiveundvisuelleSysteminteragieren.Hierfur¨

wurdenauditiv,visuellundbimodalevoziertePotentialegemessen(AEP,VEP,AVEP).

Die Autoren vergli hen dann das bimodal evozierte Potential (AVEP) mit der

Sum-mederunimodalevoziertenPotentiale(AEP+VEP).DiesemVerglei hliegtfolgende

¨

Uberlegungzugrunde(Barth,Goldberg,Brett&Di,1995):ArbeitendieSinnessysteme

unabh¨angigvoneinander, solltesi h AVEP ni htvonAEP+VEP unters heiden,d.h.

derAusdru kAVEP–(AEP+VEP)sollteNullergeben.InteragierendieSysteme,

soll-tesi hAVEPvonAEP+VEP hingegenunters heiden.Der Zeitpunktna h

dann auf die Station der kognitiven Verarbeitung hinweisen, an der der

Redundanz-gewinn anf¨allt.In der Untersu hung von Molholm et al. lag dieser Zeitpunktbereits

bei a. 50msna hPr¨asentationdesStimulus.DieAutorens hlossenausdiesem

Be-fund,dassderRedundanzgewinnaufeinerfr¨uhenperzeptuellenStufeanf¨allt.Murray

etal.(inpress)fandenzudemkeineEvidenzdaf¨ur,dassderBeginndieser

multisensori-s henInteraktionbeivisuell-taktilenStimulivonderr¨aumli henBeziehungzwis hen

den beidenStimuluskomponenten abh¨angt. Die S hlussfolgerungen von Molholm et

al.undMurrayetal.sindallerdingsauszweiGr¨undenproblematis h:Zumeinensetzt

die Subtraktion zweier EKPs (AEP+VEP) von einem (AVEP) voraus, dass die drei

EKPs keinerlei gemeinsame Aktivit¨at (z.B. Motorik, Erwartungen) enthalten, denn

diese w¨urde zweimal von AVEP abgezogen und ers hiene dann mit negativem V

or-zei henim Ergebnisterm (Teder-S¨alej¨arvi, M Donald, Russo& Hillyard, 2002, eine

m¨ogli heL¨osungdiesesProblemswirdinKap.3dervorliegendenArbeitvorgestellt).

Zum anderenist ni ht klar, warum ein EKP-Effekt mit einer bestimmtenLatenz

be-deutensoll,dass derRedundanzgewinnzumglei henZeitpunktanf¨allt(Coles, Smid,

S heffers&Otten,1995).SowohlbeiMolholmetal.alsau hbeiMurrayetal.wurden

au hinnerhalbandererZeitintervallemultisensoris heInteraktionenimEKP

beoba h-tet [d.h. AVEP–(AEP+VEP) unters hied si hvon Null℄, au hdiese konnten¨ daher

Kandidatenfur¨ denKoaktivierungseffektsein.S hließli hsagtderLatenzverglei hfur¨

Reize mit unters hiedli her r¨aumli her Beziehung (wie bei Murray et al., in press)

relativ wenig uber¨ den Einuss der r¨aumli hen Beziehung auf die multisensoris he

Integrationaus,eindirekterVerglei hderEKPsers heintangemessener(vgl.Kap.4).

Einwi htigesPrinzipdermultisensoris henIntegrationistdiezeitli heundr¨

aum-li heKoinzidenzderReize:NurStimuli,dieamglei henOrtpr¨asentiertwerden,

wer-dendemselbenObjektzugeordnet(Attneave,1974).DerEinussderr¨aumli hen

Be-ziehungbimodalerReizeaufdenRedundanzeffektwurdeinzweiArbeitenuntersu ht:

Forster et al. (2002) vergli hen Reaktionszeiten auf visuell-taktile Reize, die in

un-ters hiedli herr¨aumli herBeziehungzueinanderpr¨asentiertwurden.Siefandeneinen

glei- hen Ort dargeboten wurden, gegen¨uberReizen, die anunters hiedli hen Orten

dar-gebotenwurden. Hughes et al. (1994, Exp. 3) beoba htetenkeinen Vorteil f¨ur r¨

aum-li h kongruente auditiv-visuelle Reize (0 ms). Zumindest bei Einfa hreaktionen auf

redundantebimodaleReizes heintdier¨aumli heBeziehungderTeilstimulialsoeher

unwi htigzusein.

DamitderOrganismusvondenredundantenInformationenausden

Sinnessyste-menprotierenkann,m¨ussendiebeidenStimuliann¨aherndglei hzeitiganderStation

dermultisensoris hen Integration

”

ankommen“. Wird derauditiveReiz z.B.

wesent-li hfr¨uherpr¨asentiert alsdervisuelleReiz, reagiertdie Versu hspersonnurno hauf

den auditiven Reiz, denn die Aufgabe lautet ja, auf alle Reize in der glei hen W

ei-sezureagieren.AllerdingsdeutendieErgebnissedermeistenUntersu hungendarauf

hin,dassderRedundanzgewinnni htdannamh¨o hstenist,wenndieReize

glei hzei-tigpr¨asentiertwerden. Vielmehrs heintesaufdie

”

psy hologis heGlei hzeitigkeit“

anzukommen:Einfa hreaktionenaufauditiveReize sindz.B. meists hneller alsauf

visuelleReize. InvielenUntersu hungenwarder Redundanzgewinndannamho hs-¨

ten,wenndieStimulimiteinemVersatzpr¨asentiertwurden,derdiesenUnters hiedin

etwaausgli h(Diederi h&Colonius,inpress;Hershenson,1962;Miller,1986).

Dass der Redundanzgewinn erst auf motoris hen Verarbeitungsstufen anfallen

k¨onnte, wird von zwei Untersu hungen nahegelegt: Diederi h und Colonius (1987)

untersu htenRedundanzgewinnebeiauditiv-visuellenredundantenReizen,diemit

un-ters hiedli hemVersatz(stimulusonsetasyn hrony,SOA)dargebotenwurden.Die

Be-sonderheitihresVersu hsaufbausbestanddarin,dassdieVersu hspersonenmitbeiden

H¨andenaufdieStimulireagierenmussten.Hierbeizeigtesi h,dassdieDifferenz

(ge-nau genommen, ni ht die mittlere Differenz, sondern die Streuung der Differenzen)

zwis hender Reaktionszeit der linkenHand (RT

l

) undder Reaktionszeit derre hten

Hand(RT

r

)vomSOAabh¨angigwar:DaWahrnehmung,Antwortselektionundpr¨

amo-toris heAnteiledur hdieDifferenzbildung(RT

l RT

r

)eliminiertwerdensollten,

be-deutet dies, dass “something is in fa t going on in the motor omponent”

spri htau hderBefundvonGirayundUlri h(1993):DieAutorenbeoba hteten,dass

dieKraft, mitder die Versu hspersonauf die Reaktionstastedru kt,¨ beim

redundan-tenReiz hoher¨ ist alsbeim unimodalen Reiz. Dieser Befundkonnte allerdingsin

ei-nersp¨aterenUntersu hungni htrepliziertwerden(Plat,Praamstra&Horstink,2000),

bzw.s heintunspezis hmitderAnzahlni ht-redundanterStimulieinherzugehen,die

aufdem Bilds hirmdargeboten werden(Mordkoffet al.,1996). Untersu hungender

neuronalenAntwortaufredundanteReizeimmotoris henKortexbeiMakakken

(Mil-ler,Ulri h&Lamarre,2001)erbra htenzudemkeinenHinweisaufKoaktivierungbei

motoris henProzessen.

0.4 Superpositionsmodell der Koaktivierung

Ein Modell,das spezis he Vorhersagen zum Reaktionszeitgewinn dur h

Koaktivie-rung ma ht, wurde von S hwarz (1989) vorges hlagen. Es handelt si h hierbei um

ein reines Prozessmodell, d.h., es werden keine Angaben dar¨uber gema ht, an

wel- herStelledie Koaktivierungstattndet, sondernvielmehrwie derMe hanismusder

Koaktivierung selbst aussehen k¨onnte: S hwarz nimmt an, dass unimodale auditive

oder visuelle Stimuli neuronale Vorg¨ange ausl¨osen, bei denen in irgendeiner Weise

Aktivierungaufgebautwird.DerAufbauderAktivierungkannalsZ¨ahlprozess

aufge-fasst werden, bei dem in zuf¨alligen Abst¨anden Impulse eingehen. Der Abstand

zwi-s henzweiZ¨ahlimpulsenkannuber¨ poissonverteilteZufallsvariablenmodelliert

wer-den. ¨

UbersteigtdieAktivierungeinebestimmteS hwelle,wirddieReaktionausgel¨ost.

DieS hwellewirdz.B.dannerrei ht,wenn10sol herImpulseeingegangensind.Bei

redundantenReizen wirken zwei Z¨ahlprozesseglei hzeitig (

”

Superpositionsmodell“,

Townsend& Ashby, 1983, vgl.Abb. 0.2 undSimulation in Kap. 1). Der

S hwellen-wertwird entspre hend fr¨uher errei ht, was im Endeffekt zu s hnellerenReaktionen

f¨uhrt.S hwarz(1989)wandte dieseMethodezurVorhersagederReaktionszeitenauf

bimodaleReizean.DiemittlerenReaktionszeitenaufbimodaleReizekonntenhiermit

Abbildung0.2:Superposition zweier Poisson-Z¨ahlprozesse. Der auditive Reiz (A)

bzw. dervisuelleReiz (V)l¨osteinenZ¨ahlprozess aus,der na h5

Im-pulsen eineS hwelle errei htund eine

”

Reaktion“ initiiert.Im

bimo-dalenReizAVuberlagern¨ si hdiebeidenZ¨ahlprozesse,die5Impulse

werdenentspre hends hnellererrei ht.

ni ht(Diederi h&Colonius,1991).

0.5 Energy summation und preparation

enhan ement

Ni kerson (1973) stellte ein Modell zur Erkl¨arung von intersensoris hen

Erlei hte-rungseffekten vor(Abb. 0.3). Na hdiesem Modell wird die Aktivierung der

Sinnes-kan¨aleentwederdazuverwendet,eineReaktionauszulosen¨ (evokeresponse),oderdie

Reaktionsbereits haftdesGesamtsystemszuerh¨ohen(prepareresponse).DasModell

sollv.a. Reaktionszeitgewinnein Experimentenerkl¨aren,in denenVersu hspersonen

nur auf Stimuli in einer Modalit¨at reagieren sollen, wobei in einigen Dur hg¨angen

zus¨atzli he Reize in einer anderen Modalitat¨ dargeboten werden (z.B. Bernstein &

Edelstein,1971;Bernsteinetal.,1969;Simon&Craft,1970).Wies honerw¨ahnt,fuhrt¨

Abbildung0.3:Ni kersons(1973)Modellderintersensoris henErlei hterungbei

Auf-gaben,indenendieVersu hspersonaufStimulieinesSinneskanal(hier

V,visuellerKanal)reagierensoll,undman hmalzus¨atzli hStimulides

anderenKanals(hierA, auditiverKanal)pr¨asentiert werden.AufAV

-StimulireagiertdieVersu hspersons hneller,Ni kersonerkl¨artdiesen

Effektdamit,dassdieauditivenReizealsWarnsignalwirkenunddamit

zueinempreparationenhan ement(PE)f¨uhren,dasdie

Reaktionsbe-reits haftdesGesamtsystemserh¨oht(prep).DievisuellenStimulilosen¨

danns hnellereReaktionenaus(evok).ImRedundanzexperiment

wer-denbeideSinneskan¨alemit

”

evok“verbunden,aufdieseWeiseistau h

energy summation (ES) m¨ogli h. Ni kerson argumentiert allerdings,

dass PE und statisti al fa ilitation ausrei hen, die s hnelleren

Reak-tionenbeiAVzuerkl¨aren,erkommtdaherohnedasES-Modulaus.

dieAufgabeirrelevantistundsogareinengewissenReaktionskoniktausl¨osenkonn-¨

te,denndieVersu hspersonensolltenaufeinenalleinedargebotenenauditivenReizja

garni htreagieren.Ni kersonargumentiert,dassdieVersu hspersonendie

”

S halter“

verbinden,undden zus¨atzli henauditivenReizentspre hendefzientalsWarnsignal

verwendenkonnen¨ (preparationenhan ement).ImRedundanzexperiment,indemdie

Versu hspersonenaufbeideReizeglei hermaßenreagierensollen,sindentspre hend

beideS haltermitevokeresponseverbunden.DieDarstellunginAbbildung0.3wei ht

vomOrginalmodell Ni kersons (1973) insofern ab, als zus¨atzli h energy summation

angenommenwird,d.h.dieAktivierungderbeidenTeilstimulieinesredundanten

Rei-zeswirdnebenpreparationenhan ementno hinirgendeinerWeiseintegriert.

Ni ker-sonwandtesi hexplizitgegenenergysummation,inseinemModellwirdnurstatisti al

fa ilitationangenommen,umdies hnellerenReaktionszeitenbeiredundantenReizen

zuerkl¨aren,imES-ModulinAbbildung0.3passiertna hNi kersonsozusagenni hts.

0.6 Zellul ¨

are Me hanismen

Einemultisensoris heHirnregion,diebereitssehreingehenduntersu htwurde,istder

Colli ulussuperior(Stein &Meredith, 1993).Neurone indentieferenS hi htendes

Colli ulussuperiorhabenr¨aumli huberlappende¨ rezeptiveFelderfur¨ mehrere

Sinnes-modalit¨aten. Ein auditiv und visuellanspre hbares Neuronreagiert entspre hendauf

auditiveundvisuelleunimodaleReize,wennsieimjeweiligenrezeptivenFeld

darge-botenwerden. Fallenbeide Komponenteneines bimodalen(auditiv-visuellen)Reizes

in das jeweiligerezeptiveFeld, so reagiert das Neuron besonders stark;die

resultie-rendeAktivit¨atistdabeih¨aughoher¨ alsdieSummederAntwortenaufdie

unimoda-lenReizkomponenten(responseenhan ement).Wegender ¨

Uberlappungderrezeptiven

Felderndetresponseenhan ementv.a.beir¨aumli hkongruentenbimodalenReizen

statt,wennalsobeideReizkomponentenamselbenOrtpr¨asentiertwerden(spatial

ru-le,Kadun e,Vaughan,Walla e&Stein,2001;Meredith&Stein,1987).Liegteineder

beidenReizkomponentenhingegenaußerhalbdesrezeptivenFeldes,wirddieAntwort

desNeuronsunterdr¨u kt(responsedepression).Voraussetzungfur¨ response

enhan e-ment ist, dass die Reize glei hzeitig dargeboten werden bzw. dass die Maxima der

rule, Meredith, Nemitz&Stein, 1987). Dasspezis heAntwortverhaltender

Neuro-neimColli ulussuperioristni htangeboren,sondernentwi keltsi herstw¨ahrendder

erstenLebensmonate,wennderOrganismusersteSinneserfahrungenma ht(Anasta io

&Patton,2004;Walla e&Stein,2000,2001).

DasrelativeAusmaßdesresponseenhan ementistabh¨angigvonderIntensit¨atder

Reizkomponenten: S hwa he Reizewerden inhohem Maßeverst¨arkt, deutli h uber-¨

s hwelligeReizewerdennurgeringbzw.garni htverst¨arkt(inverseeffe tivenessrule,

Meredith& Stein, 1987;Stein, 1998). Da derColli ulus superioran Funktionenwie

Aufmerksamkeitszuwendung, Orientierungsreaktionen, koordinierten Kopf- und

Au-genbewegungen beteiligt ist (Stein & Meredith, 1993), s heint dieser Me hanismus

v.a. derVerst¨arkungvons hwa hen,multisensoris henUmgebungsreizenzudienen,

zudenensi hderOrganismusdannhinorientierenkann.Bernstein(1970)wiesdiesen

Effekt au h bei Reaktionen auf auditiv-visuelleReize vers hiedener Intensit¨at na h:

Beis hwa henReizenließensi hgroßeintersensoris heErlei hterungseffektebei

bi-modalerStimulationzeigen,beideutli hwahrnehmbarenReizenhingegennurgeringe

Vorteile.

AufKortexebenendensi hzahlrei hemultisensoris heHirnregionen,vondenen

derintraparietaleSul useinezentraleRollebeidervisuellenAufmerksamkeit(Bisley,

Krishna& Goldberg, 2004; Ma aluso, Frith& Driver, 2002)und derRepr¨asentation

von Positionsinformationen (Andersen, Snyder, Bradley & Xing, 1997; Avilla ,

Oli-vier, Deneve, Ben Hamed & Duhamel, 2004; Colby & Goldberg, 1999) spielt. Der

superioretemporale Sul us s heint an der Objektidentikationbeteiligt zu sein

(Be-au hamp, Lee, Argall & Martin, 2004). Im orbitofrontalenKortex sollen Valenzund

gelernteAssoziationenrepr¨asentiertsein(vgl.Rolls,2004).DerColli ulussuperiorist

v.a.mit denposteriorenkortikalenRegionenverbunden(Jiang,Jiang&Stein, 2002).

Ererh¨altProjektionenausdemanteriorenektosylvis henSul us(AESderKatze,das

mens hli heHomologdurfte¨ in dertemporo-parietalen ¨

Ubergangsregionliegen)und

dem rostralenlateralen suprasylvis hen Sul us(rLS, Jiang, Walla e, Jiang, Vaughan

Col-0.7 Uberbli kuber¨ dieTeilstudien

li ulus superior s heinen von diesen Projektionen abh¨angig zu sein, denn ryogene

Blo kadebzw. L¨asionen inAES oder rLSfuhren¨ zum zeitweiligenoder dauerhaften

VerlustdieserAntworteigens haften(Jiangetal.,2001;Walla e&Stein,1994).

0.7 ¨

Uberbli k uber¨ die Teilstudien

InKapitel1(vgl.Gondan&Roder,¨ 2004a,submitted)wirdgezeigt,wiederra e

mo-del-Test auf Situationen mit drei redundanten Stimuli verallgemeinert werden kann.

Alleinaufgrundvonstatisti alfa ilitationliegtdieVermutungnahe,dassdiemittleren

ReaktionszeitenaufeinentrimodalenredundantenReiz(taktil-auditiv-visuell)

s hnel-lersind als aufeinen bimodalenredundantenReiz. Das bedeutetaber ni ht, dassdie

InformationenderdreiSinnessystemegemeinsamintegriertwerdenmussen.¨ Eskonn-¨

tedur haussein, dassdastaktile Systemgetrenntverarbeitetwird, oderdassdiedrei

Reizkomponentenjeweilspaarweisemiteinanderverkn¨upftwerden,d.h. esf¨anden

le-digli hauditiv-visuelle,visuell-taktileundauditiv-taktileWe hselwirkungenstatt.Der

inKapitel1vorges hlageneTestkannhier¨uberAuskunftgeben.

In Kapitel 2 (vgl. Gondan, Lange, Rosler¨ & Roder,¨ 2004) werden

Sequenzef-fekte untersu ht: Denkbar w¨are, dass die Reaktionen auf den redundanten Reiz AV

gar ni ht dur h irgendeinen Koaktivierungsme hanismus bes hleunigt werden,

son-dern vielmehr die Reaktionen auf die unimodalen Reize A und V verlangsamtsind:

A htetdieVersu hspersonz.B.aufdenvisuellenSinneskanal,weilderVorg¨angerreiz

einvisueller Reizwar, dauertdieReaktion aufeinen auditivenReizeventuelll¨anger.

DieredundantenReizew¨arenhiervonni htbetroffen:WeilReizeinbeiden

Sinnesmo-dalit¨atendargebotenwerden,kanndieVersu hspersonbeiredundantenReizen

” ni hts

fals hma hen“.

AusdenErgebnissenderTeilstudieinKapitel2wirddeutli h,dassstatisti al

fa- ilitationund Modalit¨atswe hselkostenden Redundanzgewinn beibimodalenReizen

nurteilweiseerkl¨arenk¨onnen.DieInformationenausdenbeteiligtenSinnessystemen

Me- hanismen dieses Integrationsprozesses werden in Kapitel 3 (vgl. Gondan & R¨oder,

2004a)mitereigniskorreliertenPotentialenuntersu ht.Es zeigtsi h, dassdasGehirn

inspezis herWeiseaufbimodaleReizereagiertunddassdieseAntwortni hteinfa h

derSummederHirnantwortenaufdieunimodalenReizeentspri ht.

Einwi htigesPrinzipdermultisensoris henIntegrationistdier¨aumli heund

zeit-li heKoinzidenzderbeidenReize.Wirordnenvers hiedeneSinneseindru ke¨ nurdann

demselbenObjektzu, wennsievomglei henOrtkommenundzurglei henZeit

ein-treffen.KommendieEindru ke¨ vonvers hiedenenOrtenbzw.sindsiezeitli hversetzt,

werdensieni htintegriert. Esstelltsi hdieFrage,obdiesau hf¨ureinen

verglei hs-weisebasalen Effektwie den Redundanzeffekt gilt? InKapitel 4 (vgl. Gondan,

Nie-derhaus, R¨osler& R¨oder, in press)wird untersu ht, obdie r¨aumli he Beziehungder

beiden Teilstimuli den Redundanzeffekt beeinusst und wie si h ereigniskorrelierte

Potentialevon auditiv-visuellen Reizenunters heiden, je na hdem, ob sieam selben

Ortoderanunters hiedli henOrtendargebotenwerden.

InKapitel5(vgl.Gondan&R¨oder,2004b)wurdes hließli hdieBedeutungder

r¨aumli henAufmerksamkeituntersu ht.KoordinierteHandlungenerfordern

Aufmerk-samkeit und Konzentration.Man konnte¨ daher vermuten, dass die Versu hspersonen

nurdann inspezis herWeisevonden redundantenInformationenprotieren, wenn

dieseindenFokusderr¨aumli henAufmerksamkeitfallen.InderletztenTeilstudie

in-teressiertedaher die Frage, inwieweit dieIntegrationsleistungbeim Redundanzeffekt

1.1 Hintergrund

Ineinemtypis henRedundanzexperimenthatdieVersu hspersondieAufgabe, inder

glei henWeise auf z.B. auditive(A), visuelle (V) und auf bimodaleauditiv-visuelle

(AV) Reizezureagieren.Die ReaktionenaufAV sinddabeii.d.R. deutli hs hneller

als die Reaktionen auf die unimodalen Reize A und V. Dieser Effekt wird als

Red-undanzeffekt bezei hnet. ZurErkl¨arung des Redundanzeffektswurden zwei Modelle

vorges hlagen:dasra emodelunddas oa tivationmodel(Miller,1982).

Imra emodelwirdangenommen,dassdieInformationenderbeiden

Sinnessys-teme unabh¨angig voneinander verarbeitet werden. Die Reaktion auf einen einzelnen

StimuluswirddannjeweilsvondemSinneskanalausgel¨ost,derden Stimulus

s hnel-lerverarbeitethat. Im Mittelergebensi h aufdiese Weise s hnellereReaktionenauf

redundanteReize(AV),da dieWahrs heinli hkeitfur¨ eins hnelleReaktionbei zwei

Reizen hoher¨ ist als bei einem Reiz (statisti al fa ilitation, Raab, 1962). Die obere

Grenzefur¨ denReaktionszeitgewinn,derdur hdiesenMe hanismuserm¨ogli htwird,

istdur hdiera emodelinequality(Miller,1982)festgelegt:

p(RT AV <t 0 )p(RT A <t 0 )+p(RT V <t 0 ) (1.1)

DieWahrs heinli hkeit,dasseineReaktionaufeinenbimodalenReizRT

AV z.B. s hneller als t 0 = 200 ms ist [p(RT AV

<200 ms)℄, ergibt si h na h dem ra e model

ausderSummederentspre hendenWahrs heinli hkeitenfur¨ RT

A undRT V . ¨ Ubersteigt

dassdieInformationenderbeidenSinneskan¨aleanirgendeinerStationderkognitiven

Verarbeitungintegriert werden ( oa tivation model). Diese Station protiertvon der

redundantenInformation,wasni htnurzueinemhoheren¨ Anteils hnellerReaktionen

f¨uhrt, sondernau h zu insgesamt s hnellerenReaktionen. Bei Einfa hreaktionenauf

auditiv-visuelle,auditiv-taktileundvisuell-taktileReizewirdi.d.R.Koaktivierung

be-oba htet(Kap. 1–4, Diederi h&Colonius, in press;Miller, 1982, 1986;Molholmet

al.,2002;Murrayetal.,inpress).

DievorliegendeTeilstudieuntersu htdieOrganisationdieses

Integrationsme ha-nismusanhandvontrisensoris henInteraktionen,d.h.derVerarbeitungvon

redundan-tenauditiv-visuell-taktilenDreifa hstimuli.Zwei Modelleder trisensoris hen

Stimu-lusverarbeitungsindhierbeidenkbar:DieInformationenausdeneinzelnen

Sinnessys-temenkonnten¨ (a) jeweils paarweise integriert werden. Bei Reaktionenauf

trimoda-le Reize w¨urden dann deutli he Redundanzgewinne verzei hnet, da auditiv-visuelle,

auditiv-taktile und visuell-taktile Koaktivierungsme hanismen u.U. glei hzeitig

ab-laufen(AV,AT,VT).Gem¨aßeinemra emodelw¨urdedieReaktiondannvom

s hnellstendieserdreiVerarbeitungswegeausgel¨ost.ImGegensatzdazuw¨are(b)

denk-bar,dassdieInformationenderdreiSinnessystemegemeinsamaneinerInstanz

zusam-menlaufenundintegriertwerden.IndiesemFallew¨arenau he htetrisensoris he

Re-dundanzgewinne(AVT)mogli h,¨ dieuber¨ diebisensoris hen

Redundanzgewin-ne hinausgehen. Zur Untersu hung trisensoris herInteraktionen wird Glei hung 1.1

zun¨a hstf¨urdreiredundanteReizeverallgemeinert(vgl.Diederi h,1992):

p(RT TAV <t 0 ) p(RT T <t 0 )+p(RT A <t 0 )+p(RT V <t 0 ) (1.2)

Der Anteil der Reaktionen auf den auditiv-visuell-taktilen Stimulus (TAV), die

s hnellersindalst

0

,liegtalsona hdemtrisensoris henra emodelni hth¨oheralsdie

Summederentspre hendenAnteilebeidenReaktionenaufdieunimodalenStimuliT,

Aund V. Wird diese Vorhersageverletzt, kann manallerdings ni ht automatis hauf

trisensoris heInteraktionen s hließen: Au h bisensoris he Redundanzgewinne (z.B.

erh¨ohenebenfallsdenre hten Term inGlei hung1.2 und f¨uhrendamitzu einerV

er-letzungder Vorhersagedes ra emodel. Eine Verletzung von Glei hung1.2 bedeutet

daher nur, dass eine oder mehrere der m¨ogli hen InteraktionenAV, AT, VT

oderAVTeinenRedundanzgewinnverursa ht.

Ist man spezis h an AVT interessiert, m¨ussen AV, AT und VT

aus dem Verglei h in Glei hung 1.2 eliminiert werden. Dies kann errei ht werden,

indemdieReaktionszeitverteilungaufTAVni htmitderSummederVerteilungender

Einzelstimuli (T, A und V) vergli hen wird, sondern TAV als quasi

”

bisensoris he“

Kombinationeinesbi-undeinesunimodalenReizes(z.B.TAundV)aufgefasstwird.

InGlei hung1.2wirdalsop(RT

T <t 0 )+p(RT A <t 0 )dur hp(RT TA <t 0 )ersetzt: p(RT TAV <t 0 )p(RT T <t 0 )+p(RT A <t 0 ) | {z } +p(RT V <t 0 ) p(RT TAV <t 0 )p(RT TA <t 0 )+p(RT V <t 0 ) (1.3)

Findetbei derVerarbeitung destrimodalen ReizesKoaktivierungzwis hendem

auditiven und dem taktilen System statt (AT), werden sowohl p(RT

TAV <t

0 ) auf

der linken Seite als au h p(RT

TA <t

0

) auf der re hten Seite erhoht.¨ Glei hung 1.3

istalsorobustgegenuber¨ auditiv-taktilerKoaktivierung.Liegtdiebeoba hteteH¨

aug-keitsverteilungvonTAVuber¨ derSummeausTAundV,bleibenallerdingsno h

wei-tere dreiKandidaten fur¨ den Redundanzgewinn ubrig:¨ AV, VTund AVT.

Dur h die Substitution von p(RT

T <t 0 )+p(RT A <t 0 ) dur h p(RT TA <t 0 ) konnte

dieauditiv-taktileInteraktioneliminiertwerden.W¨uns henswertw¨are,glei hermaßen

p(RT T <t 0 )+p(RT V <t 0 )dur h p(RT TV <t 0 )und p(RT A <t 0 )+p(RT V <t 0 )dur h p(RT AV <t 0

) zu ersetzen, damit nur no h die trisensoris heInteraktion ubrig¨ bleibt.

Hierf¨ur wird p(RT

T <t

0

)zun¨a hst auf beidenSeiten von Glei hung1.3 addiertund

ans hließendderTermp(RT

T <t 0 )+p(RT V <t 0 )dur hp(RT TV <t 0 )ersetzt(Gl.1.4): p(RT TAV <t 0 )+p(RT T <t 0 ) p(RT TA <t 0 )+p(RT V <t 0 )+p(RT T <t 0 ) | {z } p(RT TAV <t 0 )+p(RT T <t 0 ) p(RT TA <t 0 )+p(RT TV <t 0 ) (1.4)

Glei hung 1.4 wurde vonDiederi h (1992) und Diederi h und Colonius (2004,

inpress)vorges hlagen,umtrisensoris heInteraktionenzuermitteln.Allerdingswird

Glei hung 1.4 au h dann verletzt, wenn auditiv-visuelle bisensoris he Interaktionen

zu Redundanzgewinnen f¨uhren, denn diese erh¨ohen wiederum nur den linken Term.

Diederi hundColonius(2004,in press)s hlagendahervor, dieModalit¨atenin

Glei- hung1.4 zurotieren, umdenTest konservativerzu ma hen(re htssindjeweils

die-jenigenInteraktionenangegeben, diebeieinerVerletzungderra emodel-Vorhersage

f¨urdieKoaktivierunginFragekommen):

p(RT TAV <t 0 )+p(RT T <t 0 )p(RT TA <t 0 )+p(RT TV <t 0 ) AV; AVT p(RT TAV <t 0 )+p(RT A <t 0 )p(RT AV <t 0 )+p(RT TA <t 0 ) VT; AVT p(RT TAV <t 0 )+p(RT V <t 0 )p(RT TV <t 0 )+p(RT AV <t 0 ) AT; AVT

Nur wenn alle drei Tests Koaktivierung anzeigen, kann man auf trisensoris he

Interaktionens hließen(Diederi h &Colonius, 2004, in press). DieFrage na hdem

spezis henBeitrag vonAVT wird hierdur hallerdings ni ht befriedigend

be-antwortet. Es kann n¨amli h ni ht ausges hlossen werden, dass bei der Verarbeitung

einestrimodalenReizesglei hzeitigRedundanzgewinnedur halledreim¨ogli hen

bi-sensoris henInteraktionenanfallen:IndervorliegendenTeilstudiewurdenz.B.stabile

KoaktivierungseffektebeiReaktionenaufauditiv-visuelle,auditiv-taktileund

visuell-taktile Stimuli beoba htet (vgl. Abb. 1.3b–d). Entspre hend ware¨ denkbar, dass alle

dreigenanntenVerglei heKoaktivierunganzeigen,au hwennes keinenspezis hen

Redundanzgewinndur hdietrisensoris heInteraktiongibt.Zudemverliertmandur h

diesesVorgehenanTestst¨arke,weildreistatistis heTestsmit

”

und“verkn¨upftwerden.

Die vorliegende Teilstudie s hl¨agt daher einen neuen Testfur¨ trisensoris he

In-teraktionenvor: Hierf¨ur wird Glei hung 1.4 in einem letzten S hritt auf beiden

Sei-ten um p(RT A <t 0 )+p(RT V <t 0

) erweitert und s hließli h auf der re hten Seite

p(RT A <t 0 )+p(RT V <t 0 )dur h p(RT AV <t 0 )ersetzt(Gl.1.5):

p(RT TAV <t 0 )+p(RT T <t 0 )+p(RT A <t 0 )+p(RT V <t 0 )::: p(RT TA <t 0 )+p(RT TV <t 0 )+p(RT A <t 0 )+p(RT V <t 0 ) | {z } p(RT TAV <t 0 )+p(RT T <t 0 )+p(RT A <t 0 )+p(RT V <t 0 )::: p(RT TA <t 0 )+p(RT TV <t 0 )+p(RT AV <t 0 ) (1.5)

Hierdur h wird der Verglei h robust gegen¨uber Redundanzgewinnen dur h

au-ditiv-visuelleKoaktivierung. Wenn Glei hung 1.5 verletzt wird, kann man daherauf

einenRedundanzgewinndur hspezis htrisensoris heKoaktivierungs hließen.Der

NutzendesneuenVerglei hssollnunanhandeinerSimulationundanhandempiris her

Reaktionszeitdaten illustriert werden. In der Simulation wurden Reaktionszeiten auf

trimodale Reizegeneriert, wobei multisensoris he We hselwirkungen entweder

zwi-s henzwei (AV, AT, VT)oder dreiModalitaten¨ (AVT) angenommen

wur-den.Diedur hdieSimulationgeneriertenReaktionszeitverteilungenwurdendann

ge-m¨aßGlei hungen1.2–1.5ausgewertet.DieReaktionszeitdatenstammenausder

EEG-Untersu hunginKapitel3,inderVersu hspersonenaufZielreizeineinerSequenzvon

uni-,bi-,undtrimodalenReizen(auditiv,visuell,taktil)reagierensollten.

1.2 Methode

Simulation

Die Reaktionszeitenauf unimodale Reize (T, A, V) wurden, ahnli h¨ wie von

Mord-koff(1992)bes hrieben,generiert:Mordkoffsimuliertefruhe¨ Wahrnehmungsprozesse

mitnormalverteiltenZufallszahlen,sp¨atereEnts heidungsprozessemiteinem

Poisson-prozess (S hwarz, 1989) und die Dauer der motoris hen Ausf¨uhrung wiederum mit

einernormalverteiltenZufallszahl. F¨urWahrnehmungsprozessewurdenin der

angenommen,jeweilsmiteinerStandardabwei hungvon50ms.DieAktivierungeiner

ReaktionwurdedannmiteinemPoissonprozess(l=10ms)simuliert,dereine

Reak-tionausloste,¨ wenn30Impulseeingegangenwaren.BeidenbimodalenReizenwurde

angenommen, dass beide Sinneskan¨ale zum Aufbau der Aktivierung beitragen, also

beideZ¨ahlprozessegemeinsamarbeiten(S hwarz, 1989; Townsend&Ashby, 1983).

DieModellierung motoris her Prozessewurde ausgeklammert, da sie keine

Auswir-kungenaufdenra emodel-Testhat, sondernledigli hderAnpassunganbeoba htete

empiris heReaktionszeitverteilungendient(vgl. Diederi h&Colonius, 1991;

Mord-koff,1992).

Beiden trimodalen Reizenwurden zwei Reaktionszeitverteilungen generiert:In

der einen Verteilung wurde trisensoris heKoaktivierung angenommen, es arbeiteten

alsoalledreiZahlprozesse¨ amAufbauderAktivierung.InderanderenVerteilung

wur-denur bisensoris he Koaktivierungangenommen: Hier wurden zun¨a hstdie

Reakti-onszeiten fur¨ TA, TV und AV bestimmt und dann die s hnellste der drei auf diese

WeiseermitteltenReaktionenverwendet.

Sti hprobe

19 Versu hspersonen (Studenten des Fa hberei hs Psy hologie, Philipps-Universit¨at

Marburg, 12 weibli h, 7 m¨annli h, 20–32 Jahre) nahmen freiwillig an der

Untersu- hungteil.Allekonntennormal h¨orenundihre Sehf¨ahigkeit warni htbeeintr¨a htigt

bzw.dur heineBrillekorrigiert.

Stimuli und Aufgabe

Es wurden uni-, bi- und trimodale auditive, visuelle und taktile Stimuli dargeboten

(

”

Standardreize“, jeweils 405 Darbietungen). Die auditiven Reize (A) waren kurzes

weißesRaus hen(20ms,60dBA),dervisuelleReiz(V)wareinAufblinken(20ms)

vonzweiuber¨ denLautspre hernmontiertenLeu htdioden(60m d),alstaktilerReiz

verwen-det,derfur¨ 20msaufdenre htenZeigengergedr¨u ktwurde.DamitdieV

ersu hsper-sonendasGer¨aus hdestaktilenStimulatorsni hthorten,¨ wurdeihneneinKopfh¨orer

aufgesetzt,uber¨ denleisesRaus henkonstantdargebotenwurde.DieLautst¨arkewurde

jeweilsindividuellsoniedrigeingestellt,dassdieVersu hspersonenden

Taktilstimula-torgeradeni htmehrhoren¨ konnten.

BimodaleReizewarenallemogli hen¨ KombinationenderunimodalenReize(AV,

TA,TV),dertrimodaleReizwarentspre hendeinauditiv-visuell-taktilerReiz(TAV).

DasIntervallzwis henzweiStimuli(ISI)betrug1300–1700ms.Zus¨atzli hwurde405

mal na h dem ubli hen¨ ISI kein Reiz dargeboten (O). In 10% der F¨alle wurden die

Reizedoppeltdargeboten(AA,VV,TT,AAVV,TTAA,TTVV,TTAAVV,

”

Zielreize“,

jeweils45Darbietungen),hieraufsolltendieVersu hspersonenperFußs halter

reagie-ren, sos hnellwie m¨ogli h,aber trotzdemkorrekt. DasExperimentdauerte a. zwei

Stunden, aufgeteiltin15 Bl¨o ke zujeweils5Minuten.Na h jedemBlo kerhieltdie

Versu hspersonR¨u kmeldunguber¨ AuslassungenundFehlreaktionen.

Datenauswertung

DiekumuliertenH¨augkeitsverteilungenderReaktionszeitenaufalle Stimuliwurden

wiebeiCorballis(2002)bestimmt:Zun¨a hstwurdenfur¨ jedeVersu hspersonausallen

Reaktionszeiten18binsglei herAnzahlerstellt.IneinemzweitenS hrittwurdendie

Reaktionszeitenzudenvers hiedenenStimuliindiebinssortiertunddieAnzahldur h

die Gesamtzahl der jeweils gultigen¨ Reaktionen geteilt, um relative H¨augkeiten zu

erhalten. S hließli hwurdefur¨ jeden binein Vorzei hentestgere hnet, um zutesten,

obbin

AV

großer¨ istals bin

A +bin

V

. Glei hung1.1 wurdefur¨ dieReaktionszeitenauf

bimodaleReizeverwendet,Glei hungen1.2–1.5f¨urdieReaktionszeitenauftrimodale

1.3 Erg ebnisse

Simulation

Abbildung1.1azeigtdiekumuliertenH¨augkeitsverteilungen(CDFs)zuallenuni-,

bi-undtrimodalenReizenderSimulation.DiesimuliertenReaktionenwarenam

s hnells-tenf¨urtrimodaleReize,gefolgtvondenReaktionenaufbimodaleReizeundden

Re-aktionen auf unimodale Reize. Abbildungen 1.1b–d zeigen die ra e model-Tests fur¨

die bimodalen Reize: In allen bimodalen Bedingungen war der Anteil der s hnellen

Reaktionenhoher¨ als vom ra e model vorhergesagt. Abbildungen 1.2a–d zeigen die

trimodalenra emodel-Testsf¨urGlei hungen1.2–1.5.InAbbildung1.2aisteinhoher

Koaktivierungseffekterkennbar, sowohlbeiderReaktionszeitverteilungauftrimodale

Reize,dieunterAnnahmevontrisensoris henInteraktionengeneriertwurde,alsau h

beiderjenigen,beidernurbisensoris heInteraktionenangenommenwurden.

Werdendiebisensoris henInteraktionens hrittweiseimra emodel-Testberu k-¨

si htigt(vgl.Gl.1.3–1.5),verringertsi hderKoaktivierungseffekt(Abb.1.2b–d).Nur

mitHilfe des Tests vonGlei hung 1.5 (Abb. 1.2d) lassensi h die beidentrimodalen

Reaktionszeitverteilungenunters heiden:Wirdtrisensoris heKoaktivierung

angenom-men(F ),zeigtderTestinAbbildung1.2deineVerletzungdesra emodelan,wirdnur

bisensoris he Koaktivierung angenommen ( ), wird die Vorhersage des ra e model

eingehalten.

Reaktionsz eiten

Die mittleren Reaktionszeiten zu den Zielreizen in der EEG-Untersu hung in

Kapi-tel3sindinTabelle1.1 wiedergegeben.Abbildung1.3azeigtdiekumulierten

Reakti-onszeitverteilungenzudenuni-, bi-undtrimodalenReizen.Reaktionenaufbimodale

Reize waren deutli h s hneller als auf unimodale Reize (t

18

=12:3, p<:01).

Glei- hung1.1zeigteinallenbimodalenBedingungenKoaktivierungan(vgl.Abb.1.3b–d).

bimo-a

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

All Stimuli

RT [ms]

CDF

T

A

V

TA

TV

AV

TAV3

TAV2

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

TA vs. T + A

RT [ms]

CDF

T

A

T+A

TA

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

TV vs. T + V

RT [ms]

CDF

T

V

T+V

TV

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

AV vs. A + V

RT [ms]

CDF

A

V

A+V

AV

Abbildung1.1:(a) Kumulierte H¨augkeitsverteilung der simulierten Reaktionszeiten

f¨urdievers hiedenenStimuli,#:unimodaleReize, 2:bimodale

Rei-ze,F :trimodaleReizemittrisensoris herKoaktivierung, :trimodale

Reizemitledigli hbisensoris herKoaktivierung.(b–d)Inallen

a

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

TAV vs. T + A + V

RT [ms]

CDF

T

A

V

T+A+V

TAV3

TAV2

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

TAV vs. TA + V

RT [ms]

CDF

TA

V

TA+V

TAV3

TAV2

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

TAV vs. TA + TV – T

RT [ms]

CDF

TA

TV

T

TA+TV–T

TAV3

TAV2

300

350

400

450

500

0

0.2

0.4

0.6

0.8

1

TAV vs. TA + TV + AV – T – A – V

RT [ms]

CDF

TA

TV

AV

T

A

V

TA+TV+AV–T–A–V

TAV3

TAV2

Abbildung1.2:Trisensoris hera e model-Tests na h Glei hungen1.2–1.5 mit

simu-liertenDaten.Wirdtrisensoris heKoaktivierungangenommen(F),

zei-genalleTestsKoaktivierungan(a–d).Wirdnurbisensoris he

Koakti-vierungangenommen( ),zeigendieTestsna hGlei hungen1.2–1.4

a

0

5

10

15

0

0.2

0.4

0.6

0.8

1

RT [bins]

CDF %

Reaction Time CDFs

T

A

V

TA

TV

AV

TAV

0

5

10

15

0

0.2

0.4

0.6

0.8

1

p < .05

p < .01

RT [bins]

CDF %

AV vs. A + V

A

V

A+V

AV

0

5

10

15

0

0.2

0.4

0.6

0.8

1

p < .05

p < .01

RT [bins]

CDF %

TA vs. T + A

T

A

T+A

TA

0

5

10

15

0

0.2

0.4

0.6

0.8

1

p < .05

p < .01

RT [bins]

CDF %

TV vs. T + V

T

V

T+V

TV

Abbildung1.3:(a) Kumulierte H¨augkeiten der Reaktionszeitenf¨ur uni-, bi- und

tri-modaleReizeaus derEEG-Untersu hungin Kapitel3. (b–d)Beiden

ReaktionszeitenaufbimodaleReizewurdeKoaktivierungbeoba htet.

a

0

5

10

15

0

0.2

0.4

0.6

0.8

1

p < .05

p < .01

RT [bins]

CDF %

TAV vs. T + A + V

T

A

V

T+A+V

TAV

0

5

10

15

0

0.2

0.4

0.6

0.8

1

p < .05

p < .01

RT [bins]

CDF %

TAV vs. TA + V

TA

V

TA+V

TAV

0

5

10

15

0

0.2

0.4

0.6

0.8

1

p < .05

p < .01

RT [bins]

CDF %

TAV vs. TA + TV – T

TA

TV

T

TA+TV–T

TAV

0

5

10

15

0

0.2

0.4

0.6

0.8

1

RT [bins]

CDF %

TAV vs. TA + TV + AV – T – A – V

TA

TV

AV

T

A

V

TA+TV+AV–T–A–V

TAV

Abbildung1.4:Trisensoris hera emodel-Testsna hGlei hungen1.2–1.5.Der

Koak-tivierungseffekt nimmt ab, je mehr bimodale Interaktioneneliminiert

werden(a–d).Glei hung1.5(d)zeigtkeinenKoaktiverungseffektmehr

an, es gibtdemna h keinen Hinweis aufspezis h trisensoris he

Re-dundanzgewinneindenReaktionszeitenderEEG-Untersu hungin

Ka-pitel3.Derra emodel-Testin(d)wurde¨ abbin13imPrinzipwieder

Koaktivierunganzeigen.Diesliegtdaran,dassderAusdru kdes

re h-ten Terms in Glei hung 1.5 bei Null endet. Der ra e model-Test ist

dahernur in den unteren Perzentilen sinnvoll,die

Tabelle1.1:MittlereReaktionszeiten(RT)inmsfur¨ dieeinzelnenZielreize Stimulus RT SE T 544 24 A 511 21 V 530 21 TA 482 19 TV 483 18 AV 461 19 TAV 449 21 Anmerkung. SE:Standardfehler daleReize(t 18

=7:9, p<:01).Diera emodel-Testsna hGlei hungen1.2–1.4

zeig-tenKoaktivierungan(Abb.1.4a– ).DerindervorliegendenTeilstudievorges hlagene

Test(Gl. 1.5)lieferte allerdingskeinenHinweisaufspezis htrisensoris he

Interak-tionen(Abb.1.4d).

1.4 Diskussion

IndervorliegendenTeilstudiewurdeeinneuerra emodel-Testf¨urtrisensoris he

Inter-aktionenvorgestellt(Gl.1.5).DieserTestwirdben¨otigt,wennspezis htrisensoris he

RedundanzgewinnebeiReaktionenauftrimodaleReizena hgewiesenwerdensollen,

weilbeiReaktionenauftrimodaleReizeau hbisensoris heRedundanzgewinne

wirk-samwerdenk¨onnen. Diesek¨onnenmitGlei hung1.4 (Diederi h,1992;Diederi h&

Colonius,2004, inpress)ni hteindeutigisoliertwerden. Abbildungen1.1 und1.2

il-lustriertendiesanhandvonsimuliertenDaten.

EEG-Untersu hungin Kapitel 3 auf spezis h trisensoris heInteraktionen zu uberpr¨¨ ufen.

Eszeigtesi h,dassdieRedundanzgewinnebeidenReaktionenauftrimodale

Zielrei-zevollst¨andigaufbisensoris heKoaktivierungseffektezuru kgef¨¨ uhrtwerdenkonnen:¨

Diera e model-Tests na hGlei hungen 1.2–1.4 zeigtenentspre hendKoaktivierung

an,ni htaberderTestna hGlei hung1.5.Trisensoris heInteraktionenk¨onnenzwar

mitdiesemErgebnisni htausges hlossenwerden, da derra emodel-Teststreng

ge-nommen nur zum Na hweis von Koaktivierung verwendet werden kann; der

Um-kehrs hluss ist ni ht ohne weiteres mogli h.¨ Trisensoris he Interaktionen s heinen

aber, wenn es sie uberhaupt¨ gab, keinen nennenswerten zus¨atzli hen

Redundanzge-winnmehrverursa htzuhaben.

Die eingangs formulierte Frage, ob die Informationen aus den Sinnessystemen

jeweilspaarweiseintegriertwerden(a)odergemeinsamaneinerzentralenStation

zu-sammenlaufen(b),kanndaherunterVorbehaltzugunstenvon(a)ents hiedenwerden.

Demwurde¨ au hentspre hen,dassbisensoris heZellenzumindestaufderEbenedes

Colli ulussuperioruberwiegen,¨ trisensoris heZellenwurdennuringeringerZahl

be-oba htet ( a. 6%, vgl. Walla e, Meredith & Stein, 1992). Spezis h trisensoris he

2.1 Hintergrund

Wiebereitserl¨autert,beoba htetmandeutli hs hnellereReaktionenaufbimodaleals

aufunimodaleReize,wennVersu hspersonenaufauditive,visuelleundbimodale

Rei-zeinderglei henArtundWeisereagierensollen(z.B.perTastendru k).Hierbeiuber-¨

steigt der Reaktionszeitgewinnin der Regel die Vorhersagedes ra e model, so dass

ein oa tivationmodelangenommenwird(Miller,1982), wona hdieReizean

(min-destens)einerStationderkognitivenVerarbeitungintegriertwerden.DieseStation(en)

protierenvonderredundantenbimodalenStimulation,wass hließli hzus hnelleren

Reaktionen f¨uhrt. Zur Unters heidung der beiden Modelle s hlug Miller (1982) den

ra emodel-Testvor(vgl.S.7):

p(RT AV <t 0 )p(RT A <t 0 )+p(RT V <t 0 ) (2.1)

Der ra emodel-Test setzt allerdingsvoraus, dass die einzelnen Reaktionszeiten

aufdievers hiedenenStimulijeweilsvoneinanderunabh¨angigsind.DieseV

orausset-zungwirdbeiSequenzenvonStimuliunters hiedli herModalit¨atjedo hinderRegel

verletzt(Spen e, Ni holls&Driver,2001).Ineinerzuf¨alligenSequenzvonauditiven

und visuellen Reizen sind z.B. Reaktionen auf auditive Stimuli s hneller, wenn der

Vorg¨angerreizebenfallseinauditiverStimuluswar(A—A). HatdieModalitat¨

hinge-gengewe hseltundfolgtderauditiveReizz.B.aufeinenLi htreiz(V—A), soistdie

ReaktionaufdenauditivenReizum a. 30ms langsamer.Spen e etal. beoba hteten

visuel-lenundtaktilenReizen. BeimWe hselvoneinemtaktilenReizzueineranderen

Mo-dalit¨atwardieserEffektbesondersstarkausgepr¨agt( a.60ms).DerMSEwirdv.a.bei

Einfa hreaktionenundbeiWahlreaktionenbeoba htet(R.Cohen&Rist,1992),wenn

aufden Vorg¨angerreizreagiert werdensollte.Sollte auf denVorg¨angerreiz ni ht

rea-giertwerden(z.B.beieinemtargetdete tiontaskmitwenigenZielreizen),wurdenur

eingeringerbzw.garkeinMSEbeoba htet(Rist&Cohen,1987).Weitere

Sequenzef-fektesindz.B.beiStimulussequenzenzuerwarten,beidenenStimulian

unters hied-li henOrtendargebotenwerden(inhibitionofreturn,Quinlan&Hill,1999;Tassinari,

Campara,Benedetti&Berlu hi,2002).

Von Modalit¨atswe hselkosten sind im Redundanzexperiment in erster Linie die

unimodalenReizebetroffen,dabeibimodalenReizenimmerzumindesteinederbeiden

ReizkomponentendemVorg¨angerreizentspri ht.WennaberModalit¨atswe hselkosten

auss hließli hbeiReaktionenaufunimodaleauditiveundvisuelleReizewirksam

wer-den,ReaktionenaufredundanteReizehingegenunbeeintr¨a htigtbleiben,k¨onnteselbst

beiG¨ultigkeiteinesperfektenra emodeleinartiziellerKoaktivierungseffekt

zustan-dekommen:Werdenz.B.auditive,visuelleundbimodaleReizezujeweils1/3in

ran-domisierterReihenfolgedargeboten,sofolgenetwa1/3derauditivenReizeihrerseits

einemauditivenReiz (A—A), 1/3 folgen einem visuellenReiz (V—A), und 1/3

fol-geneinem bimodalenReiz(AV—A). Nur einDrittel derReize (A—A)ist daherfrei

vonModalit¨atswe hselkosten,dieReaktionenaufV—Aundeventuellau haufAV—A

sindverlangsamt.Dasselbe giltfur¨ dievisuellen Reize.Entspre hendsinken die

An-teileders hnellenReaktionenaufunimodaleReize p(RT

A <t 0 )und p(RT V <t 0 )auf

derre htenSeitevonGlei hung2.1auf1/3desurspr¨ungli henWertes.

DabeidenbimodalenReizenimmermindestenseinTeilstimulusdemVorg¨

anger-reizentsri ht(A—AV,V—AV,AV—AV),solltensiewenigervonModalit¨atswe hseln

betroffensein. Dielinke Seitevon Glei hung2.1, p(RT

AV <t

0

),bleibtdaher

weitge-hendunver¨andert. Wendet man denra e model-Test auf Reaktionszeitenan, dievon

Modalit¨atswe hselkostenbetroffensind,istdahereineVerletzungderVorhersagedes

Koakti-vierungangenommenwerdenmuss.

Dieser Effekt wird in der Simulation in Abbildung 2.1 no hmals illustriert.Fur¨

die Simulation wurden Reaktionszeiten auf unimodale auditive und visuelle Stimuli

jeweilsperZufallbestimmt.Entspra hdieebenfallszuf¨alligbestimmteModalitat¨ dem

Vorg¨angerreiz, wurde diejeweilige Reaktionszeitverwendet, we hseltehingegendie

Modalit¨at,wurden We hselkosten(50 ms)addiert. Hierbeiz¨ahlteau h der ¨

Ubergang

von einem bimodalen Reiz auf einen unimodalen Reiz (AV—A, AV—V) als

Moda-lit¨atswe hsel.F¨urunimodaleStimuliwardieReaktionszeithiermitfestgelegt.Fur¨

bi-modale Stimuliwurden die auditiven und visuellenReaktionszeiten wie bes hrieben

bere hnetundgem¨aß demra emodel derkleinereder beidenWerte verwendet.Wie

maninAbbildung 2.1berkennenkann, zeigt der

”

klassis he“ ra emodel-Test

Koak-tivierungan, obwohl die Reaktionszeiten unter Annahmeeines ra e model generiert

wurden.

DiesesProblemkannaufzweiArtenumgangenwerden:Entwederverwendetman

nur Stimuli,die ni htvon Modalit¨atswe hseln betroffen sind, also z.B. nur auditive

Reize, die einem anderen auditiven Reiz folgen (A—A), nur visuelle Reize, die

ei-nem anderen visuellen Reiz folgen (V—V), und nur bimodale Reize, die ihrerseits

einembimodalenReizfolgen(AV—AV).WieinAbbildung2.1 ersi htli h,liefertder

ra e model-Test mit den Stimuli ohne Modalit¨atswe hsel wieder korrekte

Ergebnis-se. Die andere M¨ogli hkeit besteht darin, Untergruppen von Stimuli mit demselben

Vorg¨angerreiz auszuw¨ahlen, also z.B. nur Reize zu verwenden, die einen auditiven

Reiz zumVorg¨angerhaben (A—A, A—V, A—AV). Au h diese Varianteliefert

kor-rekteSimulationsergebnisse(Abb.2.1d).DiezweiteVarianteistallerdingsfur¨ die

Ent-de kung von Koaktivierung eher ungunstig:¨ Nimmt man vereinfa hend an, dass die

Signaledes auditivenund des visuellenReizes im Idealfall glei hzeitig an der

Stati-on der kognitiven Verarbeitung ankommen m¨ussen, um maximale Koaktivierung zu

erzeugen,dannsolltendieReaktionszeitenf¨urdiebeteiligtenStimuliungef¨ahrglei h

sein(vgl.Diederi h&Colonius,inpress;Hershenson,1962;Miller,1986).Nunsind

die-a

100

0

200

300

400

500

500

1000

1500

2000

2500

3000

3500

RT [ms]

CDF abs

All Stimuli (no MSE)

A

V

A+V

bimod

100

0

200

300

400

500

500

1000

1500

2000

2500

3000

3500

RT [ms]

CDF abs

All Stimuli (MSE = 50 ms)

A

V

A+V

bimod

100

0

200

300

400

500

500

1000

1500

RT [ms]

CDF abs

No Shift (MSE=50)

Mean RT:

A—A: 293 ms

V—V: 315ms

AV—AV: 281ms

A—A

V—V

A—A+V—V

AV—AV

100

0

200

300

400

500

500

1000

1500

RT [ms]

CDF abs

After A (MSE=50)

Mean RT:

A—A: 293 ms

A—V: 364ms

A—AV: 287ms

A—A

A—V

A—A+A—V

A—AV

Abbildung2.1:Simulierte Daten, in denen Reaktionszeiten auf unimodale Reize per

Zufall bestimmt wurden. In (a) wurden keine Modalit¨

atswe hselkos-ten angenommen, in (b–d) wurde angenommen, dass ein Modalitats-¨

we hselkonstant50mskostet.DieReaktionszeitenaufdiebimodalen

Reizewurdejeweilsperra emodelbestimmt.Eszeigtsi h,dass

Mo-dalit¨atswe hselkostenalleineeineVerletzungdes ra emodel

verursa- henkonnen¨ (Pfeil).In( )wurdennurReaktionszeitenaufwiederholte

Stimuliverwendet(A—A,V—V,AV—AV).In(d)wurdennurStimuli

verwendet, die einen auditiven Reiz als Vorg¨angerreiz hatten (A—A,

A—V,A—AV).In( )und(d)wirddieVorhersagedesra emodel