Evaluierung des Milch-ELISA mittels ROC-Analyse

Aus 13 Betrieben wurden von 601 Milchkühen Blut- und Milchproben parallel im ELISA untersucht. In der Abbildung 3 sind die Proben nach den Ergebnissen des Blut-ELISA sortiert.

Abbildung 3: Vergleich der Ergebnisse von Blut- und Milch-ELISA

Die Tiere wurden nach den Ergebnissen des Blut-ELISA, die sich als Kurve darstellen, aufsteigend sortiert. Die jeweiligen Milchbefunde sind als Punkte dargestellt. Das Ergebnis des Blutserum-ELISA wird wie folgt bewertet:

≤ 20 EU = negativ, 21-40 EU = zweifelhaft, ≥ 40 EU = positiv.

Der Vergleich der Ergebnisse zeigte eine gute Übereinstimmung. Im Folgenden wurde der Blut-ELISA als „Goldstandard“ angesehen.

Die ROC-Kurve (relative operating characteristic) stellt die Diagnostik-Sensitivität (D-SN (OFFICE INTERNATIONAL DES EPIZOOTIES 1996)) auf der y-Achse und die Diagnostik-Spezifität (D-SP (OFFICE INTERNATIONAL DES EPIZOOTIES 1996)) auf der x-Achse bei unterschiedlichen Schwellenwerten („Cut off“) gegenüber. Anhand der ROC-Kurve kann die Fähigkeit des ELISA bestimmt werden, bei verschiedenen „Cut off“ –Werten zwischen Gesunden und Kranken zu unterscheiden. Weiterhin kann der für den Test günstig-ste „Cut off“ ermittelt werden.

Abbildung 4: ROC-Kurven für den Milch-ELISA bei Annahme der zweifelhaften Seren im-Blut-ELISA = positiv bzw. = negativ.

Für jeden „Cut-off“-Wert ist auf der x-Achse D-SN und auf der y-Achse D-SP ablesbar. Die y = x Achse wurde zur Veranschaulichung für die Auswertung mit abgebildet.

Tabelle 4: Daten für die ROC-Kurven (Annahme: zweifelhafte Ergebnisse = negativ) Milch-ELISA Blut- und Milch-ELISA Ergebnisse

Cut-off positiv negativ

Tabelle 5: Daten für die ROC-Kurven (Annahme: zweifelhafte Ergebnisse = positiv) Milch-ELISA Blut- und Milch-ELISA Ergebnisse

Cut-off positiv negativ Blut+/

10 236 365 125 111 28 337 24,78 75,22 81,70

20 145 456 98 47 55 401 10,49 89,51 64,05

Abbildung 5: Graphische Darstellung der Summe falscher Ergebnisse (Annahme: zweifel-hafte Blut-ELISA-Ergebnisse = negativ) des Milch-ELISA und dem jeweiligen Abstand zur y = x Achse bei verschieden „Cut off“-Werten

Abbildung 6: Graphische Darstellung der Summe falscher Ergebnisse (Annahme: zweifel-hafte Blut-ELISA-Ergebnisse = positiv) des Milch-ELISA und dem jeweiligen Abstand zur y = x Achse bei verschieden „Cut off“-Werten

Die Fähigkeit eines diagnostischen Tests, ein Tier als krank oder gesund zu klassifizie-ren wird über die Diagnostik-Sensitivität (D-SN) und Diagnostik-Spezifität (D-SP) abge-schätzt. Unter Diagnostik-Sensitivität versteht man die Wahrscheinlichkeit, mit der ein Kran-ker als krank erkannt wird und unter Diagnostik-Spezifität die Wahrscheinlichkeit, mit der ein Gesunder als gesund erkannt wird. Da die beiden Gruppen sich überschneiden, ändern sich D-SN und D-SP, wenn der „Cut off“ sich ändert.

Die ROC-Kurve vergleicht richtig positive (D-SN) auf der y-Achse mit falsch positiven (100 - D-SP) auf der x-Achse. Ein Test, der perfekt zwischen kranken und gesunden Tieren unterscheiden kann, würde sich in einer ROC-Kurve darstellen, die auf der y-Achse bis zur Koordinate 0/100 verläuft und dann horizontal nach rechts (100/100) verläuft. Ein Test, der die gleiche Anzahl falsch positiver und falsch negativer ermittelt, würde sich dahingegen in einer ROC-Kurve als Gerade (y = x) darstellen. In der Abbildung 4 nähert sich die Kurve, bei der die zweifelhaften Blut-ELISA Ergebnisse gleich negativ gesetzt wurden, stärker der

opti-malen ROC-Kurve, als die Kurve, bei der die zweifelhaften Blut-ELISA Ergebnisse gleich positiv gesetzt wurden, und damit dem Koordinatenpunkt 0/100, der die höchste SN und D-SP widerspiegelt.

4.1.5.1 Bestimmung des „Cut off“

An einer ROC-Kurve kann der optimale „Cut off“-Wert nicht unmittelbar abgelesen werden, da bei der Bestimmung des optimalen „Cut off“-Wertes noch andere Faktoren mit einbezogen werden sollten.

Es ist aber möglich, den „Cut off“-Wert mit der höchsten D-SN und D-SP anhand der Kurve zu bestimmen. Dieser Wert hat den kürzesten Abstand (3.2.15.2) zum Koordinatenpunkt 0/100 oder den größten Abstand zur y = x-Achse. Ein weiterer Hinweis für einen geeigneten

„Cut off“-Wert gibt die Summe der falschen Ergebnisse, also der falsch negativen und der falsch positven. Bei dem ausgewählten „Cut off“-Wert sollte diese Summe möglichst gering sein.

Die Abbildung 5 und Abbildung 6 stellen die Summe der falschen Ergebnisse und den Ab-stand zur y = x-Achse für beide Kurven gegenüber.

Die Kurve, bei der die zweifelhaften Blut-ELISA Ergebnisse gleich negativ gesetzt wurden, zeigte den größten Abstand zur y = x-Achse bei den „Cut off“-Werten 50 und 60. Bei diesen

„Cut off“-Werten wies auch die Summe der falschen Ergebnisse den geringsten Wert mit 59 auf. Bei dem „Cut off“-Wert 40 betrug die Summe der falschen Ergebnisse 61. Bei dem Ver-gleich von D-SN und D-SP für die „Cut off“-Werte 40, 50 und 60 in Tabelle 4 zeigte sich, daß bei einem „Cut off“-Wert von 60 die D-SN nur 46,34 % und die D-SP 97,11 % betrug, während bis zum „Cut off“-Wert 40 die D-SN stark auf 67,07 % anstieg und die D-SP im Verhältnis dazu nur gering abfiel (93,45 %). Bei einem „Cut off“-Wert von 50 betrug die D-SN 54,88 % und die D-SP 95,76 %.

Die Kurve, bei der die zweifelhaften Blut-ELISA Ergebnisse gleich positiv gesetzt wurden, zeigte den größten Abstand zur y = x-Achse bei „Cut off“-Wert 40. Bei „Cut off“-Wert 40 wies auch die Summe der falschen Ergebnisse den geringsten Wert mit 100 auf. Die D-SN für den „Cut off“-Wert 40 beträgt 95,98 % und D-SP 46,41 %.

Bei der Auswahl des „Cut off“-Wertes wurde die Kurve, bei der die zweifelhaften Blut-ELISA Ergebnisse gleich negativ gesetzt wurden, stärker berücksichtigt, da sie den besseren

Kurvenverlauf zeigte. Demnach sollte der ausgewählte „Cut off“ zwischen den „Cut off“-Werten 40 und 50 liegen.

Mit der Methode zur „Cut off“-Wert-Berechnung nach (TIJSSEN 1985) ließen sich diese Er-gebnisse bestätigen. Bei dieser Berechnung wird für die positiven und negativen ErEr-gebnisse eine Normalverteilung angenommen. Der „Cut off“-Wert berechnet sich aus dem für eine negative Population erhaltenen arithmetischen Mittelwert zu dem eine einfache, zweifache oder dreifache Standardabweichung addiert wird.

Aus den berechneten ELISA-Aktivitäten der negativen Population (448 Tiere) wurden der arithmetische Mittelwert (MW = 8,4) sowie die Standardabweichung (SD = 12,4) errechnet.

Der Schwellenwert für ein negatives Ergebnis (EU 21) errechnet sich aus der Summe des arithmetischen Mittelwertes (MW = 8,4) zuzüglich der einfachen Standardabweichung (SD = 12,4). Der „Cut off“-Wert für ein positives Ergebnis (EU 46) errechnet sich aus dem arithme-tischen Mittelwert (MW = 8,4) plus der dreifachen Standardabweichung (3*SD = 37,2). Die erhaltenen Werte wurden jeweils aufgerundet. Die ELISA-Aktivitäten, die zwischen diesen beiden „Cut off“-Werten liegen, wurden als zweifelhaft beurteilt.

Tabelle 6: „Cut off“-Werte des Milch-ELISA (TIJSSEN 1985)

ELISA-Aktivitäten

≤ 21 = negativ 22-45 = zweifelhaft

≥ 46 = positiv

Auf der Grundlage dieser „Cut-off“-Werte wurden Proben mit 1-21 ELISA-Units als negativ, mit 22-45 ELISA-Units als zweifelhaft und ab 46 ELISA-Units als positiv bewertet.

Tabelle 7: Vierfeldertafel zum Vergleich des Milch-ELISA mit dem Blut-ELISA auf der Grundlage der berechneten „Cut-off“-Werte

Milch-ELISA

Blut-ELISA negativ positiv Summe

negativ 405 14 419

positiv 14 53 67

Summe 419 67 486

Aus der Tabelle 7 ergibt sich für den Milch-ELISA bezogen auf den Blut-ELISA eine Spezi-fität von 96,6 % und eine Sensitivität von 79,1 %. Die zweifelhaften Ergebnisse wurden in die Berechnung nicht mit einbezogen. Desweiteren ergibt sich bei einer Prävalenz von 13,7 % ein positiver prädiktiver Wert von 96,6 % und ein negativer prädiktiver Wert von 79,1 %.