PRÜFSTELLEN MIBD: STARTROUTINEN 2003 – BACTOSCAN 8000 KEIMZÄHL GERÄTE DER QK – – –

(1)

ALP science 2004, Nr. 478

Technisch-wissenschaftliche Informationen

BACTOSCAN–8000–KEIMZÄHL–GERÄTE

DER QK–PRÜFSTELLEN MIBD: STARTROUTINEN 2003

(2)

ALP science (vormals FAM Info)

Titelbild BactoScan 8000

QK-Prüfstelle mlz Zollikofen Erstveröffentlichung

Autor

Georges Bühlmann und Sara Tahadjodi

Herausgeber

Agroscope Liebefeld-Posieux Eidg. Forschungsanstalt

für Nutztiere und Milchwirtschaft (ALP) Schwarzenburgstrasse 161

CH-3003 Bern

Telefon +41 (0)31 323 84 18 Fax +41 (0)31 323 84 18 http: www.alp.admin.ch e-mail: science@alp.admin.ch

Kontakt Rückfragen Georges Bühlmann

e-mail georges.buehlmann@alp.admin.ch Telefon +41 (0)31 323 82 04

Fax +41 (0)31 322 86 16

Gestaltung

Helena Hemmi (Konzept), Müge Yildirim (Layout)

Erscheinung

Mehrmals jährlich in unregelmässiger Folge ISBN 3-905667-19-3

(3)

0 Inhalt Seite 3

0.1 - Key words 3

0.2 - Verzeichnis der Tabellen 4

0.3 - Verzeichnis der Abbildungen 4

1.1 - Kurzfassung 5

1.2 - Résumé 5

1.3 - Summary 6

1.4 - Abkürzungen 7

2. Einführung 8

2.1 - Vorgaben 8

2.2 - Zielsetzung 8

3. Material und Methoden 9

3.1 - Hüfner - MS im Jahr 2003 9

3.2 - Labors und Geräte 9

3.5 - Übermittlung und Bearbeitung der Ergebnisse 10

4. Resultate 11

4.1 - Teilnahme 11

4.2 - Vollständigkeit, Ausreisser 11

4.3 - Blindproben 13

4.3.1 - Maxima 14

4.3.2 - Summen 14

4.4 - MS «tief» 14

4.4.1 - Richtigkeit 14

4.4.2 - Präzision 14

4.4.3 - Wiederholbarkeit und Reproduzierbarkeit 15

4.4.4 - Regression zum Sollwert 16

4.5 - MS «hoch» 16

4.5.1 - Richtigkeit 16

4.5.3 - Wiederholbarkeit und Reproduzierbarkeit 17

4.5.4 - Regression zum Sollwert 18

4.6 - Pilotproben 18

5. Diskussion 19

5.1 - Beurteilung der Resultate 20

5.2 - Eignung der Kriterien 24

5.3 - Klassierung der Geräte 25

5.4 - Datenübertragung 26

5.5 - Folgerungen 26

6. Dokumente 27

7. Adressen 28

8. Dank 28

9. Anhang: Abbildungen 29

0.1 Key words, Stichwörter

Accreditation; accuracy; AFEMA; BactoScan; collaborative study; control charts; cow milk; dairy laboratory; ISO 17025;

proficiency testing; quality assurance; repeatability; reproducibility; secondary reference material; testing laboratory;

total microbial counts.

(4)

0.2 Verzeichnis der Tabellen

Tabelle 1) Sollwerte Hüfner MS 2003 in imp/µl 9

Tabelle 2) Die beteiligten Prüfstellen 9

Tabelle 3) Prüfkriterien und Anforderungen an die Startroutinen 10

Tabelle 4) Datensätze pro Gerät und Lieferung 11

Tabelle 5) Erkannte und entfernte Ausreisser 12

Tabelle 6) Anzahl Datensätze pro Gerät mit einem oder mehreren Ausreissern 13 Tabelle 7) Blindproben klassiert nach Labor und zunehmendem Wert 13

Tabelle 8) Blindproben Maximum 14

Tabelle 9) Blindproben Summe 14

Tabelle 10) MS «tief», Richtigkeit 14

Tabelle 11) MS «tief», Präzision 14

Tabelle 12) MS «tief», Wiederholbarkeit und Reproduzierbarkeit in imp/µl 15 Tabelle 13) MS «tief», Wiederholbarkeit und Reproduzierbarkeit in log(imp/ml) 15

Tabelle 14) Regressionsparameter MS «tief» 16

Tabelle 15) MS «hoch», Richtigkeit 16

Tabelle 16) MS «hoch», Präzision 16

Tabelle 17) MS «hoch», Wiederholbarkeit und Reproduzierbarkeit in imp/µl 17 Tabelle 18) MS «hoch», Wiederholbarkeit und Reproduzierbarkeit in log(imp/ml) 17

Tabelle 19) Regressionsparameter MS «hoch» 18

Tabelle 20) Pilotproben, Präzision 18

Tabelle 21) Beurteilte Kriterien und Übertretungen der Toleranzwerte 19

Tabelle 22) Datensätze und Anzahl Übertretungen 19

Tabelle 23) MS «tief», erwartete und beobachtete Übertretungen, Lieferungen 21 Tabelle 24) MS «tief», erwartete und beobachtete Übertretungen, Geräte 21 Tabelle 25) MS «hoch», erwartete und beobachtete Übertretungen, Lieferungen 22 Tabelle 26) MS «hoch», erwartete und beobachtete Übertretungen, Geräte 23

Tabelle 27) Erfüllen der Anforderungen, Kriterien 24

Tabelle 28) Abhängigkeit der Beurteilungskrieterien, Korrelationsmatrix 25

Tabelle 29) Erfüllen der Anforderungen, Gerät 25

0.3 Verzeichnis der Abbildungen

Abb. 1) Blindproben 2003, Maxima und Summen 29

Abb. 2) Blindproben 2003, Erster bis fünfter Tageswert 30

Abb. 3) MS «tief» und MS «hoch», Häufigkeitsverteilungen der Tagesmittelwerte 31

Abb. 4) MS Mittelwerte pro Lieferung 32

Abb. 5) Sollwerte und Mittelwerte 33

Abb. 6) Relative Standardabweichungen 34

Abb. 7) Sicherheitszonen, Reproduzierbarkeit und Wiederholbarkeit 35 Abb. 8) Richtigkeit und Präzision, Toleranzfeld, erste Jahreshälfte 36 Abb. 9) Richtigkeit und Präzision, Toleranzfeld, zweite Jahreshälfte 37

Abb. 10) Richtigkeit und Präzision, Toleranzfeld, pro Gerät 38

Abb. 11) MS «tief» und MS «hoch», Regression zum Sollwert 39

Abb. 12) MS «tief» und MS «hoch», Gegenüberstellung, erste Jahreshälfte 40 Abb. 13) MS «tief» und MS «hoch», Gegenüberstellung zweite Jahreshälfte 41 Abb. 14) MS «tief» und MS «hoch», Gegenüberstellung, pro Gerät 42

Abb. 15) Richtigkeit und Präzision, Hüfner MS und Pilotproben 43

Abb. 16) Pilotproben, Häufigkeitsverteilung und Abhängigkeit vom CV 44

Abb. 17) Übertretungen der Toleranzwerte 45

Abb. 18) Klassierung der Geräte bezüglich Richtigkeit und Präzision 46

(5)

1.1 Kurzfassung

Im Jahr 2003 lieferten die sechs Schweizer Qualitäts-Prüf- stellen für Verkehrsmilch 1664 Datensätze mit den Aufzeich- nungen der Tages-Startroutinen ihrer Keimzählgeräte an die Eidgenössische Zentralstelle MIBD. Von den insgesamt acht Geräten wurde eine detaillierte Auswertung angefertigt zur Dokumentation von Messgenauigkeit, Sicherung des Mess- niveaus, Einhalten der offiziellen Anforderungen, aber auch zum Aufzeigen der messtechnische Grenzen und von Verbes- serungsmöglichkeiten.

Von jedem Datensatz werden 7 Kriterien bewertet. 93.6%

der Datensätze erfüllten alle Kriterien; 4.9% enthielten eine oder mehrer Überschreitungen der Toleranzwerte und 1.5%

enthielten einzelne oder mehrere fehlende oder fehlerhaft aufgezeichnete Daten (Ausreisser). Die 99 Beanstandungen sind nicht gleichmässig auf die verschiedenen Kriterien, La- bors, Geräte und Chargen von Standardmilch verteilt.

Die Kriterien «hoch-Präzision», «Blindwert Maximum»

und «Blindwert-Summe» werden ohne grössere Probleme eingehalten: die Übertretungs-Häufigkeit beträgt jeweils deutlich weniger als 1.0% Bei «hoch-Richtigkeit» liegt die Übertretungs-Häufigkeit bei 1.2%, bei «tief-Richtigkeit»,

«tief-Präzision» und «Pilotproben-Präzision» beträgt sie 1.5 und 1.6%. Damit wurde eine Verbesserung gegenüber dem Vorjahr erreicht.

Es gibt weiterhin deutliche Unterschiede zwischen den Ge- räten bezüglich der Übertretungs-Häufigkeit. Im Maximum wurden von einem Gerät 2.7% der Kriterien nicht erfüllt, im Durchschnitt waren es 0.9%. Da es sich ausschliesslich um BactoScan-Geräte Baureihe 8000 der Firma Foss-Electric handelt, sind die Unterschiede wohl weitgehend zurück zu führen auf Bedienung der Geräte, Handhabung der Proben, eventuell auch auf Wartung und technische Betreuung.

Wiederholbarkeit und Reproduzierbarkeit sind abhängig vom Keimgehalt: Für Standard «hoch» beträgt RSDr 4.7 und RSDR 6.9; für Standard «tief» 6.1 und 8.3 (alle gemessen in imp/ml). In logarithmierten Einheiten log(imp/ml) betragen die entsprechenden Werte 0.370, 0.556, 0.538 und 0.711.

Alle diese Parameter sind weniger gut als im Vorjahr. Auch die Regressionen zum Sollwert ist etwas geringer, die entsprechenden Korrelationskoeffizienten betragen 0.845 für Standard «hoch» und 0.773 für Standard «tief».

Für jedes der 8 Geräte wird ein Sonderheft mit Regelkarten und gerätespezifischen Grafiken angefertigt und den Teilneh- mern zugestellt. Obwohl die akkreditierten Labors für Kon- Georges Bühlmann und Sara Tahadjodi

BACTOSCAN-8000-KEIMZÄHL-GERÄTE DER QK-PRÜF- STELLEN MIBD: STARTROUTINEN 2003

trolle und Einhaltung der Toleranzlimiten zuständig sind, er- weist sich eine nachträgliche vergleichende und ausführliche Auswertung als unerlässlich. Dieser Bericht dokumentiert die Funktionsweise der Schweizer Geräte bezüglich Messniveau, Wiederholbarkeit und Reproduzierbarkeit und attestiert den teilnehmenden Labors die Qualität der Messtätigkeit.

Tests de routine des appareils BactoScan-8000 pour le dé- nombrement des germes totaux en 2003

1.2 Résumé

En 2003, les six laboratoires CQ de Suisse ont remis à la Cen- trale fédérale SICL 1664 enregistrements relatifs aux tests de routine de leurs appareils de dénombrements des germes. A partir de ces données qui concernent huit appareils au total, on a établi une évaluation détaillée sur la précision, le niveau de mesure et le respect des exigences. Cette documentation sert également à donner une image des limites propres aux techniques de mesure et des possibilités d’amélioration.

Pour chaque enregistrement, 7 critères ont été évalués.

93,6% des enregistrements ont satisfait aux exigences de tous les critères; 4,9% présentaient un ou plusieurs dépasse- ments des tolérances et 1,5% comportaient une ou plusieurs données incomplètes ou erronées. Les 99 non-conformités ne sont pas réparties de manière égale en fonction des différents critères, laboratoires, appareils, types d’appareil ou charges de lait de référence.

Les exigences relatives aux critères «précision standard éle- vé», «maximum échantillon à blanc» et «somme échantillon à blanc» ont été respectées sans trop de problèmes: le taux de non-conformité s’élève à chaque fois nettement en dessous de 1,0%. En ce qui concerne les critères «exactitude standard élevé», «exactitude standard bas» et «précision standard bas», les taux de non-conformité atteignent respectivement 1,2%, 1,5% et 1,6% pour le «lait pilote précision».

Des différences considérables sont constatées entre les diffé- rents appareils par rapport à la fréquence de non-conformité.

Dans le pire des cas, 2,7% des critères ne remplissent pas les exigences et dans le meilleur des cas aucune non-conformité n’a été constatée, la moyenne étant de 0,9%. Etant donné qu’on a utilisé uniquement des appareils BactoScan de la série 8000 de l’entreprise Foss-Electric, les différences sont vraisemblablement liées à la manipulation des appareils, au traitement des échantillons et peut-être aussi à la mainte- nance et au support technique.

(6)

Dans l’ensemble, la répétabilité et la reproductibilité se révè- lent satisfaisantes. Elles dépendent de la teneur en germes:

pour le standard «élevé», RSDr¹ s’élève à 4,7 et RSDR² à 6,9 et pour le standard «bas» à 6,1 et à 8,3 (tous sont mesurés en imp/ml). En unités logarithmiques log(imp/ml), les valeurs correspondantes sont les suivantes: 0,370, 0,556, 0,538 et 0,711. Tous ces paramètres sont plus élevés que l’année précédente. De même les régressions jusqu’à la valeur cible sont un peu moins bonnes, les coefficients de corrélation cor- respondants s’élevant à 0,845 pour le standard «élevé» et à 0,773 pour le standard «bas».

Un cahier spécifique comprenant les diagrammes de contrôle et les graphiques propres à l’appareil en question a été préa- lablement établi pour chacun des 8 appareils et remis aux laboratoires concernés. Bien que le contrôle et le respect des valeurs soient de la compétence des laboratoires accrédités, une évaluation comparative et approfondie subséquente est indispensable. Le présent rapport atteste et documente la qualité de fonctionnement, le niveau de mesure, la répé- tabilité et la reproductibilité des différents appareils utilisés par les laboratoires participants.

1 Ecart-type relative de la répétabilité

2 Ecart-type relative de la réproductibilité

Starting routines of the BactoScan-8000-Instruments for detecting TMC in raw milk in 2003

1.3 Summary

In 2003 the six Swiss quality testing laboratories for com- mercial milk delivered 1664 data sets with the results of the daily starting routines of their instruments for detecting TMC in raw milk to the Swiss federal central office MIBD [Dairy Industry Inspection and Advisory Service]. A detailed evaluation was carried out on the basis of eight instruments in total to document measuring accuracy, safeguarding of measuring level, compliance with official requirements and also technical measuring limits and possible improvements.

7 criteria were assessed from each data set. 93.6% of data sets fulfilled all criteria; 4.9% contained one or more occa- sions when tolerance limits were exceeded and 1.5% contained single or multiple missing or wrongly recorded data (outliers). The 99 non-conformities are not evenly distrib- uted over the different criteria, laboratories, instruments and batches of standard milk.

The criteria «high-precision», «blank value-maximum» and

«blank value-total» are easily complied with: the frequency of non-compliance is clearly less than 1.0% in each case. In the case of «high-accuracy», the frequency of non-compliance is 1.2%, whereas it is 1.5% for «low-precision» and «low-accuracy» and finally 1.6% for “pilot samples-precision”.

There are clear differences in frequency of non-compliance between the instruments. A maximum of 2.7% of the criteria were not fulfilled by one instrument, the average being 0.9%.

Since we are only dealing with BactoScan 8000 instruments from the firm Foss-Electric, the differences are probably mainly due to operation of the instruments, handling of the samples, and perhaps to servicing and technical support.

Repeatability and reproducibility are satisfactory to good overall. They depend on the cell count: RSDr¹ is 4.7 and RSDR² 6.9 for standard «high»; for standard «low», 6.1 and 8.3 (all measured in imp/ml). In logarithmized units log(imp/

ml) the corresponding values are 0.370, 0.556, 0.538 and 0.711. All these parameters are clearly higher than last year.

Similarly, regressions to the target value are somewhat weak- er, the corresponding correlation coefficients being 0.845 for standard «high» and 0.855 for standard «low».

A special booklet with quality control charts and instrument- specific graphics will be compiled for each of the 8 instruments and given to participants. Although the accredited laboratories are responsible for checking and observance of the tolerance limits, subsequent comparative and detailed evaluation proves to be imperative. This report documents and certifies to the participating laboratories the operating quality of their instruments with regard to measuring level, repeatability and reproducibility.

1 Relative Standard Deviation of Repeatability

(7)

1.4 Abkürzungen

µl Volumenangabe: Mikroliter, mm³

°C Temperaturangabe: Grad Celsius

AFEMA Arbeitsgruppe zur Förderung von Eutergesundheit und Milchhygiene in den Alpenländern

ALP Eidgenössische Forschungsanstalt für Nutztiere und Milchwirtschaft, Liebefeld, CH-3003 Bern (seit Januar 2004) BSC Keimzählgerät. Baureihe BactoScan-8000 von Foss-Electric, DK-3400 Hillerød

CQ Contrôle de qualité

CV Coefﬁ cient of variation, Variationskoefﬁ zient, 100*SD/ME

FAM Eidgenössische Forschungsanstalt für Milchwirtschaft Liebefeld, CH-3003 Bern (bis Dezember 2003) imp Impulse, Zähleinheit der BactoScan-8000-Geräte in der Schweiz (direct counts)

ISO/IEC International Organization for Standardization KbE Kolonie-bildende Einheit ≡ CFU

Kurtosis G2; Kennzahl der Schiefe einer statistischen Verteilung log Dekadischer Logarithmus

MD Medianwert, Zentralwert ME Mean, arithmetisches Mittel

MIBD Milchwirtschaftliche Inspektions- und Beratungsdienste ml Volumenangabe: Milliliter, cm³, 1000 µl

MS Milch-Standard von Hüfner, D-88239 Wangem im Allgäu N Anzahl Einzelwerte, Stichprobenumfang

QK Qualitäts-Kontrolle r Präzision, Wiederholbarkeit R Reproduzierbarkeit, Stetigkeit R/r Präzisions-Koefﬁ zient

RSDL Relative Standardabweichung der Tages-Datensätze der Geräte, 100*sL/ME RSDr Relative Standardabweichung der Wiederholbarkeit, 100*sr/ME

RSDR Relative Standardabweichung der Reproduzierbarkeit, 100*sR/ME SD Standard Deviation, Standardabweichung

SES Standard Error of Skewness; Bezugsgrösse zur Beurteilung der Symmetrie SEK Standard Error of Kurtosis; Bezugsgrösse zur Beurteilung der Schiefe SICL Service d’inspection et de consultation en matière d‘économie laitière Skewness G1; Kennzahl der Symmetrie einer statistischen Verteilung

sL Standardabweichung der Tages-Datensätze der Geräte, sL² = (sR² - sr²) sr Standardabweichung der Wiederholbarkeit, r/2.83

sR Standardabweichung der Reproduzierbarkeit, R/2.83

TH-Index Position zwischen Standard „«hoch» und «tief» gemessen als relative Differenz TMC Total Microbial Count, quantiﬁ zierte Keimbelastung, «Gesamtkeimzahl»

z-Wert Z-Wert, standardisierte Distanz zum Mittelwert, (x - ME) / SD

Dezimalstellen werden mit einem Dezimalpunkt abgetrennt. Dezimalkommata werden nur im französischsprachigen Résumé verwendet.

(8)

2. Einführung

Die QK-Prüfstellen, welche die Keimbelastung der Rohmilch im Rahmen der Qualitätsbezahlung beurteilen, müssen die korrekte Funktionsweise ihrer Geräte regelmässig attestieren, indem sie bei der täglichen In-Betriebnahme die Resultate der

«Startroutinen» aufzeichnen. Dies ist eine Abfolge von vorge- schriebenen Messungen, die erfolgreich durchgeführt werden muss, bevor der Routinebetrieb aufgenommen werden darf.

Dieser Bericht zeigt die Leistungen der Geräte im Jahr 2003.

2.1 Vorgaben

Für die Beurteilung der Keimbelastung der Rohmilch bestehen in der Schweiz verbindliche Vorschriften, insbesondere die Milchqualitätsverordnung MQV vom 7. Dezember 1998 und die Weisung der Eidgenössische Zentralstelle MIBD vom 9. Januar 2002 «Über die Untersuchung der Proben und die Analysenverfahren bei der Qualitätskontrolle der Verkehrs- milch».

Die Registrierung der Keimbelastung in direkten Geräteein- heiten (imp/µl) ist für die Qualitätsbezahlung in der Schweiz verbindlich. Es findet keine Umrechnung oder Konversion in KbE oder andere indirekte Einheiten statt. Es ist also wichtig, dass die Messgeräte korrekt und einheitlich abgestimmt sind.

Auf übernationaler Ebene gilt für die Länder der AFEMA der

«Qualitätsleitfaden mit Empfehlungen zum Betrieb von Rou- tine-Untersuchungsgeräten in Rohmilch-Prüfungslaboratori- en» (Ausgabe Oktober 2000).

Der Gerätehersteller, Foss Electric, DK-3400 Hillerød, schreibt ausserdem eine Serie von Massnahmen vor, die als Voraus- setzung für den korrekten Routinebetrieb durchgeführt und dokumentiert werden müssen.

Die Weisung der Zentralstelle verlangt namentlich die Durch- führung folgender Messungen und die Berichterstattung der Ergebnisse:

• 5 Messungen des Blindwerts

• 5 Messungen von Hüfner MS «tief»

• 5 Messungen von Hüfner MS «hoch»

• 5 Messungen der Pilotprobe, einer laborinternen stabilisier- ten Kontrollmilch.

2.2 Zielsetzung

Die Auswertung dient zur Beurteilung der verwendeten Prüf- mittel, Prüfmethoden und Vorschriften. Sie zeigt, wie gut die Qualitätsanforderungen von den Schweizer QK-Prüfstellen eingehalten wurden, und hilft, Schwachstellen aufdecken.

Damit können Verbesserungsbemühungen ausgelöst und Vertrauen geschaffen schaffen.

Eine jährliche Übersicht ermöglicht Vergleiche zwischen Ge- räten, Prüfstellen sowie die Berechnung von wichtigen Kenn- zahlen bezüglich Richtigkeit, Wiederholbarkeit (r, RSDr) und Reproduzierbarkeit (R, RSDR). Ausserdem kann die Eignung und die Stabilität des Hüfner-MS überprüft und dokumentiert werden.

Für jedes Gerät wird ein separates Heft mit dem vollständigen Satz von Regelkarten und Grafiken zusammen gestellt und den Prüfstellenleitern ausgeliefert. Darin sind die Ergebnisse der Messungen der Blindproben, von Standard «tief» und Standard «hoch», sowie der Pilotproben im Rahmen der Startroutinen festgehalten, sodass die kritischen Phasen der einzelnen Geräte erkannt werden können.

Die einzelnen Messungen müssen jeweils unmittelbar nachei- nander ausgeführt werden.

Jedes Labor kontrolliert die Startroutinen im Rahmen seiner Qualitätsüberwachung. Es besteht Meldepflicht an die Eidge- nössische Zentralstelle.

Im Bericht werden die Geräte mit einem Code bezeichnet, sie sind damit für Aussenstehende nicht erkennbar. Den La- borleitern werden die Codes ihrer Geräte in einem separaten Begleitbrief mitgeteilt.

(9)

3. Material und Methoden

3.1 Hüfner MS im Jahr 2003

Die Firma A. Hüfner, Milk Standard Service, D-88239 Wan- gen im Allgäu, produziert alle vier Wochen eine Lieferung, bestehend aus einem Standard «tief» und einem Standard

«hoch». Es handelt sich um chemisch stabilisierte keimarme Milch, angereichert mit Bakterien («Diplokokken») aus einer Kultur. Im Jahr 2003 wurden 13 Lieferungen herausgegeben.

Die Sollwerte der Berichtsperiode sind in Tabelle 1 zusammengestellt.

Der Sollwert für MS «tief» und der Multiplikationsfaktor («Relation») werden vom den Produzenten deklariert, der Sollwert MS «hoch» wird berechnet. Bei der Lieferung 02MS12 musste die Deklaration auf grund von Rückmeldun- gen mit eindeutig stark abweichenden Messresultaten nach wenigen Tagen angepasst werden. In der vorliegenden Aus- wertung werden ausschliesslich die korrigierte Werte (195, 1.90, 370.50) vom 2. Dezember 2003 verwendet.

Tabelle 1: Sollwerte Hüfner MS 2003 in imp/µl

Lieferung "tief" Relation "hoch"

02MS12 189 1.90 359.10

02MS12k 195 1.90 370.50

02MS13 164 2.00 328.00

03MS01 159 2.15 341.85

03MS02 137 2.00 274.00

03MS03 191 1.85 353.35

03MS04 151 1.60 241.60

03MS05 166 1.95 323.70

03MS06 160 2.00 320.00

03MS07 163 2.10 342.30

03MS08 176 1.90 334.40

03MS09 174 1.80 313.20

03MS10 155 1.95 302.25

03MS11 144 1.95 280.80

03MS12 165 1.95 321.75

03MS13 146 2.00 292.00

Prüfstelle Ort Telefon

AZZ CH-6300 Zug +41 41 725 3241

LAAF Fribourg-Valais CH-1725 Grangeneuve +41 26 305 5746 MIBD St.Gallen-Appenzell CH-9230 Flawil +41 71 394 5313 MIBD Thurgau CH-8570 Weinfelden +41 716 22 2066 MLZ Bern CH-3052 Zollikofen +41 31 919 3366 SRICL Vaud-Genève CH-1510 Moudon +41 21 905 8131

Tabelle 2: Die beteiligten Prüfstellen 3.2 Labors und Geräte

An den Messungen waren 6 Laboratorien mit 8 Geräten beteiligt. Es sind ausschliesslich Prüfstellen der Qualitätskon- trolle MIBD (Tabelle 2)

Bei den Geräten handelt es sich ausschliesslich um Foss-Fa- brikate der Baureihe BactoScan-8000. Alle Labors verfügen über die Software GS2000 zur automatischen Übertragung der Daten.

Die Resultate werden in Geräteeinheiten als fluoreszenzop- tisch registrierte «BactoScan-8000-Impulse» pro Mikroliter (imp/µl) registriert. Für gewisse Berechnungen, insbesondere Vergleichbarkeit mit anderen Untersuchungssystemen werden auch «imp/ml» oder «log(imp/ml)» verwendet.

(10)

3.3 Übermittlung und Bearbeitung der Messergebnisse Durchführung und Überwachung der Messungen, Aufzeich- nung der Resultate und Übermittlung mit dem Software-Pro- gramm GS2000 werden in den Qualitätshandbüchern der La- boratorien beschrieben. Jeder elektronisch erfasste Datensatz enthält das Signet des jeweils verantwortlichen Prüfleiters.

Die Aufzeichnungen pro Tag und Gerät werden zu einer Da- tei im ASCII-Format zusammengefasst, an die Eidgenössische Zentralstelle MIBD übermittelt und dort in einer Datenbank gespeichert, zu der nur ein «read-only» - Zugriff besteht.

Zur Bearbeitung werden die Zahlen und Anmerkungen in ein SYSTAT9-Daten-File eingelesen und mit eigens angefertigten Befehlssequenzen (Command-Files) ausgewertet.

Kriterium Anforderung

Blindproben Maximum Keine der Blindmessungen darf mehr als 20 imp/µl aufweisen Blindproben Summe Die fünf Blindmessungen dürfen im Durchschnitt nicht mehr

als 10 imp/µl aufweisen, die Summe darf also nicht mehr als 50 imp/5 µl betragen

«tief» Richtigkeit Der Durchschnittswert für Hüfner MS «tief» darf nicht mehr als 15% vom Sollwert abweichen

«tief» Präzision Der relative Variationskoeffizient für Hüfner MS «tief»

darf nicht mehr als 10% betragen

«hoch» Richtigkeit Der Durchschnittswert für Hüfner MS «hoch» darf nicht mehr als 15% vom Sollwert abweichen

«hoch» Präzision Der relative Variationskoeffizient für Hüfner MS «hoch»

darf nicht mehr als 10% betragen

Pilotproben Präzision Der relative Variationskoeffizient für die Pilotproben darf nicht mehr als 10% betragen

Jedes Record enthält pro Tag und Gerät die Resultate der letzten fünf Blindproben, fünf Einzelresultate für Standard «tief», Standard «hoch» und die Pilotproben. Ausserdem sind die Spe- zifikationen der Standard-Lieferung, Sollwerte, Prüfdatum und Signet des verantwortlichen Prüfleiters festgehalten.

Aus den Einzelresultaten werden Maximalwerte, Summen, Mittelwerte und Variationskoeffizienten berechnet, mit denen beurteilt werden kann, ob die vorgegebenen Anforderungen erfüllt sind. Alle MS-Mittelwerte werden zudem in Prozent ihres jeweiligen Sollwerts umgerechnet.

Zur Beurteilung gelten die folgenden 7 Anforderungen:

Tabelle 3: Prüfkriterien und Anforderungen an die Startroutinen

Diese Anforderungen richten sich nach den Vorschriften der Eidgenössischen Zentralstelle MIBD vom 9. Januar 2002:

«Weisung über die Untersuchung der Proben und die Analy- senverfahren bei der Qualitätskontrolle der Verkehrsmilch».

Die Regelung betreffend Blindproben entspricht dem «Qua- litätsleitfaden für den Betrieb von Routine-Untersuchungs- geräten in Rohmilch-Prüfungslaboratorien der AFEMA»

(Ausgabe Oktober 2000).

(11)

4. Resultate

Es liegen 1664 Datensätze mit Resultaten der Tages-Start- routinen aus dem Jahre 2003 vor. Beteiligt sind 8 Geräte und 15 Lieferungen (Tabelle 4).

GERÄT BSC11 BSC21 BSC31 BSC51 BSC52 BSC81 BSC91 BSC92 Total

02MS12 0 0 5 0 0 2 0 0 7

02MS13 9 15 13 14 14 10 11 11 97

03MS01 14 18 11 18 18 16 18 18 131

03MS02 17 15 13 18 18 20 18 18 137

03MS03 15 15 11 20 20 17 18 18 134

03MS04 8 15 13 17 17 15 20 20 125

03MS05 10 13 17 19 19 13 17 17 125

03MS06 14 16 17 26 26 0 17 17 133

03MS07 11 15 12 5 5 12 17 17 94

03MS08 13 16 17 17 17 15 22 22 139

03MS09 12 14 14 17 17 17 17 17 125

03MS10 16 16 15 17 17 17 19 19 136

03MS11 13 17 10 19 19 17 20 20 135

03MS12 13 16 12 19 19 14 18 18 129

03MS13 1 0 12 0 0 0 2 2 17

Total 166 201 192 226 226 185 234 234 1664

Pro Woche 3.1 3.8 3.6 4.3 4.3 3.5 4.4 4.4 31.4 Tabelle 4: Datensätze pro Gerät und Lieferung

4.1 Teilnahme

Pro Gerät liegen zwischen 166 und 234 Datensätze vor (Tabelle 4). Die Geräte waren demzufolge pro Woche durch- schnittlich zwischen 3.1 bis 4.4 Tage im Betrieb.

4.2 Vollständigkeit, Ausreisser

Die Mittelwerte von Standard «tief» und Standard «hoch», sowie die dazugehörigen Variationskoeffizienten wurden einer einfachen Varianzanalyse unterworfen und die Abwei- chung vom Mitterlwert pro Lieferung (z-Wert der Residuen) berechnet. Die erkannten Ausreisser wurden registriert und aus der weiteren Auswertung entfernt. Es wurden keine Ein- zelwerte entfernt, sondern jeweils der ganze Satz aus fünf Einzelmessungen. Der Vorgang wurde zwei Mal wiederholt.

Tabelle 5 zeigt die 48 Ausreisser mit z-Wert über 2.576 (P < 0.01). Die 14 schlimmsten (z > 4.5) wurden aus der Aus- wertung entfernt. Alle 8 Geräte weisen Ausreisser auf, jedoch unterschiedlich ausgeprägt und häufig.

(12)

Gerät Lieferung 'hoch' 'tief' Pilot Total Richtigkeit Präzision Richtigkeit Präzision Präzision

BSC11 03MS01 3.229 1

BSC11 03MS01 3.560 1

BSC11 03MS03 3.658 1

BSC11 03MS04 4.406 1

BSC11 03MS04 4.836 1

BSC11 03MS05 2.584 1

BSC11 03MS07 3.632 1

BSC11 03MS08 3.479 1

BSC11 03MS08 5.273 1

BSC11 03MS08 3.345 1

BSC11 03MS09 14.893 1

BSC11 03MS09 -3.921 23.183 2

BSC11 03MS09 2.840 1

BSC11 03MS10 3.479 1

BSC21 03MS03 5.155 1

BSC21 03MS08 2.652 1

BSC31 03MS01 -3.095 1

BSC31 03MS01 -4.159 1

BSC31 03MS01 -3.956 1

BSC31 03MS02 6.722 1

BSC31 03MS02 4.902 1

BSC31 03MS03 12.272 1

BSC31 03MS03 3.165 1

BSC31 03MS03 2.838 1

BSC31 03MS03 -7.317 1

BSC31 03MS05 3.032 1

BSC31 03MS06 6.793 1

BSC31 03MS08 2.646 1

BSC31 03MS09 80.639 47.221 2

BSC31 03MS13 2.998 1

BSC51 02MS13 2.689 1

BSC51 03MS03 11.169 26.870 2

BSC52 03MS05 3.837 14.000 2

BSC52 03MS06 2.845 1

BSC52 03MS06 2.936 1

BSC52 03MS12 3.881 1

BSC52 03MS12 4.322 1

BSC81 02MS13 -2.712 1

BSC81 03MS02 3.869 1

BSC81 03MS09 2.729 1

BSC91 02MS13 2.671 1

BSC91 03MS10 2.711 1

BSC92 03MS02 2.930 2.898 2

Total 16 7 3 2 20 48

Tabelle 5: Erkannte und entfernte (fett) Ausreisserz-Werte vor der Entfernung

Vereinzelt waren die Daten unvollständig. Der Anteil der Datensätze mit fehlenden Kriterien (inklusive entfernte Aus- reisser) ist variabel, wie aus Tabelle 6 hervorgeht.

(13)

Kriterien BSC11 BSC21 BSC31 BSC51 BSC52 BSC81 BSC91 BSC92 Total

5 fehlen 0 0 0 3 4 2 2 2 13

2 fehlen 0 0 1 1 0 0 0 0 2

1 fehlt 4 0 5 0 1 0 0 0 10

unvollständig 4 0 6 4 5 2 2 2 25

vollständig 162 201 186 222 221 183 232 232 1639

Total 166 201 192 226 226 185 234 234 1664

Tabelle 6: Anzahl Datensätze pro Gerät, vollständig oder unvollständig mit einem oder mehreren fehlenden Kriterien (inklusive Ausreisser)

4.3 Blindproben

Jeder Datensatz enthält die fünf Einzelresultate der letzten Blindproben, welche vor den Standard-Messungen vor- genommen wurden. Messeinheit sind die imp/µl als ganzzahlige Einheiten. In Tabelle 7 sind alle Blindmessungen nach zunehmendem Wert zusammengestellt, Klassengrösse ist 1 imp/µl.

Klasse BSC11 BSC21 BSC31 BSC51 BSC52 BSC81 BSC91 BSC92 Total

0 34 2 25 24 87 28 63 45 308

1 142 16 102 88 363 153 315 202 1381

2 193 54 162 196 362 213 289 212 1681

3 149 129 131 261 180 170 200 194 1414

4 71 77 62 105 47 69 71 74 576

5 98 177 127 170 51 132 112 137 1004

6 72 156 88 118 17 51 53 118 673

7 37 143 74 80 5 40 28 68 475

8 10 50 37 18 1 10 4 25 155

9 10 96 58 32 7 21 12 36 272

10 5 43 35 15 3 14 8 22 145

11 1 22 17 4 3 5 3 8 63

12 1 13 15 9 1 8 4 9 60

13 0 12 12 3 1 5 2 5 40

14 1 4 5 2 1 1 3 4 21

15 1 3 5 1 0 1 0 4 15

16 0 4 0 2 0 3 0 1 10

17 1 0 0 1 1 0 2 3 8

18 3 4 2 1 0 0 1 1 12

19 0 0 2 0 0 0 0 1 3

20 0 0 1 0 0 0 0 1 2

24 0 0 0 0 0 1 0 0 1

32 1 0 0 0 0 0 0 0 1

N 830 1005 960 1130 1130 925 1170 1170 8320

Sum 2815 6126 4678 4684 2397 3337 3272 4618 31927 Mean 3.392 6.096 4.873 4.145 2.121 3.608 2.797 3.947 3.837

Minimum 0 0 0 0 0 0 0 0 0

Maximum 32 18 20 18 17 24 18 20 32

SD 2.604 2.814 3.353 2.521 1.715 2.714 2.290 2.993 2.887 CV 0.768 0.462 0.688 0.608 0.809 0.752 0.819 0.758 0.752 Skewness(G1) 2.943 0.818 0.987 1.256 2.663 1.799 2.038 1.408 1.474 SES 0.085 0.077 0.079 0.073 0.073 0.080 0.072 0.072 0.027 G1/SES 34.624 10.623 12.494 17.205 36.479 22.488 28.306 19.556 54.593 Kurtosis(G2) 21.434 1.291 1.056 2.820 12.697 5.654 6.764 2.925 3.736 SEK 0.170 0.154 0.158 0.145 0.145 0.161 0.143 0.143 0.054 G2/SEK 126.082 8.383 6.684 19.448 87.566 35.118 47.301 20.455 69.185 Tabelle 7: Blindproben klassiert nach Labor und zunehmendem Wert

(14)

4.3.1 Maxima

1662 Datensätze erfüllen die Anforderung an «Blindproben- Maximum», die in Tabelle 3 definiert ist. Es gibt keine als

«leer» klassierten Datensätze, d. h. fehlende oder als krasse Ausreisser entfernte Aufzeichnungen. Die beiden Datensätze mit Übertetung der Toleranzlimiten («gefehlt») stammen von zwei verschiedenen Geräten, sie sind in Tabelle 8 zusammengestellt, sortiert nach abnehmender Beanstandungsquote.

Geräte mit gleicher Beanstandunsquote sind alphabetisch sortiert.

In Abbildung 1, obere Grafik, sind die Resultate der einzelnen Geräte als Boxplots dargestellt.

Gerät Total leer erfüllt gefehlt Prozent

BSC11 166 0 165 1 0.6

BSC81 185 0 184 1 0.5

BSC21 201 0 201 0 0.0

BSC31 192 0 192 0 0.0

BSC51 226 0 226 0 0.0

BSC52 226 0 226 0 0.0

BSC91 234 0 234 0 0.0

BSC92 234 0 234 0 0.0

Total 1664 0 1662 2 0.1

Tabelle 8: Blindproben-Maximum

4.3.2 Summen

Die Anforderung an die Summe der Blindproben-Messungen wurde nur einmal überschritten, alle anderen Geräte sind dies- bezüglich beanstandungsfrei. (Tabelle 9, Abb.1, untere Grafik).

BSC11 166 0 165 1 0.6

BSC21 201 0 201 0 0.0

BSC31 192 0 192 0 0.0

BSC51 226 0 226 0 0.0

BSC52 226 0 226 0 0.0

BSC81 185 0 185 0 0.0

BSC91 234 0 234 0 0.0

BSC92 234 0 234 0 0.0

Total 1664 0 1663 1 0.1

Tabelle 9: Blindproben Summe

In Abbildung 2 wurden von jedem Gerät die fünf Werte der Blindprobenserien getrennt dargestellt, damit allfällige Ten- denzen oder Häufung von Toleranzübertretungen erkannt werden können.

4.4 MS «tief»

Der Standard «tief» weist in der Regel einen Sollwert von weniger als 250 imp/µl auf (Tabelle 1, Abbildungen 5). Dieser Messbereich ist bedeutungsvoll, denn die obere Toleranzlimi- te der Qualitätsstufe 1 für Keimbelastung der Verkehrsmilch beträgt 200 imp/µl.

4.4.1 Richtigkeit

Der Durchschnitt aller Messungen beträgt 100.4% des Soll- werts, die Standardabweichung 6.5%. Es gibt Unterschiede von Lieferung zu Lieferung (Abbildungen 4, 5, 8 bis 10 und 12 bis 14) und von Gerät zu Gerät (Abbildung 15)

Die Anforderung an die Richtigkeit von Standard «tief» wird zu über 98.5% eingehalten. Bei vier Geräten wurde nie eine Überschreitung des Toleranzwerts festgestellt (Tabelle 10).

BSC31 192 1 181 10 5.2

BSC81 185 2 174 9 4.9

BSC11 166 0 163 3 1.8

BSC92 234 2 230 2 0.9

BSC21 201 0 201 0 0.0

BSC51 226 4 222 0 0.0

BSC52 226 4 222 0 0.0

BSC91 234 2 232 0 0.0

Total 1664 15 1625 24 1.5

Tabelle 10: MS «tief», Richtigkeit

4.4.2 Präzision

Der Durchschnittswert des CV beträgt beim Standard «tief»

5.82%. Die Anzahl Überschreitungen der Anforderung für Präzision (Wiederholbarkeit) ist in Tabelle 11 und Abbiludng 17 zusammengestellt. Auf den Abbildungen 4, 5, 6 und 7 ist der zeitliche Verlauf ersichlich, auf den Abbildungen 8 bis 10 die Abhängigkeit zur Richtigkeit.

BSC11 166 0 158 8 4.8

BSC31 192 1 183 8 4.2

BSC51 226 4 216 6 2.7

BSC52 226 4 220 2 0.9

BSC21 201 0 201 0 0.0

BSC81 185 2 183 0 0.0

BSC91 234 2 232 0 0.0

BSC92 234 2 232 0 0.0

Total 1664 15 1625 24 1.5

Tabelle 11: MS «tief», Präzision

(15)

4.4.3 Wiederholbarkeit und Reproduzierbarkeit

Die Werte für r und R, die Standardabweichungen sL, sr, sR und die relativen Standardabweichungen RSDL, RSDr und RSDR, sowie der Präzisionkoeffizient R/r wurden nach Ent- fernung der Ausreisser (Tabelle 5) für jede einzelne Lieferung berechnet. Die Kurvenzüge sind in den Abbildungen 6 und 7 dargestellt.

Lieferung LABS N ME SL Sr SR RSDL RSDr RSDR r R R/r 02MS12 7 35 160.1 15.3 9.8 18.2 9.6 6.1 11.3 27.7 51.3 1.9 02MS13 95 475 160.0 12.3 10.0 15.8 7.7 6.3 9.9 28.3 44.8 1.6 03MS01 131 655 158.0 9.1 9.5 13.1 5.7 6.0 8.3 26.7 37.0 1.4 03MS13 16 80 155.2 9.1 9.2 12.9 5.8 5.9 8.3 26.0 36.5 1.4 03MS02 135 675 139.3 9.1 9.5 13.1 6.5 6.8 9.4 26.7 37.0 1.4 03MS03 131 655 192.3 13.6 11.0 17.5 7.1 5.7 9.1 31.1 49.4 1.6 03MS04 124 620 150.3 7.7 9.3 12.1 5.1 6.2 8.0 26.3 34.1 1.3 03MS05 122 610 166.1 9.6 10.9 14.5 5.8 6.6 8.7 30.8 41.1 1.3 03MS06 133 665 159.6 9.2 10.2 13.7 5.8 6.4 8.6 28.9 38.9 1.3 03MS07 94 470 161.6 7.7 9.8 12.5 4.8 6.1 7.7 27.7 35.3 1.3 03MS08 138 690 174.8 9.0 10.9 14.1 5.2 6.2 8.1 30.7 39.9 1.3 03MS09 123 615 174.6 8.5 10.3 13.4 4.9 5.9 7.7 29.2 37.9 1.3 03MS10 136 680 158.5 6.1 9.5 11.3 3.8 6.0 7.1 26.8 31.8 1.2 03MS11 135 675 148.0 7.0 8.6 11.1 4.8 5.8 7.5 24.3 31.4 1.3 03MS12 129 645 167.7 7.4 10.2 12.7 4.4 6.1 7.5 29.0 35.8 1.2 Summe 1642 8210

Mittelwert 161.9 8.9 9.9 13.4 5.5 6.1 8.3 28.0 37.9 1.4 Tabelle 12: MS «tief», Wiederholbarkeit und Reproduzierbarkeit in imp/µl

Bei einigen internationalen Testsystemen wird mit logarithmierten Einheiten gerechnet, was numerisch zu deutlich anderen Ergebnissen führt. Tabelle 13 ist die Zusammenstellung der Resultate in logarithmierter Form.

Lieferung LABS N ME SL Sr SR RSDL RSDr RSDR r R R/r 02MS12 7 35 5.202 0.044 0.026 0.051 0.843 0.501 0.981 0.074 0.144 1.957 02MS13 95 475 5.202 0.034 0.027 0.044 0.655 0.522 0.838 0.077 0.123 1.603 03MS01 131 655 5.197 0.026 0.026 0.037 0.493 0.500 0.703 0.074 0.103 1.404 03MS13 16 80 5.189 0.025 0.026 0.036 0.478 0.503 0.694 0.074 0.102 1.381 03MS02 134 670 5.141 0.024 0.029 0.038 0.461 0.574 0.736 0.083 0.107 1.282 03MS03 129 645 5.282 0.015 0.045 0.047 0.290 0.846 0.895 0.126 0.134 1.057 03MS04 124 620 5.176 0.022 0.027 0.035 0.433 0.521 0.677 0.076 0.099 1.301 03MS05 121 605 5.218 0.020 0.029 0.035 0.388 0.547 0.671 0.081 0.099 1.225 03MS06 132 660 5.200 0.020 0.028 0.034 0.385 0.538 0.661 0.079 0.097 1.230 03MS07 94 470 5.207 0.021 0.026 0.034 0.408 0.509 0.652 0.075 0.096 1.282 03MS08 138 690 5.241 0.023 0.027 0.035 0.432 0.514 0.672 0.076 0.100 1.307 03MS09 123 615 5.241 0.022 0.026 0.034 0.410 0.490 0.639 0.073 0.095 1.304 03MS10 136 680 5.199 0.017 0.026 0.031 0.319 0.500 0.593 0.074 0.087 1.186 03MS11 135 675 5.169 0.021 0.025 0.032 0.397 0.488 0.629 0.071 0.092 1.289 03MS12 129 645 5.223 0.019 0.027 0.033 0.373 0.510 0.631 0.075 0.093 1.239 Summe 1644 8220

Mittelwert 5.206 0.023 0.028 0.037 0.451 0.538 0.711 0.079 0.105 1.336 Tabelle 13: «tief», Wiederholbarkeit und Reproduzierbarkeit in log(imp/ml)

Die Effekte der Untersuchungstage wurden mit den Effekten der Geräte im Parameter sL zusammengefasst; sr umfasst die gepoolte Streuung innerhalb der einzelnen Datensätze pro Tag und Gerät, während sR die Gesamtstreuung pro MS

«tief»-Lieferung darstellt.

(16)

4.4.4 Regression zum Sollwert

Die Beziehung zwischen Messresultaten und Sollwerten wurde als lineare Regression berechnet. Der Grad der Über- einstimmung ist im Korrelations- beziehungsweise Deter- minationskoeffizienten ersichtlich. Konstante und Steigung beschreiben die Regressionsgerade der Messwerte gegenü- ber den Sollwerten. Die Ergebnisse sind in Tabelle 14 zusammengestellt. Abbildung 11 zeigt die beiden Regressionslinien

Gerät N Regressions-

koeffizien Determinations-

koeffizient Konstante Steigung

BSC51 222 0.927 0.858 -1.353 1.006

BSC52 222 0.914 0.836 8.561 0.961

BSC11 166 0.849 0.722 -3.557 1.011

BSC92 232 0.843 0.711 -0.225 1.032

BSC91 232 0.840 0.706 6.587 0.977

BSC21 201 0.748 0.560 18.156 0.874

BSC81 183 0.625 0.391 38.826 0.750

BSC31 191 0.555 0.308 40.686 0.740

Total 1649 0.773 0.597 13.372 0.921

Tabelle 14: Regressionsparameter MS «tief»

Die Berechnung der Regressionsparameter wurde auch in log(imp/ml) durchgeführt mit praktisch identischen, zuweilen etwas besseren Ergebnissen. Die Gesamtaussage ändert sich jedoch nicht, sodass auf eine Wiedergabe dieser Resultate verzichtet wird.

4.5 MS «hoch»

Der Keimbelastung des Standards «hoch» ist normalerweise höher als 300 imp/µl, er übertrifft die in der Schweiz gültige Qualitätslimite Stufe 1 von 200 imp/µl, ist aber deutlich tiefer als die Qualitätslimite Stufe 2, die 1000 imp/µl beträgt (Ta- belle 1, Abbildung 5).

4.5.1 Richtigkeit

Der Durchschnittswert der Messungen im Jahr 2002 beträgt 99.8% des Sollwerts, die Standardabweichung 5.8%.

Die Anforderung an die Richtigkeit der Messungen, weniger als 15% Abweichung vom Sollwert (Tabelle 3), wurde in 19 oder 1.2% der gemeldeten Datensätze nicht eingehalten (Tabelle 15, Abbildungen 4, 8 bis 10 und 15).

Gerät Total leer erfüllt gefehlt Prozent BSC31 192 3 180 9 4.8 BSC81 185 2 178 5 2.7 BSC52 226 4 220 2 0.9 BSC11 166 0 165 1 0.6 BSC21 201 0 200 1 0.5 BSC92 234 2 231 1 0.4 BSC51 226 3 223 0 0.0 BSC91 234 2 232 0 0.0 Total 1664 16 1629 19 1.2 Tabelle 15: MS «hoch», Richtigkeit

4.5.2 Präzision

Der Durchschnittswert des Variationskoeffizienten beträgt beim Standard «hoch» 4.15% .

Die Anforderung, dass der Wert weniger als 10% betragen soll, wurde in drei, also in 0.2% der 1664 Datensätze nicht eingehalten (Tabelle 16, Abbildungen 4 und 15).

Gerät, Total leer erfüllt gefehlt Prozent BSC11 166 1 164 1 0.6 BSC52 226 5 220 1 0.5 BSC92 234 2 231 1 0.4 BSC21 201 0 201 0 0.0 BSC31 192 0 192 0 0.0 BSC51 226 3 223 0 0.0 BSC81 185 2 183 0 0.0 BSC91 234 2 232 0 0.0 Total 1664 15 1646 3 0.2 Tabelle 16: MS «hoch», Präzision

und die Punktewolken der Messresultate in Abhängikeit vom Sollwert.

(17)

4.5.3 Wiederholbarkeit und Reproduzierbarkeit

Die Auswertung der nicht logarithmierten Zählresultate sind in Tabelle 17 zusammengestellt (Messeinheit imp/µl).

Die Berechnungen wurden wie bei Tabelle 12 an den Tages- Datensätzen nach Entfernen der Ausreisser durchgeführt.

Die Linienzüge sind in den Abbildungen 6 und 7 ersichtlich.

Mittelwert 312.6 15.7 14.6 21.6 5.0 4.7 6.9 41.4 61.2 1.5 Tabelle 17: MS «hoch» Wiederholbarkeit und Reproduzierbarkeit in imp/µl

Tabelle 18 zeigt für Standard «hoch» die Resultate der Berechnungen mit den logarithmierten Messresultaten, log(imp/ml); damit wird die Vergleichbarkeit mit anderen Testsystemen ermöglicht.

Mittelwert 5.493 0.022 0.020 0.031 0.409 0.370 0.556 0.057 0.086 1.505 Tabelle 18: MS «hoch» Wiederholbarkeit und Reproduzierbarkeit in log(imp/ml)

(18)

4.5.4 Regression zum Sollwert

Die Beziehung zwischen Messresultaten und Sollwerten wurde als lineare Regression berechnet. Der Grad der Über- einstimmung ist im Korrelations- beziehungsweise Deter- minationskoeffizienten ersichtlich. Konstante und Steigung beschreiben die Regressionsgerade der Messwerte gegenü- ber den Sollwerten. Die Ergebnisse sind in Tabelle 19 zusammengestellt. Abbildung 11 zeigt die Regressionslinie und die Punktewolken der Messwerte in Abhängigkeit vom Sollwert.

Wenn die Messergebnisse in log(imp/ml) ausgewertet werden, erfolgen praktisch identische Resultate.

Gerät N Regressions-

koeffizient Determinations-

koeffizient Konstante Steigung

BSC51 223 0.951 0.905 -12.779 1.044

BSC52 222 0.923 0.851 14.833 0.972

BSC91 232 0.923 0.852 7.485 0.992

BSC92 232 0.916 0.838 19.501 0.957

BSC11 166 0.873 0.762 -2.946 0.985

BSC21 201 0.787 0.619 45.381 0.830

BSC31 189 0.749 0.561 37.670 0.851

BSC81 183 0.734 0.539 52.823 0.814

Total 1648 0.845 0.714 21.150 0.929

Tabelle 19: Regressionsparameter Hüfner MS «hoch»

4.6 Pilot-Proben

Die Pilot-Proben werden von den einzelnen Labors aus jeweils konservierter Verkehrsmilch hergestellt und als interner Ta- gesstandard verwendet. Die Keimbelastung sollte mit Vorteil mehr als 200 imp/µl betragen, damit die Anforderung an die Präzision der fünf Messungen (< 10%) besser eingehalten werden kann.

Der Mittelwert der gemeldeten 1758 Messungen des Jahres 2002 beträgt 346.9 imp/µl.

4.6.1 Präzision

Der Mittelwert für die Präzision der Pilotproben-Messungen beträgt 4.98, die Standardabweichung 2.04.

Tabelle 20 und die Abbildungen 15 und 16 zeigen, dass auch die Einhaltung der Anforderungen an die Präzision der Pilot- Proben bei vereinzelten Geräten Schwierigkeiten bereitet.

Gerät Total leer erfüllt gefehlt Prozent BSC11 166 3 152 11 6.7 BSC31 192 2 181 9 4.7 BSC51 226 3 221 2 0.9 BSC52 226 4 220 2 0.9 BSC21 201 0 200 1 0.5 BSC91 234 2 231 1 0.4 BSC81 185 2 183 0 0.0 BSC92 234 2 232 0 0.0 Total 1664 18 1620 26 1.6 Tabelle 20: Pilotproben, Präzision

(19)

5. Diskussion

Die 99 Überschreitungen in den 11470 beurteilten Kriterien sind nicht unabhängig voneinander und sie treten auch nicht mit konstanter Wahrscheinlichkeit auf. Die Auszählung nach Geräten und Kriterien gibt bereits einen deutlichen Hinweis.

Bei der Mehrzahl der Geräte ist die Zahl der Übertretungen gering, in einigen Fällen sind Übertretungen jedoch häufiger als 1% (Tabelle 21, Kriterien sortiert nach Häufigkeit der Übertretungen): Keines der Kriterien wurde nie überschritten, in der Regel konnten sie jedoch relativ problemlos eingehalten werden. Die Reihenfolge der Geräte lautet:

BSC31>BSC11>BSC81>BSC92>BSC51>BSC52>BSC21>

BSC91.

Kriterium BSC11 BSC21 BSC31 BSC51 BSC52 BSC81 BSC91 BSC92 Total

gefehlt Pilot Präzision 11 1 9 2 2 0 1 0 26

gefehlt «tief», Präzision 8 0 8 6 2 0 0 0 24

gefehlt «tief», Richtigkeit 3 0 10 0 0 9 0 2 24

gefehlt «hoch», Richtigkeit 1 1 9 0 2 5 0 1 19

gefehlt «hoch», Präzision 1 0 0 0 1 0 0 1 3

gefehlt Blind, Maximum 1 0 0 0 0 1 0 0 2

gefehlt Blind, Summe 1 0 0 0 0 0 0 0 1

gefehlt alle 26 2 36 8 7 15 1 4 99

gefehlt Prozent 2.245 0.142 2.693 0.511 0.448 1.167 0.061 0.246 0.856

leer alle 4 0 7 17 21 10 10 10 79

erfüllt alle 1132 1405 1301 1557 1554 1270 1627 1624 11470

alle Total 1162 1407 1344 1582 1582 1295 1638 1638 11648

Tabelle 21: Beurteilte Kriterien und Übertretungen der Toleranzwerte

Die Übertretungen sind oft gehäuft. Es ist aufschlussreich, die Datensätze nach der Anzahl der Übertretungen zu klassieren.

Von den 1664 Datensätze sind 1.5% unvollständig (Tabelle 6). Von den verbleibenden vollständigen Datensätzen erfüll- ten 93.6% alle 7 Kriterien, bei den anderen ist mindestens eine Übertretung (Fehler) festgestellt worden (Tabelle 22).

Sequenz BSC11 BSC21 BSC31 BSC51 BSC52 BSC81 BSC91 BSC92 Total 0 Fehler 138 199 159 214 215 173 231 229 1558

1 Fehler 23 2 21 8 6 5 1 2 68

2 Fehler 0 0 6 0 0 5 0 1 13

vollständige 161 201 186 222 221 183 232 232 1639

0 Fehler 3 0 3 4 4 2 2 2 20

1 Fehler 1 0 3 0 1 0 0 0 5

unvollständige 4 0 6 4 5 2 2 2 25

Total 165 201 192 226 226 185 234 234 1664

Tabelle 22: Vollständige und unvollständige Datensätze, Anzahl der Übertretungen (Fehler)

(20)

5.1 Beurteilung der Resultate

Teilnahme

Die Zahl der Datensätze schwankt von 166 bis 234 (Tabelle 4). Die durchschnittliche Anzahl Betriebstage pro Woche variiert demzufolge zwischen 3.1 und 4.4. Die Unterschiede stehen in Zusammenhang mit Betriebsunterbrüchen wegen Ferien, Gerätewartung, Geräteauslastung oder anderen Ein- schränkungen des 5-Tage-Betriebs.

Vollständigkeit und Ausreisser

Die als Ausreisser erkannten groben Unregelmässigkeiten sind wohl auf fehlerhafte Übertragung von Ziffern oder auf Verwechslungen zurückzuführen, möglicherweise falsche Bezeichnung der Lieferdaten oder der Sollwerte, Tippfehler, Verwechslung von Standard «tief» mit Standard «hoch» oder der Pilotprobe. Es ist nicht immer erkennbar, ob sie durch eine unsorgfältige Manipulation entstanden oder durch un- verschuldete «Betriebsunfälle».

Zahl und Art der Ausreisser sind in Abschnitt 4.2 beschrieben und in Tabelle 5 aufgelistet. Bei fehlenden Zahlen lässt sich keine Aussage machen über die Qualität der Messergebnisse.

Eine Startroutine mit leeren Datenfeldern muss grundsätzlich als «nicht erfüllt» beurteilt werden. Dies ist bedeutungsvoll bei der Rückführbarkeit der Rohdaten.

Verglichen mit dem Vorjahr wurde die Zahl der unvollstän- digen und fehlerhaften Datensätze eindeutig verringert. Die unterschiedliche Häufigkeit von Ausreissern ist jedoch ein Hinweis, dass immer noch nicht überall mit gleicher Sorgfalt vorgegangen wird.

Blindproben

Tiefe Werte der Blindproben zeigen, dass die Geräte und Gebrauchslösungen frei sind von Kontaminationen, welche die Keimzahl verfälschen. Sie dokumentieren auch, dass die Geräte die Pulshöhenbilder der Proben korrekt interpretieren und störende Signale aus dem unteren Bereich (Hintergrund- geräusch) nicht als echte imp zählen.

Die Messwerte der Blindproben werden als ganzzahlige Einheiten «imp/µl» registriert, was eine tabellarische Zusam- menstellung von Impulsklassen ermöglicht (Tabelle 7). Diese Häufigkeitsverteilung, insbesondere die vereinzelten Resulta- te mit mehr als 10 imp/ µl, folgt nicht der Poissonverteilung.

Die vorgefundene Verteilung muss also mindestens zum Teil als Anhäufung von Sonderfällen interpretiert werden.

Besonders auffallend ist weiterhin die Untervertretung der Klasse «4 imp/µl», die bei allen Geräten deutlich erkennbar ist (Tabelle 6). Dieses Phänomen unbeeinflussbar durch das Bedienungspersonal und es handelt sich offensichtlich um

eine Geräte- oder Betriebssoftware-spezifische Anomalie, offensichtlich ohne nachteilige Auswirkungen auf die Mess- resultate.

Echt fehlerhafte Blindproben waren im Jahr 2003 selten, was auf verbesserte Achtsamkeit und Gerätebeherrschung des Laborpersonals zurückzuführen sein dürfte.

Messungen mit Hüfner MS

Der Hüfner MS ist in der Schweiz das zentrale Prüfmittel zur Gewährleistung der Vergleichbarkeit und der internationalen Konformität der Geräte. Weil die Qualitätsbezahlung der Rohmilch auf den Geräteeinheiten imp/µl basiert, ist die ge- genseitige Abstimmung des Messniveaus aller Geräte sowie die Überprüfung der Genauigkeit sehr wichtig. Bei den dezen- tralen Strukturen der Schweizerischen MIBD kommt diesen Aspekten besondere Bedeutung zu.

Der Milch-Standard wird von der Firma Hüfner alle vier Wochen produziert und ausgeliefert. Abbildung 3 zeigt die Ergebnisse der Messung von MS «tief» (Linien) und von MS

«hoch» (gestrichelte Linien) als zusammenfassende Häufig- keitsverteilungen. Bereiche mit Beanstandung sind gekenn- zeichnet durch farbigen Hintergrund.

Tabelle 23 fasst alle Tests zusammen, die im Jahr 2003 mit MS

«tief» und MS «hoch» durchgeführt wurden.

MS «tief»

Standard «tief» weist einen deutlich geringeren imp-Gehalt auf (Abbildung 3, obere Grafik). Die gute Trennschärfe ge- genüber Standard «hoch» ist deutlich erkennbar.

Die Richtigkeit aller 1649 Messungen beträgt im Mittel 100.40 Prozent des Sollwerts mit einer durchschnittlichen Standardabweichung von 6.48%. Die Toleranzlimiten von

± 15% sind also angemessen. In Tabelle 23 wird für jede MS-Lieferung gezeigt, wie häufig dieses Toleranzlimiten überschritten wurden (N_beob) und wie häufig Überschrei- tungen bei den jeweiligen Messergebnissen (ME, SD) unter Annahme einer Normalverteilung zu erwarten gewesen wä- ren (N_erw).

Es fällt auf, dass Toleranzwert-Übertretungen vorkommen müssen, wenn die Vorgaben (ME, SD, Normalverteilung) zutreffen. Es ist also durchaus normal, dass bei einigen Lie- ferungen 2, 3 und mehr beobachtet wurden. Gesamthaft ist die Zahl der beobachteten Übertretungen eher zu tief, was den Verdacht aufkommen lässt, dass eine gewisse Tendenz zur «Beschönigung» bestehen könnte.

(21)

Lieferung N SOLL ME SD N_erw N_beob 02MS12 7 195.00 160.057 15.904 4.479 4 02MS13 95 164.00 160.046 13.056 6.771 8 03MS01 131 159.00 157.988 9.989 2.296 1 03MS02 135 137.00 139.267 9.993 6.056 1 03MS03 131 191.00 192.344 14.426 6.286 2 03MS04 124 151.00 150.321 8.734 1.206 0 03MS05 122 166.00 166.149 10.756 2.517 1 03MS06 133 160.00 159.618 10.261 2.583 1 03MS07 94 163.00 161.583 8.886 0.618 0 03MS08 138 176.00 174.830 10.244 1.442 2 03MS09 123 174.00 174.579 9.708 0.896 0 03MS10 136 155.00 158.521 7.414 0.550 0 03MS11 135 144.00 147.979 8.021 1.989 1 03MS12 129 165.00 167.656 8.730 0.843 0 03MS13 16 146.00 155.175 9.948 1.621 3

Summe 1649 40.152 24

Mittelwert 163.07 161.741 10.405 2.677 1.600

Tabelle 23: MS «tief», erwartete und beobachtete Häufigkeit von Übertretungen der 15-%-Toleranz limite für Richtigkeit, Datensätze pro Lieferung, Sollwerte und Messresultate in imp/µl

Die Auswertung der erwarteten und beobachteten Toleranz- wert-Übertretungen pro Gerät zeigt eine ungleichmässige Häufigkeit (Tabelle 24). Die Zahl der Übertretungen korreliert gut mit der Standardabweichung, der Unterschied Beobach- tet - Erwartet ist bei einzelnen Geäten beträchtlich.

GERAET N SOLL ME SD N_erw N_beob

BSC31 191 100 99.293 9.478 21.870 10 BSC81 183 100 99.290 9.113 18.445 9 BSC21 201 100 98.691 6.500 4.754 0 BSC92 232 100 103.061 5.568 3.848 2 BSC91 232 100 101.785 5.407 1.907 0 BSC11 166 100 98.836 5.640 1.520 3 BSC52 222 100 101.438 3.681 0.026 0 BSC51 222 100 99.716 3.440 0.003 0

Summe 1649 52.372 24

Tabelle 24: MS «tief», erwartete und beobachtete Häufigkeit von Übertretungen der 15%-To- leranzlimite für Richtigkeit, Datensätze pro Gerät, Sollwerte und Messresultate in Prozent des Sollwerts

(22)

Die Präzision von Standard «tief» konnte gelegentlich nicht eingehalten werden. Die der Auszählung (Tabellen 11) zeigt 24 Überschreitungen (1.5% der Datensätze). Die Häufig- keitsverteilung in Abbildung 3 (unten), die Punktewolken von Abbildung 12 bis 14 und die Boxplots von Abbildung 15 weisen darauf hin, dass die Toleranzlimite von 10% grosszü- gig genug ist, um im Normalfall eingehalten werden zu kön- nen. Der Mittelwert beträgt 5.816 die Standardabweichung 2.03. Die Extreme der Durchschnittswerte pro Gerät und Jahr betragen 0.992 (BSC52) und 13.264 (BSC51).

Die geringere Richtigkeit im tiefen Messbereich ist für Keim- zählgeräte charakteristisch: Die Werte für Wiederholbarkeit und Reproduzierbarkeit sind dementsprechend deutlich höher (Tabellen 12, 13) und die Regressions- und Determina- tionskoeffizienten geringer (Tabelle 14).

Auch in den grafischen Darstellungen der Standard-Eigen- schaften der einzelnen Lieferungen (Abbildung 6) kommt deutlich zum Ausdruck, dass RDSDr von Standard «tief»

immer höher ist. RSDL ist für beide Standard-Qualitäten praktisch gleich und RSDR in der Regel höher bei Standard

«tief». Der Präzisionkoeffizient R/r ist bei Standard «tief»

normalerweise weniger hoch.

Im Vergleich zu den Untersuchungen der Vorjahre ist eine Verschlechterung der Werte für r und R festzustellen. Vergli- chen mit der Messung des Zellgehalts sind die Parameter für Repetabilität, Präzision und Richtigkeit deutlich höher.

Standard «hoch»

Standard «hoch» bietet weniger Schwierigkeiten zum Einhal- ten der Toleranzwerte, insbesondere in Bezug auf Präzision, aber auch bezüglich Richtigkeit (Tabelle 25).

Lieferung N SOLL ME SD N_erw N_beob 02MS12 7 370.50 320.486 22.821 2.826 3 02MS13 95 328.00 314.869 19.769 3.310 2 03MS01 131 341.85 340.212 19.465 1.135 3 03MS02 135 274.00 274.735 17.613 2.664 2 03MS03 130 353.35 352.983 16.845 0.215 0 03MS04 124 241.60 239.697 14.466 1.611 0 03MS05 122 323.70 321.730 20.418 2.187 2 03MS06 132 320.00 318.513 20.295 2.420 1 03MS07 94 342.30 340.081 16.545 0.197 0 03MS08 138 334.40 327.046 15.937 0.520 0 03MS09 124 313.20 305.566 16.832 1.276 1 03MS10 136 302.25 306.869 9.829 0.002 0 03MS11 135 280.80 289.132 12.043 0.341 1 03MS12 129 321.75 329.270 14.846 0.402 0 03MS13 16 292.00 315.438 24.136 3.234 4

Summe 1648 22.341 19

Mittelwert 315.98 313.108 17.457 1.489 1.267 Tabelle 25: MS «hoch», erwartete und beobachtete Häufigkeit von Übertretungen der

15%-Toleranzlimite für Richtigkeit, Datensätze pro Lieferung, Sollwerte und Messresultate in imp/µl,

Auch beim Standard «hoch» wurde eine ungleichmässige Häufigkeit der erwarteten und beobachteten Toleranzwert- Übertretungen pro Gerät gefunden (Tabelle 26). Die Zahl der Übertretungen korreliert gut mit der Standardabweichung, die Reihenfolge der Geräte ist ähnlich wie in Tabelle 24.

Abbildung 3, obere Grafik, zeigt die gute Abtrennung ge- genüber Standard «tief». Die mittlere Grafik zeigt eine etwas schlankere Häufigkeitsverteilung für Standard «hoch» (gestrichelte Linie), die Sollwerte werden also etwas besser eingehalten. Nur ein kleiner Teil der Verteilung liegt ausserhalb des Toleranzbereichs von 15% über oder unter dem Sollwert.

Die Grafik zeigt eine leichte Verschiebung des Gipfels nach links: Der Mittelwert der 1648 Messungen beträgt 99.77, die Standardabweichung 5.77.

Die Anforderungen zum Einhalten der Präzision der Messun- gen sind bei Standard «hoch» problemlos, nur drei, dh. 0.18%

der 1646 Messungen haben das Kriterium nicht erfüllt.

(23)

GERAET N SOLL ME SD N_erw N_beob BSC81 183 100 98.520 8.091 12.476 5 BSC31 189 100 97.200 7.315 10.425 9 BSC21 201 100 97.579 6.499 6.055 1 BSC11 166 100 97.509 5.001 1.066 1 BSC92 232 100 101.997 4.308 0.304 1 BSC91 232 100 101.591 4.135 0.144 0 BSC52 222 100 101.965 3.873 0.086 2 BSC51 223 100 100.246 3.289 0.001 0

Summe 1648 30.559 19

Tabelle 26: MS «hoch», erwartete und beobachtete Häufigkeit von Übertre- tungen der 15%-Toleranzlimite für Richtigkeit, Datensätze pro Gerät, Sollwerte und Messresultate in Prozent des Sollwerts

Pilotproben

Herkunft und Herstellungsverfahren der Pilot-Proben sind in jedem Labor anders, sodass die Richtigkeit nicht wie bei den MS-Proben beurteilt werden kann. Infolge der von Charge zu Charge wechselnden Zusammensetzung der Milch einer gewissen zusätzlichen Destabilisierung der Messqualität zu rechnen.

Die Weisung der Eidgenössischen Zentralstelle MIBD empfiehlt Pilot-Proben mit Keimgehalt von über 250 imp/µl, was in der Regel befolgt wird (Abbildung 16 oben).

Die Tabellen 20 und 21 zeigen, dass das Einhalten der Präzi- sion der Pilot-Proben bei einigen Geräten mit Schwierigkeiten verbunden ist. Die untere Grafik von Abbildung 16 zeigt, dass bei imp-reichen Pilot-Proben (> 600 imp/µl) relativ wenige Überschreitung der Toleranzlimite für Präzision registriert wurden.

Tabelle 20 und Abbildung 17 (unten) zeigen auch einige ge- rätespezifische Eigenheiten der Pilotproben-Resultate. Wün- schenswert ist gute Präzision, also ein geringer CV-Wert d.h.

für die grafische Darstellung: tiefer Medianwert in flachen Boxen, sowie wenig Extremwerte (Sterne und Kreise). Der To- leranzbereich sollte nie, vor allem nicht von den senkrechten Bereichsbalken, überschritten werden.

Das Verhalten der Pilotproben nach der Startroutine im Laufe der Routineanalytik wurde in diesem Bericht nicht berücksich- tigt. Es gehört in den Verantwortungsbereich der Labors, dass die diesbezüglichen Anforderungen eingehalten werden. Die Aufzeichnung der entsprechenden Messresultate werden von der Software GS 2000 erfasst.

(24)

5.2 Eignung der Kriterien

Die Toleranzlimiten für Geräte zur Messung der Keimbe- lastung sind grosszügiger als bei den Zellzählgeräten. Dies ist berechtigt, denn die Methoden- und Gerätebedingte Messgenauigkeit ist geringer. Umso mehr ist eine sorgfälti- ge Bedienung und ein unablässiges Kontrolllieren nötig, um eine gleichbleibende, optimale Messqualität zu garantieren.

Dazu sind Startroutinen ein strenges und unverzichtbares Instrument.

Die meisten Schwierigkeiten gab es bei Pilotproben mit geringer Keimzahl und bei Standard «tief», also eher im tiefen Messbereich.

Die in der Weisung der Eidgenössischen Zentralstelle MIBD gesetzten Toleranzlimiten sind bei Keimzählgeräten eher grosszügig. Das Einhalten der Limiten ist gleichwohl eine ernsthafte Herausforderung an die Personen, die mit Bedie- nung und Pflege der Geräte beauftragt sind.

Verglichen mit den klassischen kulturellen Methoden zur Bestimmung der Keimbelastung wird eine wesentliche Re- duktion der Messunsicherheit erreicht.

In der zusammenfassenden Tabelle 27 ist ersichtlich, dass das Einhalten der Präzision bei Pilotproben und Standard «tief»

Schwierigkeiten bereitet. Die beiden Standards unterscheiden sich nur unwesentlich bezüglich Einhalten der Richtigkeit.

Bei der allgemeinen paarweisen Gegenüberstellung der einzelnen Kriterien (Tabelle 28) erweisen sich 6 der 21 Korre- lationskoeffizienten als signifikant. Die höchste Übereinstim- mung ist zwischen «Blind-Maximum» und «Blind-Summe».

Kriterium Total leer erfüllt gefehlt Prozent Pilot Präzision 1664 18 1620 26 1.6

«tief» Präzision 1664 15 1625 24 1.5

«tief» Richtigkeit 1664 15 1625 24 1.5

«hoch» Richtigkeit 1664 16 1629 19 1.2

«hoch» Präzision 1664 15 1646 3 0.2 Blind Summe 1664 0 1663 1 0.1 Blind Maximum 1664 0 1662 2 0.1

Alle 11648 79 11470 99 0.9

Tabelle 27: Erfüllen der Anforderungen, Kriterien

Dies ist erklärbar, weil kaum eine Messerie mit einem hohen Maximum eine geringe Summe liefert, auch wenn die Korre- lationen sich auf die logarithmierten Werte beziehen.

Die zweitstärkste Übereinstimmung besteht zwischen «hoch- Richtigkeit» und «tief-Richtigkeit». Dies muss als Hinweis auf eine starke Verknüfpung der beiden Kriterien gedeutet werden: Geräte, die MS «tief» überbewerten, bewerten tenden- tiell auch MS «hoch» zu hoch und umgekehrt.

Eine deutlich geringere, aber dennoch signifikante positive Korrelation besteht zwischen «tief-Präzision» und «hoch- Präzision». Das bedeutet, dass Geräte mit geringer Messun- sicherheit beim MS «tief» tendenentiell auch den MS «hoch»

mit geringer Messunsicherheit bewerten.

Die verbleibenden drei signifikanten Korrelationen beschrän- ken sich auf Gegenüberstellungen zwischen Blindproben- Bestimmungen und MS «hoch». Die Richtigkeit von MS

«hoch» korreliert negativ, sowohl mit «Blind-Maximum», als auch mit «Blind-Summe», dies bedeutet, dass hohe Werte bei Blindwertbestimmungen im Zusammenwhang mit Un- terbewertungen von MS «hoch» stehen. Schliesslich ist auch die Präzision der Bestimmung von MS «hoch» mit «Blind- Maximum» korreliert. Diese positive Korrelation deutet auf eine zunehmende Messunsicherheit von Geräten, die hohe

«Blind-Maximum»-Werte aufweisen.

Die Resultate der einzelnen Kriterien sind zum Teil statistisch miteinander gekoppelt. Insbesondere «Blind-Maximum» und

«Blind-Summe» führen zu ähnlichen Aussagen. Des unge- achtet kann jedoch kaum auf eines der Kriterien verzichtet werden, denn die Abhängigkeiten sind doch relativ schwach und schlagen nur scheinbar «in die gleiche Bresche».

(25)

Blind

Summe Blind

Maximum «hoch»

Präzision «hoch»

Richtigkeit «tief»

Präzision «tief»

Richtigkeit Blind Maximum 0.918

«hoch» Präzision 0.014 0.002

«hoch» Richtigkeit -0.056 -0.041 -0.054

«tief» Präzision 0.037 0.033 0.039 -0.100

«tief» Richtigkeit 0.065 0.055 -0.047 0.655 -0.056

Pilot Präzision -0.008 -0.015 -0.001 -0.060 0.041 -0.049

Legende, Hintergrund-Farbe:

farblos Abhängigkeit nicht gesichert, Bonferroni-Wahrscheinlichkeit > 5 % gerahmt Abhängigkeit gesichert, Bonferroni-Wahrscheinlichkeit < 1 % grau Abhängigkeit gesichert, Bonferroni-Wahrscheinlichkeit < 0.1 % Tabelle 28: Abhängigkeiten der Beurteilungskriterien Matrix der Pearson- Korrelationskoeffizienten; N = 1639

5.3 Klassierung der Geräte

Die an die Zentralstelle MIBD gemeldeten Resultate der Star- troutinen des Jahres 2003 enthalten 178 Einzelkriterien, die unvollständig sind oder Werte enthalten, die vorgegebene Toleranzwerte überschreiten. Diese Unregelmässigkeiten sind allerdings ungleichmässig auf die einzelnen Geräte verteilt.

Die festgestellten Übertretungen sind in Abbildung 17 als Säulengruppen dargestellt. Auch Abbildung 15 erlaubt Gerä- tevergleiche bezüglich Richtigkeit und Präzision für Standard

«tief», Standard «hoch» und Pilotproben. Abbildung 16 gibt weitere Hinweise über Pilotproben, Abbildungen 4 bis 9 über die einzelnen Lieferungen und Abbildungen 1 und 2 über die Blindproben.

Eine zusammenfassende Klassierung der Geräte erfolgt in Ta- belle 29 und Abbildung 18, wo die fünf wichtigsten Kriterien von jedem Gerät als Jahresmittelwerte dargestellt sind. Pro

Kriterium wurde eine Rangliste angefertigt. Die Gerätemit- telwerte sind als waagrechte Balken dargestellt.

Bei der Berechnung des prozentualen nicht-Erfüllungsgrades wurden die Leerwerte nicht berücksichtigt. Dies kann zu Fehl- beurteilungen führen, wenn schlechte Messergebnisse wis- sentlich zensuriert und als Leerwerte übermittelt werden. Die ungleiche Häufigkeit von Leerwerten bei den verschiedenen Geräten (Tabelle 29) könnte als Hinweis auf einen derartigen Verdacht verstanden werden.

Weil es sich durchwegs um akkreditierte Labors handelt, wird jedoch angenommen, dass die Erfassung und Übermittlung der Messergebnisse korrekt und unbeschönigt erfolgt. Die La- bors sind verpflichtet, die Originalaufzeichnungen der Geräte aufzubewahren und gegebenenfalls vorzuweisen. Der Ver- gleich der Aufzeichnungen mit den gemeldeten Daten ist bei den Überwachungsbesuchen zu überprüfen.

Gerät Total leer erfüllt gefehlt Prozent

BSC31 1344 7 1301 36 2.7

BSC11 1162 4 1132 26 2.2 BSC81 1295 10 1270 15 1.2 BSC51 1582 17 1557 8 0.5 BSC52 1582 21 1554 7 0.4 BSC92 1638 10 1624 4 0.2

BSC21 1407 0 1405 2 0.1

BSC91 1638 10 1627 1 0.1

Total 11648 79 11470 99 0.9

Tabelle 29: Erfüllen der Anforderungen, Geräte