Systems wissensbasiertes System

Ein wissensbasiertes System zur Befundung von Schilddrüsenhormonwerten: Studie in fünf Kliniklaboratorien zur Bewertung

und Optimierung des Systems Pro.M.D.-SD*)

A knowledge based-system for the Interpretation of thyroid hormone

measurements: Evaluation and optimisation of the System Pro.M.D.-SD in five clinical laboratories

Chr. Bepperling1', R. Hehrmann1', H. Haas2', G. Hotz2», Th. Olbricht3', R. Schmidt4', E. Minder5', B. Pohl6' und Chr. Trendelenburg7' Diakonissenkrankenhaus Stuttgart, Medizinische Klinik l

2> Städtische Krankenanstalten Esslingen, Zentrallabor

3> Universitätsklinikum Essen, Medizinische Poliklinik

41 Klinikum Mannheim der Universität Heidelberg, Institut für Klinische Chemie

51 Universitätsspital Zürich, Institut für Klinische Chemie

6) Universitätsklinikum Würzburg, Institut für Hygiene und Mikrobiologie

7) Städtische Kliniken Frankfurt a.M.-Höchst, Institut für Laboratoriumsmedizin

Zusammenfassung:

Das wissensbasierte Befundungssystem für Schilddrüsenhormonwerte Pro.M.D.-SD wurde im Zeitraum von Dezember 1990 bis August 1993 in fünf Laboratorien prospektiv evaluiert. Insgesamt wurden für ca. 25000 zum Teil ausgesuchte Schilddrüsenhormon- Untersuchungen mit dem System Befundvorschläge erstellt. Dann wurden diese Befundungsvorschläge von erfahrenen Ärzten der Laboratorien entweder akzeptiert oder zurückgewiesen. Während der ersten Phase (Optimierungsphase) dieser Evaluation wurde die Wissensbasis einige Male korrigiert. Die Anzahl korrekturbedürftiger Befund- vorschläge nahm im Verlauf auf weniger als 2% ab, dies wurde in der zweiten Phase (Routinephase) der Evaluation, während der die Wissensbasis nicht mehr wesentlich modifiziert wurde, bestätigt.

Der Einsatz wissensbasierter Befundungssysteme kann dann erwogen werden, wenn diese Systeme sorgfältig entwickelt wurden und die ständige fachliche Überprüfung der Befundvorschläge durch kompetente Mitarbeiter der Laboratorien gewährleistet ist. Für einen breiten Einsatz wissensbasierter Befundungssysteme in der Laboratoriums- medizin sollten jedoch die Evaluationsstrategien weiterentwickelt und standardisiert werden.

Schlüsselwörter:

Schilddrüsenhormondiagnostik - wissensbasierte Systeme - Pro.M.D. - Evaluation wissensbasierter Systeme .

Summary:

The knowledge-based Interpretation System for thyroid hormone measurements, Pro.M.D.-SD, was evaluated prospectively in five laboratories from December 1990 until August 1993. Interpretation suggestions were created by the System for about 25,000 examinations of thyroid hormones. Some of the examinations were selected cases in part. Then these Interpretation suggestions were accepted or rejected by experienced laboratory physicians. During the first evaluation phase (optimisation · phase) the knowledge base was corrected several times. The second evaluation phase (routine phase), during which the knowledge base was not modified, confirmed a decrease in the number of corrected Interpretation suggestions to less than 2%.

*) Diese Arbeit ist ein Auszug aus der Dissertation (in Vorbereitung) an der Med. Fakultät Freiburg von Bepperling, Chr.: Erstellung und Erprobung eines wissensbasierten Systems zur Unterstützung der Schilddrüsenhormönbefundung (9)

564 Lab.med. 18: 564 (1994)

The use of knowledge-based Systems can be considered, ifthese Systems have been developed carefully and a permanent screening of the Interpretation suggestions by co m petent laboratory physicians is guaranteed. For general use of knowledge-based Interpretation Systems in laboratory medicine, evaluation strategies should be developed further and be standardised.

Keywords:

Thyroid hormone measurements - knowledge based Systems - Pro.M.D. - evaluation ofknowledge based Systems

Einleituna

Die große Zahl der in Laboratorien ermittelten Bestim- mungen macht eine individuelle und umfassende Inter- pretation der Meßwerte immer schwieriger. Diese ist aber notwendig, um einen möglichst hohen Informations- gehalt aus der Sicht der Laboratorien an die anfordern- den Ärzte weiterzugeben.

Gerade bei der Bestimmung von Schilddrüsenhormon- konzentrationen sind die methodischen Einflüsse auf die Meßwerte und eine große Zahl extrathyreoidaler Einfluß- größen so komplex, daß sie für den Nichtexperten kaum noch zu überschauen sind. Deshalb lag es nahe, ein wis- sensbasiertes Befundungssystem zu entwickeln, dessen Wissensbasis alle Einflußgrößen auf die Schilddrüsenhor- monkonzentrationen umfaßt, um neben den häufigen und alltäglichen auch die seltenen Normabweichungen zu erfassen und richtig interpretieren zu können.

Das wissensbasierte Befundungssystem Pro.M.D.-SD, das die Interpretationstexte aus den eingegebenen Schild- drüsenhormonwerten und klinischen Daten erstellt, be- steht aus zwei Teilen: Aus der Wissensbasis, die das zur Befundung notwendige Regelwerk enthält (SD steht für Schilddrüse) und aus dem Pro.M.D.-System (Prolog- System zur Unterstützung Medizinischer Diagnostik), das Mechanismen zum Abarbeiten der Regeln sowie Eigenschaften zur Einz.und Ausgabe der Daten und der Bedienerführung beinhaltet. Pro.M.D. als Werkzeug zur Erstellung von wissensbasierten Systemen ist u.a. in einer Monographie ausführlich beschrieben (Trendelen- burg und Pohl [1, 2, 3, 4]). Die klinischen Grundlagen einer rationellen Schilddrüsendiagnostik (Hehrmann [5]) sowie die klinischen Voraussetzungen und Anforderun- gen an ein wissensbasiertes System zur Schilddrüsen- hormonbefundung wurden ebenfalls beschrieben (Hehr- mann, Bepperling et. al. [6]).

Das System wurde durch retrospektive Validierung mit ausgesuchten, aus der Routine stammenden Testfällen und auch aus theoretisch konstruierten Testfällen ver- bessert.

Vor dem Einsatz eines wissensbasierten Befundungs- systems muß eine Evaluation und Bewertung durch unabhängige Experten erfolgen und schließlich muß sich ein solches System im routinemäßigen Einsatz eines großen Labors bewähren (7, 8). Die hier vorgelegte Stu- die gliedert sich daher in zwei Phasen:

a) In einer ersten Erprobungs- und Optimierungsphase wurde das wissensbasierte System zur Schilddru-

senhormonbefundung neben den beiden an der Ent- wicklung unmittelbar beteiligten Laboratorien (Esslin- gen und Stuttgart) noch in drei unabhängigen Experten- laboratorien eingesetzt und kritisch überprüft (Essen, Mannheim, Zürich). In dieser Phase wurden im Zeit- raum von Dez. 1990 bis Aug. 1991 in den fünf Labora- torien etwa 8.000 Befunde mit dem System bewertet und interpretiert.

b) Nach Abschluß der Optimierungsphase wurde in ei- ner Routinephase in drei Zentren (Esslingen, Mann- heim, Stuttgart) das System als Routineverfahren für die Schilddrüsenhormonbefundung eingesetzt. Im Zeit- raum von Aug. 1991 bis Aug. 1993 wurden in den drei Laboratorien knapp 17.000 Befunde mit dem System erstellt und interpretiert.

Hauptziel der durchgeführten Untersuchungen war zu ermittlen,, wie viele durch das System erstellte Befunde von den hinsichtlich der Schilddrüsenhormonbefundung erfahrenen Laborärzten bzw. Thyreologen akzeptiert und wie viele moniert wurden bzw. verändert werden muß- ten.

Material und Methoden

Erprobungsablauf: Zwischen September 1990 und Au- gust 1991 wurden in fünf Zentren (Essen, Esslingen, Mannheim, Stuttgart, Zürich) insgesamt 8.039 Befunde mit Hilfe von Pro.M.D.-SD erstellt. Es wurden ausschließ- lich Laboratorien ausgewählt, in denen bisher bereits eine Befundung der Schilddrüsenhormonwerte entwe- der handschriftlich oder per Diktat stattgefunden hatte.

Das Befundungssystem wurde auf PCs installiert und Hilfskräfte in der Benutzung unterwiesen. Ein Anforde- rungsbogen für die Hormonparameter und die klini- schen Daten (Hehrmann et. al. [6]) wurde in der Gestal- tung den örtlichen Gegebenheiten angepaßt. Sämtliche vom System erstellten Befundungen wurden ausgedruckt von den Experten auf ihre Richtigkeit nach folgenden Kriterien überprüft: Schreibfehler, Rechenfehler, nicht ausreichende, zu lange oder falsche Interpretationen.

In unregelmäßigen Abständen wurde die Wissensbasis mit Hilfe der korrigierten Befundberichte verbessert und als neue Fassung an alle Laboratorien wieder ausgegeben.

Das Pro.M.D.-System wurde ebenfalls schrittweise den Erkenntnissen der Entwicklungen durch Verbesserun- gen angepaßt (Versionen der Wissensbasis: Thyro-11 bis Thyro-24 (Bepperling I9]), Pro.M.D.-Versionen 6.2i - 6.3c (Pohl [10]).

Lab.med. 18:565(1994) 565

Während der Studie fanden Treffen der Experten mit den Erstellern des Systems statt, bei denen Schwächen der Wissensbasis diskutiert und behoben wurden und bei strittigen Befundkonstellationen ein gemeinsamer Kon- sens erarbeitet wurde.

Erprober Essen

In der Schilddrüsenambulanz der Medizinischen Polikli- nikdes Universitätsklinikums Essen wurde die Befundung der Schilddrüsenhormonwerte vom Oberarzt der Klinik durchgeführt. Es wurden selektiv problematische und interessante Fälle aus den Medizinischen Kliniken und der Schilddrüsenambulanz eingegeben. Die Anamnese wurde nicht über den Anforderungsbogen erhoben, son- dern aus den in der Ambulanz vorliegenden Daten einge- geben. Die Befunde wurden nicht an die Anforderer ausgegeben. Die Dateneingabe erfolgte durch ein dafür angestellten Doktoranden. Die Gesamtzahl der Befunde, betrug 1.001, an Testverfahren wurden die Gesamthor- monkonzentrationen TT3 und TT4, fT4 und TSH einge- setzt.

Esslingen

Das Zentrallabor hat als Einsender die gesamten Städti- schen Krankenanstalten Esslingen mit einer Schild- drüsenambulanz der Nuklearmedizinischen Abteilung, die Kreiskrankenhäuser und niedergelassene Ärzte. Die Befundungen wurden vom Chefarzt des Zentrallabors vorgenommen. Bis März 1991 wurden nur Befunde einge- geben, für die von den Stationen das Anforderungs- formular ausgefüllt worden war, ab diesem Zeitpunkt lief die gesamte angeforderte Routinediagnostik über das System. Die Dateneingabe erfolgte vom Laborpersonal.

An Testverfahren wurden ausschließlich die freien Hor- monkonzentrationen fT3 und fT4 und TSH eingesetzt. Die gesamte Befundzahl im Zeitraum betrug 3.201.

Mannheim

Im Hormonlabor des Instituts für Klinische Chemie des Klinikums Mannheim wurden die Schilddrüsenhormon- werte vom leitenden Oberarzt befundet. Bis Mitte 1991 wurden hauptsächlich Patientendaten eingegeben, die problematisch in der Befundung waren und für die anamnestische Daten vorlagen. Das Anforderungsfor- mular wurde dabei nicht benutzt. Im weiteren Verlauf wurde das System hauptsächlich für auswärtige Einsen- der eingesetzt. Die Dateneingabe erfolgte durch das La- borpersonal, später für die auswärtigen Einsender durch eine Sekretärin. An Testverfahren wurden die Gesamt- hormonkonzentrationen TT3, TT4 und TSH sowie der TT4/TBG-Quotient eingesetzt. Die Gesamtbefundzahl betrug 1.939.

Stuttgart

Das Schilddrüsenhormonlabor ist wie die Schilddrüsen- ambulanz der Medizinischen Klinik l angegliedert. Es wurden sämtliche Schilddrüsenhormonbestimmungen in das System eingegeben, die von den Medizinischen Kliniken sowie von der Schilddrüsenambulanz angefor-

dert wurden. Der Anforderungsbogen wurde insgesamt in einem sehr hohen Prozentsatz und für die Einsendun- gen der Schilddrüsenambulanz ausnahmslos ausgefüllt.

Die Dateneingabe erfolgte durch das Laborpersonal. An Testverfahren wurden wegen des hohen Anteils statio- närer Patienten die Gesamthormonkonzentrationen TT3 und TT4 sowie TSH durchgeführt (die freien Hormon- bestimmungen wurden in der Abteilung Nuklearmedizin durchgeführt). Die Gesamtzahl der Befunde betrug 1.898.

Zürich

Im Institut für Klinische Chemie des Universitätsspitals Zürich erfolgte die Arbeit am System durch die Ober- ärztin, die überwiegend ausgesuchte Fälle aus der Rou- tineanalytik in das System eingab. Die Befunde wurden nicht ausgegeben. Es wurden die Gesamthormonkonzen- trationen TT4 und TT3 sowie fT4 und TSH bestimmt. Die Gesamtbefundzahl betrug 1.183.

Auswertungsablauf

Alle eingegebenen Patientendaten (anamnestische Da- ten und Hormonwerte) und die korrigierten Befund- berichte wurden zentral gesammelt. Nach Abschluß der Studie wurde in den Patientendateien zusätzlich ver- merkt, ob der Befund durch den Experten korrigiert wer- den mußte oder nicht. Diese korrigierten Befundberichte wurden als „moniert" bezeichnet. Mit Hilfe eines Sortier- programms wurden die in den Grafiken dargestellten Befundgruppen ermittelt (Abb. 1-3).

Ziel war es, bei den wissensbasiert erstellten Befund- berichten die Anzahl der fehlerhaften gegenüber der Gesamtbefundzahl darzustellen. Um den Optimierungs- verlauf zeitlich beurteilen zu können, wurden die Befun- de monatlich zusammengefaßt.

Bedingt durch zwei verschiedene Prinzipien bei der Wis- sensnotation mußten Befunde von Patienten, bei denen eine schilddrüsenspezifische Therapie kontrolliert wur- de, getrennt von Befunden von Patienten ohne Therapie dargestellt und weiter analysiert werden:

Notationsprinzip l

Zur Kontrolle einer Schilddrüsentherapie (Befunde bei Therapiekontrolle) wurde bei der Wissensnotation empi- risch vorgegangen: Jede neu aufgetretene Befundkon- stellation wurde in der anfangs rudimentären Wissens- basis notiert und dadurch der Wissensumfang über die verschiedenen Therapiekonstellationen ständig vermehrt.

Zu Beginn der Studie erwarteten wir eine größere Anzahl an Konstellationen, die das System noch nicht kannte (fehlende Befundungen), die jedoch im Verlauf der Zeit durch ständiges Ergänzen abnehmen sollte und auch abnahm.

Notationsprinzip II

Das Befundungswissen über die Patientenbefunde, bei denen keine Schilddrüsentherapie kontrolliert wurde, lag von Anfang an in vollständiger Form in der Wissens- basis vor. Es wurden demnach keine der Wissensbasis unbekannten Befundkonstellationen erwartet.

566 Lab.med. 18:566(1994)

Während des Studienverlaufs'wurde die Anzahl der feh- lerhaften Befunde für die einzelnen Laboratorien ermit- telt. Für eine Bewertung des Systems waren zusätzlich Informationen über das labortypische Anforderungsprofil und über die vorhandenen anamnestischen Angaben inklusive der Fragestellungen notwendig.

Ergebnisse

Anforderungsverhalten

Relativ übereinstimmend wurden in allen Laboratorien die peripheren Schilddrüsenhormone zusammen mit dem basalen TSH in 84 - 93% der Anforderungen be- stimmt. Ein TRH-Test wurde in 6 - 11% der Anforderun- gen durchgeführt. Die peripheren Hormonkonzentratio- nen ohne TSH wurden nur in 2 - 4% angefordert.

Während in Esslingen ausschließlich die freien Hormon- fraktionen fT3 und fT4 bestimmt werden, in Essen die beiden Gesamthormonkonzentrationen und fT4, wurden in Stuttgart und Mannheim überwiegend die Gesamt- hormonkonzentrationen bestimmt und bewertet.

Verteilung der Fragestellungen

Das wissensbasierte System bietet eine Auswahl ver- schiedener Fragestellungen an. Die Fragestellungen ohne Therapiekontrolle sind untergliedert in:

1. Bestätigung Euthyreose 2. Ausschluß Hyperthyreose 3. Bestätigung Hyperthyreose 4. Ausschluß Hypothyreose 5. Bestätigung Hypothyreose 6. Fragestellung unbekannt.

Der Anteil der unbekannten Fragestellungen lag zwi- schen 0,5% und 50% (Stuttgart 1,7%, Mannheim 0,5%, Esslingen 23%, Essen 50%; im Durchschnitt 10%). Bei den ausgefüllten Anforderungsbögen war die Frage- stellung „Bestätigung Euthyreose" naturgemäß mit Ab- stand die häufigste (50 - 80%), gefolgt von der Frage- stellung „Ausschluß Hyperthyreose" (15-30%); die Fra- gestellungen „Bestätigung H'yperthyreose" und „Bestäti- gung Hypothyreose" lagen jeweils bei 2 - 4%.

Der Anteil von Fragestellungen zur Kontrolle von Schild- drüsentherapien schwankte zwischen 17% in Mannheim und Esslingen und 30% in Stuttgart, bedingt durch den relativen großen Anteil der dortigen Schilddrusen- ambulanz.

Angaben zu Medikamenten und Begleiterkrankungen Der Anforderungsbögen enthält Angaben über die wich- tigsten Begleit- und Nebenerkrankungen und die wich- tigsten Medikamente, diezu einer Veränderung der Schild- drüsenhormonkonzentrationen im Blut führen können.

Es lagen im Durchschnitt bei etwa 5% der Patienten

anamnestische Angaben vor (1-10%). Weitere anamne- stische und klinische Angaben konnten frei eingegeben werden. Diese haben zwar keinen Einfluß auf den Ent- scheidungsprozeß in der Wissensbasis, bei der Befund- freigabe durch den überprüfenden Experten können sie jedoch eventuell zusätzliche Informationen bereitstellen.

Fehlende anamnestische Angaben können prinzipiell zu Fehlinterpretatipnen durch das System führen. Deswe- gen wird ausdrücklich auf die bei der Befundung berück- sichtigten anamnestischen Angaben oder anderenfalls explizit auf das Fehlen anamnestischer Angaben hinge- wiesen. Die Qualität der Befundung hängt somit auch wesentlich von der Qualität der Ausfüllung des Anfor- derungsbogens ab.

Optimierungsphase

Durch die kontinuierliche Korrektur der Wissensbasis wurde versucht, die fehlerhaften (monierten) und fehlen- den Befundungen durch das System zu minimieren.

Bewertung der Befunde von Patienten ohne schilddrüsenspezifische Therapie

Die grafische Auswertung beschränkt sich auf vier Zen- tren, da inZürich aufgrund derauf wenigeTagezentrierten Dateneingabe keine vergleichbare grafische Darstellung möglich war.

Abbildung 1 beschreibt den Optimierungsverlauf für vier Laboratorien von Oktober 1990 bis Juli 1991. Die hintere Säulenreihe stellt die Zahl aller Befunde pro Monat dar.

Die mittlere Säulenreihe zeigt die Befunde, bei denen einer der Meßwerte außerhalb der Referenzbereiche lag, also die „pathologischen Befunde". Die vordere Säulen- reihe zeigt die Anzahl der „monierten Befunde". Da unter den Normalbefunden keine fehlerhaften Befunde durch das System zu erwarten waren, stellten wir zum besseren Vergleich der Laboratorien in der mittleren Reihe die Zahl aller Befunde abzüglich der Normalbefunde dar, d.h. die Befunde, die für das wissensbasierte System voraussicht- lich problematisch in der Beurteilung waren.

In der Routineanwendung lag der Anteil an Normal- befunden zwischen 70% in Stuttgart und 50% in Esslingen.

Dort wo das System mit ausgesuchten Patientendaten getestet wurde, z.B. in Essen bis Ende April und in Mann- heim, lag der Anteil ungefähr zwischen 20% in Essen und 30% in Mannheim. Hier ermittelten wir die Anzahl der fehlerhaften Befunde aus den nicht normalen Befunden.

Von einem anfänglichen Anteil von bis zu 40% konnte durch die Optimierung der Wissensbasis dieser deutlich gesenkt werden.

In Stuttgart wurden von Beginn an alle Untersuchungen der gesamten Routinediagnostik in das System eingege- ben. Hier lag der Anteil fehlerhafter Befunde unter den nicht normalen anfangs bei etwa 20% (entspricht ca. 4%

der Gesamtbefunde) und reduzierte sich nach vier Mona- ten auf wenige Einzelfälle.

In Esslingen und Mannheim wurde erst nach vier Mona- ten mit der Eingabe der gesamten Routine begonnen;

dort lag der Anteil der fehlerhaften unter den nicht norma- Lab.med. 18:567(1994) 567

.1

Stuttgart Befunde ohne Therapiekontrolle

Essen

OM Hw Dn Jan V» Apt M* Jan Jul Q Hon*ft* Man* B ncftl nonrta* Butimot D

Mannheim

OH Nw 0*7 Jen £·& M*/ /»«

D Mo/wf* &/</**»

Esslingen

>«M Marwvto Befand* 7f

MoflWfe Etoturt»

X\öJb. 7: Befunde ohne Therapiekontrollen von vier Erproberzentren während der Optimierungsphase

len Befunden unter 5% und fiel nach weiterer Optimierung auf unter 1% ab.

Zusammenfassend zeigt sich in allen Laboratorien wäh- rend des Verlaufs der Optimierung eine Verminderung der fehlerhaften Befunde bis zu nur noch vereinzelten monierten Befunden (unter 1%).

Bewertung der Befunde bei der Fragestellung nach Therapiekontrolle

In Abbildung 2 ist der Optimierungsverlauffür die Frage-.

Stellungen zur Therapiekontrolle dargestellt. Die hintere Säulenreihe beschreibt die Gesamtbefundzahl, die im Vergleich zu den Befunden bei den Fragestellungen ohne Therapiekontrollen etwa ein Drittel ausmacht, in der mittleren Säulenreihe ist die Anzahl der Befunde darge- stellt die das System nicht beurteilen konnte, weil diese Konstellationen noch nicht in der Wissensbasis notiert waren („fehlende Befunde"). In der vorderen Säulen- reihe ist die Anzahl der vom System noch fehlerhaft er-

stellten („monierten") Befunde und Therapiekontrollen sichtbar. Die anfänglich hohe Zahl an fehlenden Befun- den nimmt gegen Ende der Studie durch Erweiterung der Wissensbasis sehr stark bis auf vereinzelte Fälle ab. Die Zahl der monierten Befunde steigt zunächst durch vorher durchgeführtes Erweitern der Wissensbasis an, fällt dann jedoch durch Korrigieren der Wissensbasis etwas verzö- gert auch ab bis auf wenige einzelne Fälle. Die erforder- lichen Korrekturen wurden von den Experten der ver- schiedenen Laboratorien zum Teil unterschiedlich beur- teilt.

So wurde zum Beispiel die Befundung der Hyperthyreosis factitia in Mannheim bei der im Oktober installierten Ver- sion der Wissensbasis als fehlerhaft moniert. Dies führte im November zu einer Korrektur der Wissensbasis, die in Mannheim positiv aufgenommen, in Stuttgart hingegen nach der Installation der korrigierten Version nicht akzep- tiert wurde. Erst eine weitere Korrektur durch einen gemeinsam erstellten Befundtext führte zu einer akzep- tierten Systembefundung.

568 Lab.med. 18:568(1994)

Originalie

Stuttgart Befunde bei Therapiekontrolle

4.557 ftMvofl monwrf· um* fcMar«· Befund*. 10$

Q Hontot· ΒΦΛιηόΦ f F*M»nd· Μυηό· Ο TtonpMontnlUn Hugm

Mannheim

insgesamt. 327 (Οινόη monittle und feft/eno· β«4//κ>β 7

Ott Mbv O« Jm F»b M r Apr Mml Jun Jul D ΜΜ»ΙΜΤ· e*ft/m*· B Fthl.no· Mund· Q Th»npMtonln>ll*n /0*0·«·/ι*

Essen

Esslingen

! tt>«r jf leAoftiro'fefl msg«s«mt 401 (Otvon tnonivt« una tohtona« B

OH Afev Dn JM Ρ·ύ Mtr Apr M»l Jun Jul 01 Montort· Btfund* ^ F»ht»n4« Μυηϋ· Ξ TlHnpMontmlUn

Abb. 2.: Befunde bei Ther-apiekontrolle von vier Erprpberzentren

Zusammenfassend zeigt sich auch bei den Befunden unter Therapie w hrend des Optimierungsverlauf eine nahezu vollst ndige Abnahme derfehlenden und monier- ten Befunde.

Routineohase

Von Herbst 1991 an wurden in den Laboratorien in Esslin- gen, Mannheim und Stuttgart alle Schilddr senhormon- befunde routinem ig durch das System befundet. Die Auswertung erfolgte von September 1991 bis Juli 1993.

In diesem Zeitraum wurden in den drei Laboratorien ins- gesamt 17.438 Befundeerstellt davon 8.956 in Esslingen, 5.538 in Mannheim und 2.944 in Stuttgart. Es erfolgten nur noch zwei Updates von Pro.M.D.-SD jeweils zum Jahresende 1991 und 1993.

Das Anforderungsverhalten entsprach dem in der Erpro- bungs- und Optimierungsphase. Lediglich die Anzahl der

durchgef hrten TRH-Teste hatte als Folge der verbesser- ten Sensitivit t der TSH-Bestimmungen abgenommen und lag jetzt nicht mehr bei 11% der Gesamtanforde- rungen, sondern nur noch bei 4,7% (796 von 16.869).

Beanstandete Befundvorschl ge

Abbildung 3 zeigt die Befundzahlen der letzten zwei Jahre. In Unterschied zu den vorhergehenden Abbildun- gen wurde nunmehr ein logarithmischer Ma stab ge- w hlt, um die im Vergleich zu den Gesamtbefundzahlen niedrigen Zahlen der „fehlenden" und „monierten" Be- funde noch sichtbar machen zu k nnen. Die hintere Balkenreihe stellt die Gesamtbefundzahl aller drei Zen- tren dar.

Die mittlere Balkenreihe zeigt die Anzahl der „fehlenden"

Befunde, die jedoch zu weit ber 90% nicht als fehlend moniert wurden, da die Benutzern hier die M glichkeit hatten, eigene Interpretationen der schilddr senspezi- Lab.med. 18: 569 (1994) ⁵⁶⁹

Gesamtbefunde während der Routinephase

Anzahl der Befund* 17.43

1/92 1/93 Q Monierte Befunde Ü) Monierte mit doppelten Befunden O Fehlende Befunde Gesamtanzahl der Befunde

Abb. 3: Gesamtbefunde während der Routinephase (logarithmische Darstellung)

fischen Therapiekonstellationen zu ergänzen. Die vorde- re Balkenreihe zeigt die Zahl der monatlich „monierten"

Befunde inklusive der Befunde, die mehrmals aufgrund der gleichen Mängel moniert worden waren.

Trotz weiter verbesserter Wissensbasis findet sich in der Routinephase in allen drei Zentren ein weitgehend kon- stanter Anteil von ca. 0,5% „monierter" Befunde. Auch der Anteil der "fehlenden" Interpretationen unter der Fragestellung der Kontrolle einer schilddrüsenspezifi- schen Therapie hält sich gleichbleibend bei einem Mittel von 1,5% der Gesamtbefunde.

Vorselektion der Befundvorschläge

Zur Erleichterung der Befundausgabe und zur Unterstüt- zung des für die Befundung Verantwortlichen, wurde eine Trennung der Befundvorschläge in zwei Kategorien vorgenommen.

Zum einen werden in die Kategorie „Prinf'-Befunde alle diejenigen Ausdrucke eingeordnet, bei denen sowohl die klinische Fragestellung und die gemessenen Hormon- konzentrationen als auch die Konzentrationen der peri- pheren Hormonwerte und des TSH in sich konsistent, sind und keine Widersprüche ergeben.

Zum anderen werden als vorläufig noch nicht direkt auszudruckende Befunde (,,No-Print"-Kategorie) solche Befunde gekennzeichnet, bei denen entweder die Hor- monkonzentrationen in sich nicht plausibel oder konsi- stent sind (z.B. erniedrigte periphere Hormonkonzentra- tionen bei normalem TSH, erhöhte periphere Hormon- konzentrationen bei normalem TSH, normale periphere Hormonkonzentrationen bei erhöhtem TSH etc.) oder bei denen zwischen der klinischen Fragestellung und den gemessenen Hormonkonzentrationen eine Diskrepanz besteht (z.B. Fragestellung „Euthyreose" bei erhöhten peripheren Hormonkohzentrationen und supprimiertem TSH). Befunde dieser Kategorie können mit einer ent- sprechenden Kennzeichnung für eine vertiefte Überprü- fung getrennt ausgedruckt oder direkt am Bildschirm

durch den für die Befundung Verantwortlichen überprüft und eventuell modifiziert und dann ausgedruckt werden.

Diese Differenzierung hat sich inzwischen als außeror- dentlich zeitsparend und arbeitserleichternd erwiesen.

Unter den in sich konsistenten Befunden und bei Über- einstimmung zwischen klinischer Fragestellung und ge- messenen Hormonkonzentrationen kommen inzwischen Beanstandungen oder Korrekturen der Befunde des Sy- stems nicht mehr vor.

Auch unter den bekannten Befunden hat sich die Anzahl der „monierten" Befunde, bei denen bei der Befundung ein zusätzlichen Kommentar einfügt werden mußte, im- mer weiter reduziert und lag am Ende des Untersuchungs- zeitraums nur noch zwischen 1 und 3%.

Diskussion

DieAbbildungen1und2zeigen deutlich,wie wichtig eine Optimierungsphase in verschiedenen Laboratorien für ein wissensbasiertes Befundungssystem ist. Die Zahl der nicht akzeptablen Befunde durch das System hat im Beobachtungszeitraum durch inkrementelle Systemver- besserung kontinuierlich abgenommen, auch in den La- boratorien, in denen selektiv besonders problematische und besonders interessante Fälle in das Befundungs- system eingegeben wurden.

Durch Erweiterung der Wissensbasis für Patienten unter schilddrüsenspezifischer Therapie konnte auch hier der Anteil der korrekturbedürftigen bzw. „monierten" Befun- de inzwischen erheblich reduziert werden. Da die an der Evaluation beteiligten Laboratorien unterschiedliche diagnostische Strategien anwenden (z.B. Gesamthormon- konzentrationen, fT4 und TSH, ausschließlich freie Hor- monkonzentrationen und TSH oder Gesamthormon- konzentrationen, TBG und TSH), hat sich das wissens- basierte System in allen Anforderungssituationen als tauglich erwiesen.

Ohne Zweifel ist das Befundungssystem dann mit den geringsten Fehlern behaftet, wenn auf dem Anforderungs- formular sowohl die klinische Fragestellung als auch die Zusatzinformationen über Begleiterkrankungen und Medikamente angegeben werden. Diese Angaben müs- sen aber im Rahmen de.r Interpretation von Schilddrüsen- hormonbefunden ohnehin berücksichtigt werden, entwe- der beim anfordernden Arzt oder beim Laborarzt, der eine Interpretation der Meßwerte vornimmt.

Für die Akzeptanz des wissensbasierten Systems sind unterschiedliche Aspekte wichtig. Die Zuverlässigkeit beim Ausfüllen des Anforderungsformulars hängt im wesentlichen von äußeren Bedingungen ab. In einer Klinik, in der stationäre Patienten, ambulante Schilddrü- senpatienten und ein Schilddrüsenhormonlabor inte- griert betreut bzw. geführt werden, ist es relativ gut mög- lich, ein zuverlässiges Anforderungsverhalten zu errei- chen/In einem Labor mit hohem Anteil externer Einsen- der können die Untersuchungsanforderungen hingegen oft zu wenig Begleitinformation enthalten. Auch bei der Dateneingabe in das System im Labor, die mit einem Zeitaufwand von 30-60 s pro Fall verbunden ist, wird die Akzeptanz erheblich steigen, wenn ein direkter Anschluß 570 Lab.med. 18: 570 (1994)

an das Labor-EDV-System möglich ist. Dies ist inzwi- schen realisiert.

Eine ursprüngliche Motivation zur Entwicklung des wis- sensbasierten Systems war auch das Ziel einer Arbeits- ersparnis. Dieses Ziel ist für den befundenden Laborarzt inzwischen erreicht. Zusätzlich unterstützt die ständige Präsenz einer umfangreichen und umfassenden Wissens- basis eine qualitativ hochwertige, möglichst fehlerfreie Befundung. Insgesamt kann deshalb bei geeigneterfach- licher Begleitung zukünftig eine weitere Verbesserung der Befundungsqualität bei gleichzeitiger Optimierung der Befunderstellüng in den Laboratorien erwartet wer- den.

Anschrift der Verfasser:

Chr. Bepperling Prof. Dr. R. Hehrmann Medizinische Klinik l

Diakonissenkrankenhaus Stuttgart Rosenbergstraße 38

70176 Stuttgart

Literatur

1. Trendelenburg, Chr.; Pohl, B.: Pro.M.D. - Medizinische Diagnostik mit Expertensystemen: Eine Einführung mit Disketten für die Expertensystem- schale Pro.M.D., Thieme Verlag, - Stuttgart - New York, Dritte Auflage 1990 2.Trendelenburg, Chr. {1986):Zum Einsatz sogenannter Expertensysteme zur Unterstützung labormedizinischer Diagnostik: Das System Pro.M.D., GIT Labor-Medizin 9: 284-293

3. Pohl, B.; Trendelenburg, Chr. (1988): Pro.M.D-A Diagnostic Expert System:

Shell for clinical chemistry test result Interpretation, Meth. Inform. Med. 27, 3; 111-117

4. Trendelenburg, Chr. (1991): Über die Unterstützung klinisch-chemischer Spezialbefundung durch Einsatz wissensbasierter Systeme, in: J. et. al.:

Künstliche Intelligenz, GIT Verlag, Darmstadt

5. Hehrmann, R. (1986): Klinische G r u n d l a g e n einer rationellen Schilddrüsendiagnostik, Lab.med. 13, 381-386

6. Hehmann, R.; Bepperling, C.; Haas, H.; Hotz, G.; Kort, C.; Pohl, B.;

Trendelenburg, Chr. (1991): Klinische Voraussetzungen und Anforderungen aneinwissensbasiertesSystemzurSchilddrüsenhormonbefundung, Lab.med.

15, 591-597

7. Los, L.W.; Abreu-Lima, C.; Arnaud, P.; van Bemmel, J.H.; Brohet, C.; Degani, R.; Denis, B.; Gehring, J.; Graham, l.; van Herpen, G.; Machado, H.; Macfarlane, P.W.; Michaelis, J.; Moulopoulos, S.D.; Rubel, P.; Zywietz, C. (1991): The diagnostic performance of Computer programs for the Interpretation of electrocardiograms, N. Engl. J. Med. 1991; Vol. 325 No. 25,1767-1773 8. Lundsgaarde, H. (1987): Evaluating medical expert Systems, Soc. Sie. Med.

Vol. 24 No. 10,805-819

9. Bepperling, Chr.: Erstellung und Erprobung eines wissensbasierten Sy- stems zur Unterstützung der Schilddrüsenhormonbefundung. Dissertation an der Medizinischen Fakultät Freiburg, in Vorbereitung

10. Pohl, B.: Persönliche Mitteilung

Lab.med. 18:571 (1994) 571