Über wissenschaftliche Veröffentlichungen – Das Paper und seine Methoden

Veröffentlicht: 21. April 2014 in Allgemein
Schlagwörter:,

Dieser Text ist Teil 3 – die Einleitung und das allgemeine Thema habe ich vor ein paar Tagen bemüht.

Wer möchte, kann sich das Paper hier anschauen. homer-wuergtAnsonsten werde ich die für mich relevanten Abschnitte hier besprechen – insgesamt geht es in dieser Studie um die Auswirkungen von Halsbändern und Geschirren auf den Augeninnendruck, der durch den Druck auf den Hals beeinflusst wird. Der Hintergedanke ist folgender: Ein Halsband schnürt den Hals derart ab, wenn der Hund an der Leine zieht, dass weniger Kammerwasser aus dem Auge abfliessen kann. Gleich im zweiten Absatz der Einleitung steht also folgender erster Satz: „Pressure on the neck is one factor that may affect IOP.“ Das Wort „may“ deutet darauf hin, dass gar nicht bewiesen ist, dass Druck auf den Hals den Augeninnendruck erhöht. Es könnte sein, wissen tut man es aber nicht. Googelt man ein wenig, findet man heraus, dass gar nicht wirklich klar ist, wodurch der Augeninnendruck beeinflusst werden kann, wenn man von Medikamenten und chirurgischen Eingriffen absieht. Bewegung kann gut sein, oder schlecht. Stress – positiver wie negativer – können einen Einfluss haben, oder auch nicht. Nun kann bei einem Hund Bewegung positiver wie negativer Stress ein. Erhöhter oder sehr niedriger Blutdruck können einen Einfluss haben – oder auch nicht. Zumindest beim Menschen erhöht sich die Gefahr eines erhöhten Augeninnendruckes übrigens mit dem Alter. Haha. Hier, in dieser Studie, sollte nun untersucht werden, ob es einen Unterschied macht, ob der Hund beim Ziehen ein Halsband oder ein Geschirr trägt.

Der nächste Schritt wäre, eine Nullhypothese zu definieren:
„Es macht keinen Unterschied, ob der Hund ein Halsband oder ein Geschirr trägt, während er zieht – der Augeninnendruck ist in beiden Fällen gleich.“

Das überprüft man dann. Die Statistik sagt einem, ob die Hypothese richtig (doof, weil kein tolles Ergebnis) oder falsch (yeay, es gibt einen Unterschied!) ist.

Als nächstes überlegt man sich, wie gross die Stichprobe sein muss, damit man seine Hypothese überprüfen kann. Dafür gibt es Berechnungen. Der Wert Alpha ist die angestrebte Signifikanz (im weitesten Sinne): 0.05 heisst, dass statistisch gesehen 95 von 100 Fällen zutreffen. Es gibt Journals, die dir dein Manuskript direkt zurückschicken, wenn du ihnen mit einem Signifikanzniveau von 95% kommst – die wollen auf der sicheren Seite sein. Alpha: 0.01… nur in einem von hundert Fällen wird die Behauptung nicht zutreffen. Um solche Werte zu erreichen, muss die Stichprobe entsprechend gross sein, damit man möglichst viele Wägbarkeiten eingeschlossen hat. Im idealen Fall wären das also zwischen 300 und 500 Stichproben (n = 300 bis 500).

Wenn man weiss, dass bei der Fragestellung solche Stichprobenmengen nicht oder nur schwer zu meistern sind, kann man versuchen, den Effekt (Fehler) auf die Statistik zu minimieren, indem man sich auf eine spezifische Gruppe konzentriert. Also in diesem Fall: Nur eine Rasse, ein Alter (sagen wir 4 Jahre alt), nur Rüden, nur unkastriert, alle kerngesund, gleiche Haltung, gleiche Fütterung usw. Selbst dann wird die individuelle genetische Unterschiedlichkeit dazu führen, dass man unterschiedliche Messwerte erhält, wenn es denn einen Zusammenhang gibt. Und nun schauen wir uns mal an, was die Wissenschaftler in dieser Studie für eine Stichprobe gewählt haben:

26 Hunde, 13 von jedem Geschlecht, fünf verschiedene (aber richtig verschiedene) Rassen, zwischen einem und neun Jahren alt. Keine Angaben zum Kastrationsstatus. Alle bei Privathaltern, mit ganz unterschiedlicher Haltung, was sich an den Aktivitäten dieser Hunde ablesen lässt: Schlittenhunde und Weight pulling. Fragt mich um Himmels Willen nicht, wo da der Cockerspaniel reinpasst. Ich habe nicht die geringste Idee…

Ignoriert man mal, was da für unterschiedliche Hunde untersucht wurden, kommen wir auf 26. Okay. 26. Das ist eine Stichprobe, bei der man selbst bei recht idealen Bedingungen (laut der oben verlinkten Tabelle) nur marginal über einem starken Effekt liegt und damit rechnen muss, dass die Ergebnisse bei einem Signifikanz-buh!-Niveau von 95% stark variieren – und damit nur unter idealen Bedingungen und bei einer sehr eindeutigen Fragestellung eine Aussage zulassen. Ich erinnere noch mal daran, dass noch nicht mal klar zu sein scheint, wie der Augeninnendruck beeinflusst wird…

Als nächstes sollte man sich über den Versuchsaufbau Gedanken machen. Es kann Sinn machen, die Tests an den gleichen Hunden durchzuführen, vor allem, wenn man schon so wenige Hunde zum experimentieren hat. Im Paper steht dann – frei wiedergegeben – zu dem experimentellen Ablauf folgendes:

Erst wurde gemessen, welchen Zug an einer Leine der Hund aufbaut – zuerst mit einem Halsband, dann an einem Geschirr. Für die Ermittlung des Augeninnendruckes wurde der Hund dann dazu gebracht, den gleichen Zug noch einmal aufzubauen. Zuerst für 10 Sekunden an einem Halsband, dann wurde gemessen, dann wurde nach einer weiteren Minute (ohne Zug) nochmals gemessen – und nach mindestens 5 Minuten wurde der Versuch mit dem Geschirr wiederholt.

Aber… Moment! Was? Das Geschirr wurde immer nach dem Halsband gemessen? Das heisst auch, der Hund wurde mit dem Halsband immer der Anfangsaufregung ausgesetzt? Es wurde nicht geprüft, ob es einen Unterschied macht, was man zuerst misst? Wenn man denn schon nicht hingeht und – wie es sinnvoll wäre – die Messungen an unterschiedlichen Tagen und randomisiert vornimmt und dann ausreichend wiederholt. Der Augeninnendruck wird durch Stress beeinflusst… wo hat ein Hund wohl mehr Stress? Am Anfang einer Testphase mit unbekannten Menschen und Geräten… oder wenn er sich schon eine Weile an die Situation gewöhnen konnte?

Wäre ich Gutachterin für dieses Manuskript gewesen, hätte ich mir die Ergebnisse nicht mal mehr angeschaut – und hätte die Publikation abgelehnt. Ergebnisse, die auf solchen Methoden beruhen, sind allenfalls vorläufig und können innerhalb der Forschungsplanung einer Gruppe dazu dienen, sich zu überlegen, ob es Sinn macht, sich weiter mit einem Thema zu beschäftigen. Oder um sich zu überlegen, was man an den Experimenten ändern muss, um aussagekräftige Ergebnisse zu erhalten. Mehr als eine Orientierungshilfe sind solche Werte nicht – und als Wissenschaftler sollte man sich hüten, darauf basierend Aussagen zu treffen. Dann kann man es auch gleich lassen… in diesem Fall ist das leider nicht passiert.

edit [18. Juli 2014]: Dieser Artikel macht gerade eine kleine Runde durch die Netzwelt. Um es den Lesern einfacher zu machen, sich durch die verschiedenen Teile zu robben, ist hier eine kleine Übersicht mit Verlinkungen zu den weiteren Teilen.

Teil 1 – Einleitung
Teil 2 – Halsband vs. Geschirr
Teil 3 – Das Paper und seine Methoden (diese Seite)
Teil 4 – Das Paper und seine Ergebnisse
Teil 5 – Ein Fazit

Advertisements

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s