← Alle Alben
Albumhülle: Evidence After Hours

asystole · Rapduelle · Englisch

Evidence After Hours

Große Behauptungen treffen auf kleine Stichproben.

Im Seminarraum wird das Mikrofon weitergereicht: Doctor Data trifft auf große Behauptungen, kleine Stichproben und erstaunlich selbstbewusste Tabellen. Zehn englischsprachige Stücke verbinden spielerische Wortgefechte mit den Grundlagen von Statistik, Epidemiologie und wissenschaftlichem Denken.

Jetzt anhören 10 Lieder · 39 Minuten

Ausgewähltes Lied 01 / 10

Sample Size of One

Notizen zum Lied ↓

Die Idee hinter dem Album

Behaupten kann
hier jede:r.

Der Weg führt vom p-Wert über Denkfehler und diagnostische Tests bis zu Überlebensanalysen, Kausalität und Vorhersagemodellen. Die wiederkehrende Frage passt in jede Studienbesprechung: Was genau zeigen diese Daten, und welche Annahmen tragen die Aussage?

Mehr zum musikalischen Hintergrund

Die Wortgefechte geben typischen Denkfehlern eine Stimme: Jemand erklärt sich mit einer Stichprobe von eins zum Sieger, verkauft eine relative Risikosenkung als Sensation oder hält einen hübschen Pfeil für einen Kausalitätsbeweis. Auch Doctor Data bekommt Gegenfragen. Zu jedem Stück findest du hier den fachlichen Kern und eine kleine Frage zum Wiederholen.

Ben präsentiert einen einzigen Datenpunkt auf einer riesigen Tafel. Linh hält ihre gefüllte Datentafel hoch, Dr. Yılmaz vergibt einen Keks als Preis.
Bens Stichprobe hat eine sehr übersichtliche Größe.

Lied für Lied

Die Musik. Die Merkpunkte.

Öffne einen Titel für Hintergrund, Kernwissen und eine Frage. Die Wiedergabe läuft beim Lesen weiter.

  1. 01Sample Size of OneStatistische Tests und epidemiologische Grundbegriffe3:47

    MC Anecdote hat seine eigene Anhängerschaft befragt und steht als eindeutiger Sieger fest. Doctor Data prüft zunächst die Stichprobe und nimmt danach p-Wert, Mittelwerte und Häufigkeiten auseinander.

    Drei Dinge zum Mitnehmen

    1. Der p-Wert beschreibt unter der Nullhypothese und den Modellannahmen die Wahrscheinlichkeit eines mindestens so extremen Testergebnisses wie des beobachteten. Effektgröße und Unsicherheit gehören zusätzlich zur Interpretation.
    2. t-Tests untersuchen Mittelwertunterschiede; bei verbundenen Messungen werden die individuellen Differenzen berücksichtigt. Der Chi-Quadrat-Unabhängigkeitstest vergleicht beobachtete und erwartete Häufigkeiten in einer Kreuztabelle.
    3. Inzidenz betrifft neue Erkrankungen in einem definierten Zeitraum; die Inzidenzrate bezieht sie auf Personenzeit. Punktprävalenz beschreibt den Anteil bereits erkrankter Menschen zu einem bestimmten Zeitpunkt.

    Genauer hingehört. Ein großer p-Wert kann auch bei unzureichender Teststärke entstehen; für eine Aussage über Gleichwertigkeit braucht es eine passend geplante Untersuchung.

    Kurz nachgedachtWelche Frage beantwortet ein p-Wert von 0,03?Antwort aufklappen

    Unter der Nullhypothese und den angenommenen Modellbedingungen treten Ergebnisse mindestens dieser Extremität mit einer Wahrscheinlichkeit von 3 Prozent auf.

    Audiodatei direkt öffnen
  2. 02Your Brain Has a PublicistDenkverzerrungen und Fehlschlüsse3:56

    MC Obviously kennt den Sieger schon vor Beginn, und Doctor Data hat für jede Ausrede einen Namen. Kurz vor seinem Triumph übersieht er ausgerechnet die eigenen Denkfehler; das Publikum bekommt die letzte Pointe.

    Drei Dinge zum Mitnehmen

    1. Beim Ankereffekt hält eine frühe Vermutung das Urteil fest. Bestätigungsfehler begünstigen passende Informationen; leicht erinnerliche Fälle können durch die Verfügbarkeitsheuristik übermäßig häufig erscheinen.
    2. Rückschaufehler lassen ein bekanntes Ergebnis nachträglich vorhersehbar wirken. Ergebnisverzerrungen bewerten eine Entscheidung anhand ihres Ausgangs; für ihre Beurteilung zählt auch, welches Wissen beim Entscheiden verfügbar war.
    3. Persönliche Angriffe lenken von der Begründung ab. Ein Strohmann verzerrt die gegnerische Aussage, ein falsches Dilemma unterschlägt weitere Möglichkeiten; eine bloße zeitliche Abfolge reicht für eine Kausalitätsbehauptung nicht aus.

    Genauer hingehört. Auch fachkundige Menschen können die eigenen Verzerrungen übersehen. Die Frage nach widerlegenden Beobachtungen sollte deshalb ebenso für die eigene Lieblingshypothese gelten.

    Kurz nachgedachtWarum können 90 Prozent Überleben und 10 Prozent Sterblichkeit unterschiedlich wirken?Antwort aufklappen

    Bei gleicher Gruppe und gleichem Zeitraum beschreiben beide Angaben denselben Sachverhalt. Die Darstellung als Gewinn oder Verlust kann dennoch die Bewertung verändern.

    Audiodatei direkt öffnen
  3. 03Positive About What?Diagnostische Tests und bedingte Wahrscheinlichkeiten4:05

    MC Positive erklärt einen positiven Test zum abgeschlossenen Fall. Doctor Data lässt 1.000 Personen antreten und zeigt, wie neun richtig positive Ergebnisse in einer viel größeren Gruppe falsch positiver Ergebnisse stehen können.

    Drei Dinge zum Mitnehmen

    1. Sensitivität ist der Anteil positiver Tests unter Erkrankten. Spezifität ist der Anteil negativer Tests unter Menschen ohne die untersuchte Erkrankung; der positive Vorhersagewert betrachtet Erkrankte innerhalb aller positiv Getesteten.
    2. Im Rechenbeispiel ergeben 1 Prozent Erkrankungshäufigkeit sowie jeweils 90 Prozent Sensitivität und Spezifität neun richtig positive und 99 falsch positive Befunde. Der positive Vorhersagewert beträgt 9 von 108, also rund 8,3 Prozent.
    3. Für eine Aktualisierung nach Bayes wird die Vortestwahrscheinlichkeit zunächst in das Verhältnis von Ereignis- zu Gegenwahrscheinlichkeit umgerechnet. Dieses Verhältnis wird mit dem diagnostischen Wahrscheinlichkeitsverhältnis des Ergebnisses multipliziert und anschließend zurückgerechnet.

    Genauer hingehört. Die Rechnung setzt voraus, dass die verwendeten Testeigenschaften zur untersuchten Population passen; auch ihre Schätzungen haben Unsicherheit.

    Kurz nachgedachtWie viele Erkrankte werden im Beispiel mit 1.000 Personen durch den Test übersehen?Antwort aufklappen

    Eine Person: Von zehn Erkrankten testen neun positiv und eine negativ.

    Audiodatei direkt öffnen
  4. 04Who Got Through the Door?Störfaktoren, Auswahl und kausale Pfade3:48

    Der Herausforderer hat vorsichtshalber jede verfügbare Variable berücksichtigt, sogar die Schuhgröße. An der Krankenhaustür wird sichtbar, wie die Auswahl von Patient:innen selbst einen scheinbaren Zusammenhang erzeugen kann.

    Drei Dinge zum Mitnehmen

    1. Eine gemeinsame Ursache von Behandlung und Ergebnis kann deren beobachteten Zusammenhang verzerren. Im Lied beeinflusst der Schweregrad sowohl die Behandlungswahl als auch die Prognose.
    2. Eine vermittelnde Variable liegt auf einem kausalen Pfad. Wer sich für den Gesamteffekt interessiert, kann durch ihre statistische Berücksichtigung einen Teil des untersuchten Wirkwegs ausblenden.
    3. Bei einer gemeinsamen Wirkung treffen zwei Pfeile zusammen. Die Beschränkung auf diese Variable, etwa eine Krankenhausaufnahme, kann zwischen ihren Ursachen einen zusätzlichen Zusammenhang erzeugen.

    Genauer hingehört. Welche Rolle eine Variable spielt, hängt von Fragestellung und angenommenem Ursachengefüge ab. Eine lange Liste berücksichtigter Variablen kann deshalb neue Verzerrungen einführen.

    Kurz nachgedachtWarum können Grippe und Frakturen unter aufgenommenen Patient:innen zusammenhängen, obwohl sie in der Bevölkerung unabhängig sind?Antwort aufklappen

    Wenn beide die Aufnahme beeinflussen, wird mit der Auswahl der stationären Patient:innen auf eine gemeinsame Wirkung bedingt. Dadurch kann innerhalb dieser Gruppe ein Zusammenhang entstehen.

    Audiodatei direkt öffnen
  5. 05Stay With Your DrawRandomisierung und Auswertung klinischer Studien3:55

    Der Gegner hat die einfachsten Fälle auf seine Seite gestellt und nennt das einen guten Start. Doctor Data übergibt die Zuteilung dem Zufall und fragt später auch nach den Teilnehmenden, die die Behandlung gewechselt oder abgebrochen haben.

    Drei Dinge zum Mitnehmen

    1. Randomisierung verteilt prognostische Faktoren im statistischen Erwartungswert ausgewogen. In einer konkreten Stichprobe können zufällige Unterschiede zwischen den Gruppen verbleiben.
    2. Eine verdeckte Zuteilungsfolge schützt während der Aufnahme vor Kenntnis der nächsten Gruppenzuweisung. Verblindung betrifft anschließend die Kenntnis der erhaltenen Behandlung; es sollte klar benannt werden, wer verblindet war.
    3. Für den Effekt der Behandlungszuweisung werden Teilnehmende nach ihrer ursprünglich zugeteilten Gruppe ausgewertet. Dazu gehören nach Möglichkeit auch Ergebnisse nach Abbruch oder Wechsel der Behandlung.

    Genauer hingehört. Fehlende Endpunkte benötigen weiterhin begründete Annahmen und geeignete Analysen. Die Bezeichnung einer Auswertung als ITT schließt diese Lücke allein nicht.

    Kurz nachgedachtWarum kann das nachträgliche Entfernen aller Therapieabbrecher:innen die Ergebnisse verzerren?Antwort aufklappen

    Die Gründe für einen Abbruch können mit der Prognose zusammenhängen. Durch das Entfernen entsteht eine neue Auswahl innerhalb der ursprünglich randomisierten Gruppen.

    Audiodatei direkt öffnen
  6. 06Fifty Percent of What?Absolute und relative Risiken3:58

    Der große Auftritt beginnt mit einer Risikosenkung von 50 Prozent. Doctor Data fragt nach Ausgangsrisiko, Ereignis und Zeitraum, bis die Werbezahl eine verständliche Bedeutung bekommt.

    Drei Dinge zum Mitnehmen

    1. Sinkt im Beispiel das Einjahresrisiko von 10 auf 5 Prozent, beträgt die relative Senkung 50 Prozent und die absolute Senkung fünf Prozentpunkte.
    2. Der Kehrwert der absoluten Risikosenkung als Dezimalzahl ergibt hier 1 ÷ 0,05 = 20. Im Mittel müssten 20 Personen ein Jahr lang statt der Vergleichsbehandlung die untersuchte Behandlung erhalten, um ein zusätzliches Ereignis zu verhindern.
    3. Bei einer Senkung von 2 auf 1 Prozent bleibt die relative Senkung bei 50 Prozent; die entsprechende Behandlungszahl steigt auf 100. Eine Zunahme eines Schadens von 1 auf 3 Prozent entspricht im selben Zeitraum einem zusätzlichen Schaden je 50 Behandelten.

    Genauer hingehört. Alle Zahlen im Lied sind erfundene Rechenbeispiele. Für reale Entscheidungen zählen zusätzlich Unsicherheit, Schwere der Ereignisse und die Präferenzen der Betroffenen.

    Kurz nachgedachtWarum braucht die Behandlungszahl immer einen Zeitraum und eine Vergleichsbehandlung?Antwort aufklappen

    Sie beruht auf der Differenz zweier Risiken für dasselbe Ereignis innerhalb desselben Zeitraums. Andere Vergleichsbedingungen oder Beobachtungszeiten können diese Differenz verändern.

    Audiodatei direkt öffnen
  7. 07Censored Isn't CuredÜberlebensanalyse und Zensierung4:07

    Aus einer halbierten momentanen Ereignisrate macht Hazard Harry gleich eine verdoppelte Lebensdauer. Die Antwort beginnt bei der Uhr: Was wurde beobachtet, bis wann wissen wir davon, und was bedeutet ein kleiner Strich auf der Kurve?

    Drei Dinge zum Mitnehmen

    1. Bei Rechtszensierung ist bis zum letzten bekannten Beobachtungszeitpunkt kein untersuchtes Ereignis dokumentiert. Für die anschließende Zeit bleibt der Verlauf unbekannt.
    2. Die Kaplan-Meier-Kurve sinkt bei beobachteten Ereignissen. Zensierungen verändern die Zahl der weiterhin beobachteten Personen in der Risikomenge und müssen unter geeigneten Annahmen berücksichtigt werden.
    3. Die momentane Ereignisrate bezieht sich auf Personen, die unmittelbar zuvor noch ereignisfrei sind. Ihr Verhältnis zwischen Gruppen benötigt eine zeitbezogene Interpretation; die mediane Überlebenszeit liegt dort, wo die Überlebenskurve erstmals 50 Prozent oder weniger erreicht.

    Genauer hingehört. Wenn die Kurve während der Nachbeobachtung über 50 Prozent bleibt, lässt sich der Median daraus noch nicht bestimmen. Ein Ratenverhältnis von 0,5 allein erlaubt keine Berechnung einer verdoppelten Lebensdauer.

    Kurz nachgedachtWas passiert mit der Kaplan-Meier-Kurve an einem Zeitpunkt, an dem ausschließlich zensiert wird?Antwort aufklappen

    Die geschätzte Überlebenswahrscheinlichkeit bleibt an diesem Zeitpunkt unverändert. Für spätere Ereignisse verkleinert sich die beobachtete Risikomenge.

    Audiodatei direkt öffnen
  8. 08Diamond in the ForestMetaanalysen und fehlende Evidenz3:42

    Ein glänzender Diamant in der Ergebnisgrafik soll die Debatte beenden. Doctor Data betrachtet erst die einzelnen Studien und fragt dann nach den Untersuchungen, die es nie bis zur Veröffentlichung geschafft haben.

    Drei Dinge zum Mitnehmen

    1. Eine systematische Übersichtsarbeit legt Frage, Suche und Auswahl nachvollziehbar fest. Eine Metaanalyse fasst geeignete Effektschätzungen quantitativ zusammen; ihre Qualität hängt auch von den eingeschlossenen Studien ab.
    2. Bei der Gewichtung nach inverser Varianz erhalten präzisere Schätzungen mehr Gewicht. Die gepoolte Raute zeigt den zusammengefassten Effekt und sein Konfidenzintervall; ein Zufallseffektmodell berücksichtigt zusätzlich Unterschiede zwischen den wahren Studieneffekten.
    3. I² beschreibt den geschätzten Anteil beobachteter Variation, der auf Heterogenität zurückgeht, und hängt auch von der Studienpräzision ab. Eine asymmetrische Trichtergrafik kann durch selektive Veröffentlichung, Unterschiede zwischen Studien oder Zufall entstehen.

    Genauer hingehört. Das Zusammenfassen vieler Studien kann Verzerrungen aus diesen Studien mit übernehmen. Ein enges Konfidenzintervall beschreibt die statistische Präzision unter den jeweiligen Annahmen.

    Kurz nachgedachtWelche zusätzliche Frage stellt ein Vorhersageintervall in einer Metaanalyse?Antwort aufklappen

    Es beschreibt unter den Modellannahmen, in welchem Bereich der wahre Effekt in einer weiteren vergleichbaren Untersuchung liegen könnte. Bei wenigen Studien ist diese Schätzung oft besonders unsicher.

    Audiodatei direkt öffnen
  9. 09Draw Me a ReasonKausale Fragen und ihre Annahmen3:45

    Professor Arrow zeichnet einen Pfeil und erklärt die Ursache für bewiesen. Sein Bleistift bekommt Gegenfragen: Welche Entscheidung wird verglichen, welche anderen Ursachen wurden bedacht, und wann beginnt die Beobachtung?

    Drei Dinge zum Mitnehmen

    1. Ein kausaler Effekt vergleicht mögliche Ergebnisse unter unterschiedlichen Behandlungsstrategien. Für eine Person am selben Entscheidungspunkt wird nur der Verlauf unter der tatsächlich erhaltenen Strategie beobachtet.
    2. Ein gerichteter azyklischer Graph beschreibt Annahmen über Ursachen und enthält keine gerichtete Schleife. Auch das Weglassen eines Pfeils ist eine Annahme; zeitlich getrennte Messungen können Rückkopplungen über mehrere Zeitpunkte abbilden.
    3. Zu wichtigen Identifikationsannahmen gehören Konsistenz bei klar definierten Interventionen, bedingte Austauschbarkeit der möglichen Ergebnisse und eine positive Wahrscheinlichkeit jeder betrachteten Behandlungsoption innerhalb der relevanten Merkmalsgruppen.

    Genauer hingehört. Teilnahmevoraussetzungen, Behandlungszuweisung und Beginn der Nachbeobachtung müssen zeitlich zusammenpassen. Eine Gruppenzuordnung anhand späteren Überlebens kann einen künstlichen Überlebensvorteil erzeugen.

    Kurz nachgedachtWas bedeutet die Positivitätsannahme für einen Vergleich zweier Behandlungen?Antwort aufklappen

    In jeder für den Vergleich relevanten Merkmalsgruppe muss eine Wahrscheinlichkeit größer als null bestehen, jede der beiden Behandlungen zu erhalten.

    Audiodatei direkt öffnen
  10. 10You Memorized the ExamVorhersagemodelle und ehrliche Validierung3:43

    Das Modell des Herausforderers ist auf seinen Entwicklungsdaten perfekt. Sobald neue Patient:innen hinzukommen, muss es zeigen, ob es über auswendig gelernte Zufälligkeiten hinaus etwas gelernt hat.

    Drei Dinge zum Mitnehmen

    1. Bei Überanpassung erfasst ein Modell auch zufällige Besonderheiten seiner Entwicklungsdaten. Datenaufbereitung und Auswahl der Modelleinstellungen gehören bei einer Kreuzvalidierung jeweils in den Entwicklungsteil, damit Prüfwerte unabhängig bleiben.
    2. Trennschärfe beschreibt, wie gut ein Modell Personen mit und ohne Ereignis ordnet. Bei einem binären Ergebnis entspricht die AUC der Wahrscheinlichkeit, dass eine zufällig gewählte Person mit Ereignis höher eingestuft wird als eine zufällig gewählte Person ohne Ereignis; Gleichstände zählen zur Hälfte.
    3. Kalibrierung prüft, ob vorhergesagte Risiken zu beobachteten Häufigkeiten passen. In einer großen Gruppe mit jeweils 20 Prozent vorhergesagtem Einjahresrisiko wären bei guter Kalibrierung ungefähr 20 Ereignisse je 100 Personen zu erwarten.

    Genauer hingehört. Eine externe Validierung untersucht das festgelegte Modell an neuen geeigneten Daten. Der Nutzen für die Versorgung braucht zusätzlich eine Bewertung der ausgelösten Entscheidungen und ihrer Folgen.

    Kurz nachgedachtWas sagt eine AUC von 0,9 über ein zufällig gezogenes Paar aus einer Person mit und einer ohne Ereignis?Antwort aufklappen

    Das Modell ordnet die Person mit Ereignis mit einer Wahrscheinlichkeit von 90 Prozent höher ein, mit halbem Gewicht für Gleichstände. Die Trefferquote bei einem bestimmten Entscheidungsschwellenwert muss gesondert bestimmt werden.

    Audiodatei direkt öffnen