Wie wir Plausibilität rechnen

P ist die Wahrscheinlichkeit, die man beanspruchen darf

P / 10 liest sich als die maximal beanspruchbare Eintrittswahrscheinlichkeit der behaupteten Wirkung. P 8,5 heißt also nicht „ziemlich sicher“ im Gefühl, sondern: Die Evidenzlage trägt eine Aussage auf dem Niveau very likely, und keinen Deut mehr.

Welcher Beleg wie weit trägt

Jedes Argument nennt seine Evidenzbasis, und die Basis setzt den Deckel. Das ist die eigentliche Härte des Verfahrens: Wer ohne Beleg argumentiert, darf nicht behaupten, sicher zu sein — er bekommt höchstens 5, egal wie überzeugend der Satz klingt. Und wo nichts die Behauptung trägt, steht er darunter; wie weit, regelt die untere Skalenhälfte.

Ob der Beleg die Wirkung überhaupt zeigt

Die Evidenzbasis zählt Belege: woher sie kommen und wie viele es sind. Ob ein Beleg die behauptete Wirkung überhaupt zeigt, ist eine andere Frage — und die Zahl der Belege beantwortet sie nicht. Drei Untersuchungen, die dasselbe Nebeneinander beobachten, bleiben drei Beobachtungen eines Nebeneinanders; dass das eine das andere bewirkt, zeigt keine von ihnen. Nach den Deckeln der Basis allein dürften sie P 9,0 beanspruchen — mehr als ein einzelner sauberer Versuch mit Kontrollgruppe, der bei P 7,0 endet.

Diese Umkehrung beendet die Identifikationsstufe. Jedes Argument, das behauptet, die Maßnahme bewirke etwas, nennt neben der Basis die Stufe des Belegs, der genau diese Behauptung trägt. Sie setzt einen zweiten Deckel, und es gilt der niedrigere von beiden:

p_ceiling = min(Basis-Deckel, Tier-Kappe, Identifikations-Deckel)

Was jede Kausalbehauptung mitliefert

Vier Angaben, und zwar im sichtbaren Plausibilitätstext des Arguments — nicht nur in einem internen Feld, sondern dort, wo jede und jeder sie nachlesen kann. Wer sie nicht macht, steht auf der untersten Sprosse; die fehlende Angabe wird nicht wohlwollend ausgelegt.

1. Kontrafaktum. Wogegen wurde gemessen: Kontrollgruppe, Kontrollregion, Vortrend, Zufallszuweisung — oder ausdrücklich, dass es keines gibt.
2. Design in einem Wort von der Leiter. „Methodisch sauber“ oder „veröffentlichte Methodik“ sind keine Designangaben und fallen auf unbestimmt zurück.
3. Die eine Störgröße. Der Faktor, der den beobachteten Zusammenhang am ehesten auch ohne die Wirkung erzeugt — und wie das Design ihn behandelt, oder dass es ihn nicht behandelt.
4. Richtungsprüfung. Kann das Ergebnis die Maßnahme verursacht haben statt umgekehrt, oder wurde in die Behandlung hinein ausgewählt? Ein Halbsatz genügt, aber er muss dastehen.

Die Stufe misst nur die Zurechnung, nichts sonst: Ob ein Befund bestritten wird, entscheidet der Forschungsstand weiter unten; ob er aus einem anderen Land stammt, der Transfer-Abschlag. Ein unbestrittener Konsens über eine nie identifizierte Assoziation bleibt deshalb robust und assoziativ zugleich — der niedrigere Deckel greift, doppelt bestraft wird nicht.

Wie weit der Bestand sie schon trägt

16 von 746 Argumenten tragen die Angabe. Alle übrigen zählen bis zu ihrer Überarbeitung als unbestimmt: Ohne geprüftes Design ist mehr als 5,0 nicht zu beanspruchen — 265 von ihnen stehen heute darüber. Die letzte Spalte zählt die Argumente, deren P auf dem Deckel ihrer Stufe sitzt: Dort bindet die Zurechnung, nicht die Evidenz.

Wo P landet, wenn nichts trägt

Die Deckel sagen, wie hoch P steigen darf. Wo P landet, entscheidet etwas anderes: was die Behauptung trägt. Drei Träger gibt es. Forschung — eine Studie, die die Wirkung gemessen hat. Präzedenz — die Maßnahme lief anderswo, und das Ergebnis ist beobachtbar, wenigstens zum Teil übertragbar. Und eine geschlossene Wirkungskette — ein Mechanismus, der praktisch von selbst dorthin führt. Trägt einer davon, darf P bis an den Deckel. Trägt keiner, steht das Argument unter 5,0 — nicht weil etwas dagegen spricht, sondern weil nichts dafür spricht.

5,0 ist deshalb kein Nullpunkt, sondern die Obergrenze der unbelegten Behauptung: „etwa so wahrscheinlich wie nicht“ ist das Beste, was eine Behauptung ohne Studie, ohne Beispiel und ohne geschlossene Kette erreichen kann, und sie erreicht es nur mit geschlossener Kette. Nach unten ist die Leiter offen bis zur Null: Wer nach ausgewiesener Suche nichts findet und dessen Behauptung auch in sich unwahrscheinlich ist, steht bei 1,0, 0,5 oder fällt aus der Wertung. Dasselbe gilt, und schwerer noch, für Gegenbelege: Wer auf Befunde stößt, die zeigen, dass die Wirkung nicht eintritt oder nicht eingetreten ist, steht ebenfalls dort — das ist die zweite Prüfung, weiter unten. Dahinter steht eine Setzung, und sie steht offen da: Eine Wirkungsbehauptung, die nichts trägt, ist eher falsch als richtig. Das ist keine Skepsis, sondern die Bilanz der Evaluationsforschung — Peter Rossis „eiserne Regel“ von 1987 lautet, dass der erwartete Nettoeffekt eines großen Sozialprogramms null ist. Wer mehr behauptet, muss es zeigen.

Die Leiter deckelt nicht, sie platziert: Jedes Band hat eine Unter- und eine Obergrenze, und über den Deckel hebt es nie — es gilt der kleinere der beiden Werte. Das ist keine Randfrage: 48 % der bewerteten Argumente stehen unter 5,0.

P = min(Bandwert, p_ceiling)

Nichts trägt die Behauptung

Etwas spricht dagegen

Die zweite Prüfung wiegt schwerer als die erste: Nicht nur, dass niemand die Wirkung gezeigt hat — sondern dass jemand gezeigt hat, dass sie nicht eintritt oder nicht eingetreten ist. Wer auf einen solchen Befund stößt, steht tiefer, bis hinab zur Null — und wie viel tiefer, sagt der Befund, nicht das Gefühl. Gilt beides, nichts trägt und etwas spricht dagegen, bindet das tiefere Band, und nur das wird gespeichert.

Vier Fragen, bevor eine Zahl unter 5,0 fällt

1. Achsenfrage. Steht in Zweifel, ob die Wirkung eintritt, oder nur, wie groß sie ist? Reiner Größenzweifel an einer Menge, die wir selbst hergeleitet haben, ist kein Fall der Leiter: Er gehört in die Herleitung der Größe, und P bleibt oben. Anders bei einer fremden Zahl — dem Versprechen einer Partei, einer zitierten Forderung: Dort darf P die behauptete Größe korrigieren, und das Argument sagt, dass es das tut.
2. Erwartungswertfrage. Geht es um ein seltenes Ereignis mit großem Schaden — Störfall, Krise, Katastrophe? Dann gehört die Wahrscheinlichkeit in die Größe des Arguments, nicht in seine Sicherheit. Die Größe ist der Erwartungswert: Eintrittsrate mal Schaden im Ereignisfall, auf das Jahr gerechnet, die Rate aus einer benannten Quelle und ihre Unsicherheit in der Herleitung. P sagt dann, was es überall sonst auch sagt — wie verlässlich diese Rechnung ist: wie gut die Rate belegt ist, wie gut der Schaden beziffert, ob die Übertragung auf den vorliegenden Fall trägt. Der Grund für die Trennung ist wichtig: Die Deckel dieser Seite messen Evidenz. Auf eine Unfallhäufigkeit angewandt würden sie eine physikalische Rate bei 50 % kappen — und ein 0,5-Raster, das bei 5 % endet, kann eine Häufigkeit von eins zu zehntausend pro Jahr ohnehin nicht darstellen; die Größenachse trägt sie mühelos. Beides zugleich gibt es nicht: Steht die Rate in der Größe, sinkt P nicht noch einmal, weil das Ereignis selten ist. Und wer Katastrophen bewusst höher gewichten will als ihren Erwartungswert, tut das über den Wert oder einen ausgeschriebenen Zuschlag — nie über ein hochgehaltenes P: Risikoscheu ist eine Wertfrage, keine Frage der Belege.
3. Trägerfrage. Welcher der drei Träger steht hinter der Behauptung: eine Studie, ein Präzedenzfall, eine geschlossene Kette? Keiner — dann platziert die Belegleiter: ohne Träger, Kette offen oder Kette geschlossen. Mindestens einer — dann darf P an den Deckel, sofern die nächste Frage es nicht senkt. Ein Präzedenzfall zählt nur bei vergleichbarer Dosis: Ein Achtel des Betrags im Nachbarland ist kein Beispiel für die volle Maßnahme.
4. Befundfrage. Liegt ein Befund vor, der gegen die Wirkung spricht — eine Quelle, die ein gegenläufiges oder ausgebliebenes Ergebnis gemessen, beobachtet oder rechtlich festgestellt hat? Dann platziert die Befundleiter: Gegenbefund, ausgebliebener Effekt, Teilaspekt, tragendes Glied, Deckungslücke. Ein Gegenbefund zählt nur, wenn er dasselbe misst wie die Behauptung.

Dazu vier Sperren, die verhindern, dass dieselbe Tatsache zweimal kostet: Die gewählte Zahl steht einmal als Satz über die Welt im sichtbaren Plausibilitätstext („in etwa jedem dritten vergleichbaren Fall tritt das ein“, „nichts trägt das über die Kette hinaus“) — „schwach“ und „eher niedrig“ sind Stimmungen, keine Behauptungen. Die dünne Beleglage zählt einmal: Der Deckel 5,0 der Basis Plausibilität und das Belegband beantworten dieselbe Frage, das Band ist die Platzierung darunter, kein zweiter Abschlag. Steht der Gegenbefund bereits als eigenes Argument der Gegenseite auf demselben Blatt, ist er dort gebucht und senkt das Band dieser Seite nicht zusätzlich. Und die Leiter wird je Maßnahme angewandt, nie nur auf die unbequeme Seite.

Was die Zahl wieder heben kann

Eine niedrige Platzierung ist ein Stand, kein Urteil. Ein Argument darf mitführen, welcher Nachweis es heben würde und bis wohin: eine laufende Evaluation, ein Präzedenzfall, der demnächst berichtet, ein Trägerparameter, der sich messen ließe. Am heutigen Score ändert das nichts. Es sagt, wo sich die Zahl bewegen dürfte — und es steht sichtbar an der Argument-Karte, damit niemand die niedrige Zahl für endgültig hält.

Wie weit der Bestand sie schon trägt

5 der 360 Argumente unter 5,0 nennen das Band, das sie dorthin bringt. Die übrigen stehen unten, ohne zu sagen, ob nichts trägt oder etwas dagegen spricht — sie werden Thema für Thema nachgezogen.

Was über den Deckel führt — und was darunter

Der Deckel der Basis ist der Ausgangspunkt, nicht das letzte Wort. Drei Regeln heben ihn, drei binden ihn. Jede muss im Argument benannt sein; keine gilt stillschweigend.

Was der Bestand tatsächlich beansprucht

Die Deckel-Tabelle sagt, was erlaubt wäre. Diese Zahlen kommen live aus der Datenbank und sagen, was benutzt wird — vor allem: wie oft nicht die Evidenz bindet, sondern der Deckel. Gezählt wird der gesamte deutschsprachige Bestand in seiner jeweils neuesten Fassung, Wahl-Vorschläge eingeschlossen.

Zwei Deckel, nicht einer: Hinter der Evidenzbasis steht der Regel-Deckel aus der Tabelle oben — was diese Belegart allgemein trägt. Die letzte Spalte zählt dagegen die Argumente, die auf ihrem eigenen Deckel sitzen: dem Wert, der nach den Zu- und Abschlägen für dieses eine Argument übrig bleibt und der auf seiner Karte steht. Er kann unter dem Regel-Deckel liegen, auf ihm, mit Zuschlag darüber — und beim Mechanismus gibt es gar keinen, gegen den man ihn halten könnte. Die beiden Zahlen sind deshalb nicht ineinander umzurechnen.

Eine Evidenzbasis nennt jedes Argument — das Schema lässt keines ohne durch, hier sind es alle 746. Aussagekräftig ist die letzte Spalte: 45 Argumente liegen auf ihrem eigenen Deckel. Eine hohe Quote ist kein gutes Zeichen — sie heißt, dass dort nicht die Evidenz die Grenze setzt, sondern die Regel.