Woran wir erkennen, dass etwas nicht funktioniert
Die Rechnung hinter der wöchentlichen Auswertung, vollständig, damit du sie nachrechnen kannst.
Jede Zahl auf dieser Seite folgt aus einem Gedanken, und den lohnt es sich zuerst zu prüfen. Eine Erkennung braucht keine feste Zahl an Kontakten. Sie braucht eine ungefähr feste Zahl erwarteter Antworten. Die nötige Kontaktzahl ist also diese Zahl geteilt durch deine Antwortquote, und nichts weiter unten macht heimlich zusätzliche Arbeit.
Alles hier ist auf das Niveau geeicht, das wir als funktionierende Kampagne behandeln: 5% der Kontakte antworten, bei einem Fehlalarm-Budget von 5%. Diese 5% sind eine Latte, die wir gesetzt haben, kein Durchschnitt, den wir gemessen haben: die Hürde, die eine Kampagne nehmen muss, kein Versprechen für deine. Angenommen wird durchgehend die Sequenz aus einem Brief und bis zu 3 Follow-ups über LinkedIn oder per E-Mail. Jede Zahl ist exakt binomial gerechnet, keine Normalverteilungsnäherung.
Dieselbe Frage, an zwei Kampagnen gestellt
Ist diese hier tot? Ein Brief allein ist eine einzige Ansprache, und dort bringt eine funktionierende Kampagne 2.67%, also braucht die Antwort 289 Kontakte. Ein Brief plus Follow-ups ist die volle Sequenz, dort bringt eine funktionierende Kampagne 5%, und die Antwort braucht 153. In beiden Fällen dieselbe Regel: tot bei 3 Antworten oder weniger. Dieselbe Fehlalarmquote, 4.9%. Dieselbe Trennschärfe, 87%. Multipliziere jede Stichprobe mit ihrer Quote, und beide landen bei rund 8 erwarteten Antworten. Genau die halten wir fest.
Die Follow-ups kaufen also keine zusätzlichen Versuche. Wer dich viermal ignoriert, ist ein Ergebnis, nicht vier. Sie kaufen eine höhere Quote, und bei seltenen Ereignissen leistet eine höhere Quote dasselbe wie eine größere Stichprobe. Genau dafür ist die Sequenz da, und deshalb ist ein einzeln verschickter Brief der teure Weg, irgendetwas zu lernen.
Was jede Stichprobengröße klärt
| Kontakte | Was das klärt |
|---|---|
| 30 | Ob überhaupt jemand liest. Bei einer Scanrate von 10% liegt die Wahrscheinlichkeit, aus 30 null Scans zu sehen, unter 5%. Null Scans sind also eine echte Nachricht. |
| 48 | Ein herausragender Ansatz beweist sich hier direkt: Eine echte Antwortquote von 25% ist nachweisbar, gute Nachrichten sind billig. Schlechte gibt es hier gar nicht. Es existiert keine Antwortzahl aus 48, bei keiner Schwelle, mit der wir eine Kampagne ehrlich für tot erklären könnten. |
| 110 | Ein Einbruch auf ein Viertel einer funktionierenden Kampagne, von 5% auf 1.25%, wird eher erkannt als nicht. Aber knapp: 60%. |
| 153 | Derselbe Einbruch wird in 87% der Fälle erkannt. Das ist der ehrliche Punkt, an dem wir es dir sagen würden. |
| 361 | Ein milderer Rückgang wird greifbar: Eine Kampagne, die die Hälfte einer funktionierenden bringt, 2.5%, wird in 80% der Fälle erkannt. |
| Außer Reichweite | Ansatz A gegen Ansatz B, und eine funktionierende Quote gegen eine etwas schlechtere. Wenn schon die Hälfte des gesunden Werts 361 Kontakte braucht, brauchen zwei eng beieinander liegende Quoten viele Hundert mehr, weit über allem, was ein Quartal Versand hergibt. Wir versuchen es nicht und melden keinen Sieger, den wir nicht sehen können. |
Was das nicht kann
Es kann keine zwei Ansätze gegeneinander testen. Die Tabelle endet, wo sie endet: Zwei eng beieinander liegende Quoten zu trennen braucht eine Stichprobe, die dieser Kanal nicht erreicht. Jede Rangfolge von Ansatz A gegen Ansatz B wäre also Rauschen mit einem Prozentzeichen. Wir wechseln Ansätze nach Urteil und danach, was Kontakte zurückschreiben, und wir sagen dir das so, statt es als Test zu verkleiden.
Es kann auch keine kleine Zahl dadurch retten, dass länger über sie geredet wird. Vor 48 Kontakten gibt es überhaupt kein Nein, und zwischen 48 und 153 lautet die ehrliche Antwort auf "ist das tot" weiterhin: zu früh. Genau das wird in der wöchentlichen Auswertung stehen.
Die Fehler, die wir akzeptieren, als Zahlen
Wir nehmen rund 5% Risiko in Kauf, einen funktionierenden Ansatz für tot zu erklären. Was das einbringt, steht in der Tabelle oben: Ein Einbruch auf ein Viertel des gesunden Werts wird bei 110 Kontakten in 60% der Fälle erkannt und bei 153 in 87%. Die beiden Fehler stehen gegeneinander, und beide zugleich sind nicht billig zu haben. Das ist der Punkt, den wir gewählt haben, und du darfst uns daran messen.
Das erklärt eine Schieflage, die du in den ersten Wochen spürst. Gute Nachrichten sind billig, schlechte teuer, weil du etwas zählst, das ohnehin selten passiert. Eine Quote deutlich über der gesunden Latte meldet sich schon in den ersten paar Dutzend Briefen. Schweigen braucht Hunderte, bevor es mit derselben Sicherheit etwas sagt.
Nahe null, und dort lebt der erste Monat, geben wir ein Wilson-Score-Intervall an statt der Normalverteilungsnäherung aus dem Lehrbuch. Dort unten legt die Näherung die Untergrenze unter null und schenkt dir eine Sicherheit, die niemand verdient hat. Wilson bleibt innerhalb des Intervalls, das es beschreibt, und bleibt bei 12 Briefen pro Woche brauchbar.
Wenn das deiner Rechnung nicht standhält
Sag es mir, dann korrigiere ich die Seite. Eine frühere Fassung dieser Antwort nannte 110 Kontakte als den Punkt, an dem sich ein Ansatz ausschließen lässt. Bei 110 würden wir diesen Einbruch in 60% der Fälle erkennen, kaum besser als ein Münzwurf, also ist die Zahl auf 153 gewandert. Diese Korrektur ist der Grund, warum es diese Seite gibt.