Comment nous décidons que quelque chose ne marche pas
L'arithmétique derrière la lecture hebdomadaire, en entier, pour que tu puisses la vérifier.
Chaque chiffre de cette page découle d'une seule idée, et c'est elle qu'il vaut mieux vérifier en premier. Détecter ne demande pas un nombre fixe de prospects. Cela demande un nombre à peu près fixe de réponses attendues. Les prospects nécessaires, c'est donc ce nombre divisé par ton taux de réponse, et rien plus bas ne fait de travail caché.
Tout ici est calibré sur le niveau que nous traitons comme une campagne qui marche : 5% des prospects qui répondent, avec un budget de fausse alerte de 5%. Ce 5% est une barre que nous avons fixée, pas une moyenne que nous aurions mesurée : ce qu'une campagne doit franchir, pas une promesse sur la tienne. La séquence supposée partout est une lettre et jusqu'à 3 relances sur LinkedIn ou par e-mail. Chaque chiffre est un binomial exact, pas une approximation normale.
La même question, posée à deux campagnes
Celle-ci est-elle morte ? Une lettre seule, c'est une seule sollicitation, et là une campagne qui marche rend 2.67%, donc répondre demande 289 prospects. Une lettre plus les relances, c'est la séquence complète, où une campagne qui marche rend 5%, et répondre demande 153. La même règle dans les deux cas : morte à 3 réponses ou moins. Le même taux de fausse alerte, 4.9%. La même puissance, 87%. Multiplie chaque échantillon par son taux et les deux tombent sur environ 8 réponses attendues. C'est cette quantité-là que nous tenons fixe.
Les relances n'achètent donc pas plus d'essais. La même personne qui t'ignore quatre fois, c'est un résultat, pas quatre. Ce qu'elles achètent, c'est un taux plus élevé, et quand l'événement est rare, relever le taux fait le même travail qu'agrandir l'échantillon. C'est pourquoi nous relançons, et pourquoi une lettre envoyée seule est la façon chère d'apprendre quoi que ce soit.
Ce que règle chaque taille d'échantillon
| Prospects | Ce que cela règle |
|---|---|
| 30 | Si quelqu'un lit, tout simplement. À un taux de scan de 10%, voir zéro scan sur 30 a moins de 5% de chances d'arriver : zéro scan est donc une vraie nouvelle. |
| 48 | Un angle qui sort du lot se prouve d'emblée : un vrai taux de réponse de 25% est démontrable ici, et la bonne nouvelle coûte peu. La mauvaise n'est pas disponible du tout. Il n'existe aucun nombre de réponses sur 48, à aucun seuil, qui nous permettrait de déclarer honnêtement une campagne morte. |
| 110 | Une chute au quart d'une campagne qui marche, de 5% à 1.25%, devient plus souvent détectée que ratée. De justesse : 60%. |
| 153 | La même chute est détectée 87% du temps. C'est le point honnête où nous te le dirions. |
| 361 | Une baisse plus douce devient détectable : une campagne qui rend la moitié d'une campagne qui marche, 2.5%, est repérée 80% du temps. |
| Hors de portée | Angle A contre angle B, et un taux qui marche contre un taux un peu moins bon. Si la moitié du niveau sain demande déjà 361 prospects, deux taux proches en demandent plusieurs centaines de plus, bien au-delà de ce que produit un trimestre d'envois. Nous ne l'essayons pas et nous n'annoncerons pas un gagnant que nous ne voyons pas. |
Ce que cela ne peut pas faire
Cela ne permet pas d'A/B tester deux angles. Le tableau s'arrête là où il s'arrête : séparer deux taux proches demande un échantillon que ce canal n'atteindra pas, donc tout classement de l'angle A contre l'angle B serait du bruit portant un signe pourcentage. Nous changeons d'angle au jugement et selon ce que les prospects répondent, et nous te le disons comme ça plutôt que de le déguiser en test.
Cela ne peut pas non plus sauver un petit chiffre en en parlant plus longtemps. Avant 48 prospects, il n'y a aucun non, et entre 48 et 153 la réponse honnête à « est-ce mort » reste : trop tôt. C'est ce que dira la lecture hebdomadaire, dans ces termes.
Les erreurs que nous acceptons, en chiffres
Nous acceptons environ 5% de risque de déclarer mort un angle qui marche. Ce que cela achète est dans le tableau ci-dessus : une chute au quart du niveau sain est détectée 60% du temps à 110 prospects et 87% à 153. Les deux erreurs se paient l'une contre l'autre et on ne peut pas acheter les deux à bas prix. C'est le point que nous avons choisi, et tu es en droit de nous y tenir.
Cela explique une asymétrie que tu sentiras dans les premières semaines. La bonne nouvelle coûte peu, la mauvaise coûte cher, parce que tu comptes une chose qui arrive rarement dans les deux cas. Un taux nettement au-dessus de la barre saine s'annonce dès les premières dizaines de lettres. Le silence, lui, a besoin de centaines avant de dire quoi que ce soit avec la même confiance.
Près de zéro, là où vit le premier mois, nous donnons un intervalle de score de Wilson plutôt que l'approximation normale du manuel. Là en bas, l'approximation place la borne inférieure sous zéro et t'offre une confiance que personne n'a méritée. Wilson reste à l'intérieur de l'intervalle qu'il décrit et reste utilisable à 12 lettres par semaine.
Si cela ne survit pas à tes calculs
Dis-le-moi et je corrige la page. Une version antérieure de cette réponse donnait 110 prospects comme le point où un angle pouvait être écarté. À 110, nous détecterions cette chute 60% du temps, à peine mieux qu'un tirage à pile ou face, donc le chiffre est passé à 153. Cette correction est la raison d'être de cette page.