Cómo decidimos que algo no funciona
La aritmética detrás de la lectura semanal, completa, para que la compruebes.
Cada número de esta página sale de una sola idea, y conviene comprobar esa primero. Detectar algo no necesita un número fijo de prospectos. Necesita un número aproximadamente fijo de respuestas esperadas. Así que los prospectos que hacen falta son esa cifra dividida entre tu tasa de respuesta, y nada de lo que viene abajo hace trabajo oculto.
Todo esto está calibrado contra el nivel que tratamos como campaña que funciona, un 5% de prospectos respondiendo, con un presupuesto de falsa alarma del 5%. Ese 5% es un listón que declaramos, no una media que midiéramos: lo que una campaña tiene que superar, no una promesa sobre lo que hará la tuya. La secuencia que se asume en todo momento es una carta y hasta 3 seguimientos por LinkedIn o por correo. Cada cifra es binomial exacta, no una aproximación normal.
La misma pregunta, hecha a dos campañas
¿Está muerta esta? Una carta sola es una única petición, y ahí una campaña que funciona rinde un 2.67%, así que responder pide 289 prospectos. Una carta más los seguimientos es la secuencia completa, donde una campaña que funciona rinde un 5%, y responder pide 153. La misma regla en los dos casos: muerta con 3 respuestas o menos. La misma tasa de falsa alarma, 4.9%. La misma potencia, 87%. Multiplica cada muestra por su tasa y las dos salen en torno a 8 respuestas esperadas. Esa es la cantidad que mantenemos fija.
Así que los seguimientos no compran más intentos. La misma persona ignorándote cuatro veces es un resultado, no cuatro. Lo que compran es una tasa más alta, y cuando el suceso es raro, subir la tasa hace el mismo trabajo que ampliar la muestra. Por eso secuenciamos, y por eso una carta enviada sola es la forma cara de aprender algo.
Qué resuelve cada tamaño de muestra
| Prospectos | Qué resuelve |
|---|---|
| 30 | Si alguien lo está leyendo siquiera. Con una tasa de escaneo del 10%, ver cero escaneos de 30 tiene menos de un 5% de probabilidad, así que cero escaneos es una noticia de verdad. |
| 48 | Un ángulo sobresaliente se demuestra de inmediato: una tasa real de respuesta del 25% es demostrable aquí, y las buenas noticias salen baratas. Las malas no existen todavía. No hay ningún número de respuestas sobre 48, con ningún umbral, que nos permita declarar honestamente muerta una campaña. |
| 110 | Un desplome a la cuarta parte de lo que rinde una campaña que funciona, del 5% al 1.25%, pasa a detectarse más veces que no. Por poco: 60%. |
| 153 | Ese mismo desplome se detecta el 87% de las veces. Este es el punto honesto en el que te lo diríamos. |
| 361 | Una caída más suave entra en rango: una campaña que rinde la mitad de una que funciona, 2.5%, se detecta el 80% de las veces. |
| Fuera de alcance | Ángulo A contra ángulo B, y una tasa que funciona contra otra un poco peor. Si la mitad del nivel sano ya pide 361 prospectos, dos tasas que quedan cerca piden muchos cientos más, muy por encima de lo que da un trimestre de envíos. No lo intentamos y no vamos a anunciar un ganador que no podemos ver. |
Lo que esto no puede hacer
No puede comparar dos ángulos en un A/B. La tabla termina donde termina: separar dos tasas que quedan cerca necesita una muestra que este canal no va a alcanzar, así que cualquier ranking del ángulo A contra el B sería ruido con un signo de porcentaje. Cambiamos de ángulo por criterio y por lo que responden los prospectos, y te lo decimos así en vez de disfrazarlo de test.
Tampoco puede rescatar una cifra pequeña hablando más rato de ella. Antes de 48 prospectos no hay ningún no, y entre 48 y 153 la respuesta honesta a "¿esto está muerto?" sigue siendo que es pronto. Eso es lo que dirá la lectura semanal, con esas palabras.
Los errores que aceptamos, en números
Aceptamos cerca de un 5% de probabilidad de declarar muerto un ángulo que funciona. Lo que eso compra está en la tabla de arriba: un desplome a la cuarta parte del nivel sano se detecta el 60% de las veces con 110 prospectos y el 87% con 153. Los dos errores se pagan uno contra otro y no se pueden comprar los dos baratos. Ese es el punto que elegimos, y tienes derecho a exigírnoslo.
Explica una asimetría que vas a notar en las primeras semanas. Las buenas noticias son baratas y las malas caras, porque estás contando algo que apenas ocurre en ninguno de los dos casos. Una tasa muy por encima del listón sano se anuncia sola en las primeras decenas de cartas. El silencio necesita cientos antes de decir algo con la misma confianza.
Cerca de cero, que es donde vive el primer mes, damos un intervalo de puntuación de Wilson en vez de la aproximación normal del libro de texto. Ahí abajo la aproximación pone el límite inferior por debajo de cero y te regala una confianza que nadie se ganó. Wilson se queda dentro del intervalo que describe y sigue siendo usable con 12 cartas por semana.
Si esto no sobrevive a tus cuentas
Dímelo y arreglo la página. Una versión anterior de esta respuesta señalaba 110 prospectos como el punto en el que se podía descartar un ángulo. Con 110 detectaríamos ese desplome el 60% de las veces, apenas mejor que lanzar una moneda, así que la cifra se movió a 153. Esa corrección es la razón de que exista esta página.