Pruebas A/B

Supongamos que lanzaste una encuesta de satisfacción del cliente. La tasa de respuesta es del 8%. De quienes la empiezan, la mitad la abandona en la tercera pregunta. Cambias el asunto del correo de «Responde nuestra encuesta» a «Tres minutos y mejoraremos para ti», y la tasa de respuesta sube hasta el 14%.

¿Casualidad? ¿O un patrón? Para responder esa pregunta con certeza en lugar de adivinar, existen las pruebas A/B: un método que convierte la intuición en hechos verificables.

Qué son las pruebas A/B

Las pruebas A/B (A/B Testing, Split Testing) son un método para comparar dos (o más) variantes de un mismo elemento, en el que la audiencia se divide en grupos de forma aleatoria, cada uno de los cuales ve su propia versión. La diferencia de resultados entre los grupos permite determinar qué variante funciona mejor, basándose en datos y no en opiniones.

En marketing, las pruebas A/B se asocian ante todo con las páginas de destino y los botones de «Comprar». Pero en el mundo de las encuestas este método no es menos valioso, y sin embargo se usa mucho menos. Y es una lástima: la redacción de una pregunta, la longitud del cuestionario, el tono de la invitación, el canal de distribución, todo ello influye en la calidad y la cantidad de los datos que recopilas. Y todo ello se puede probar.

Por qué probar las encuestas

Podría parecer que una encuesta es un texto que funciona o no funciona. En la práctica, entre «funciona» y «no funciona» hay un espectro de opciones, y la diferencia entre una buena encuesta y una excelente puede ser enorme: varias veces en tasa de respuesta, decenas de puntos porcentuales en la proporción de cuestionarios completados.

La redacción determina la respuesta. Un ejemplo clásico de la sociología: la pregunta «¿Deberían prohibirse los discursos públicos contra la democracia?» y la pregunta «¿Deberían permitirse los discursos públicos contra la democracia?» dan resultados estadísticamente distintos, aunque por lógica sea la misma pregunta, simplemente invertida. La palabra «prohibir» y la palabra «permitir» activan marcos mentales diferentes. Sin una prueba A/B, nunca sabrás cuánto desplaza las respuestas tu redacción concreta.

Los pequeños detalles tienen un efecto desproporcionado. El asunto del correo de invitación, la presencia o ausencia de una barra de progreso, el orden de las opciones de respuesta, el número de preguntas por página: cada uno de estos elementos parece insignificante, pero en conjunto determinan si la persona encuestada llega hasta el final. Una sola prueba puede dar un aumento del 5–10% en cuestionarios completados, y eso son cientos de respuestas completas adicionales con muestras grandes.

Se elimina la subjetividad. En cualquier equipo habrá un especialista de marketing que «siente» que un titular largo es mejor, y un analista que está «seguro» del corto. Una prueba A/B sustituye la discusión por una cifra: la variante A dio una conversión del 12%, la variante B, del 17%. Discusión terminada.

Qué se puede probar en las encuestas

La lista de elementos que se prestan a las pruebas A/B es mucho más amplia de lo que cree la mayoría de los autores de cuestionarios. Estos son los principales, de los más evidentes a los menos.

Redacción de las preguntas

El terreno principal para las pruebas. Una misma idea puede expresarse de una docena de formas, y cada una da una distribución de respuestas algo distinta.

Ejemplo. Versión A: «¿Qué probabilidad hay de que nos recomiendes a amigos o colegas?» (el clásico NPS). Versión B: «¿Nos recomendarías a alguien que conozcas?» (menos formal). La prueba mostrará si el tono de la redacción influye en la puntuación media y en la distribución entre promotores, pasivos y detractores.

Longitud del cuestionario

¿Cuántas preguntas son óptimas? ¿8? ¿12? ¿20? La única forma de averiguarlo para tu audiencia concreta es una prueba. El grupo A recibe el cuestionario completo de 15 preguntas, el grupo B, uno reducido de 8. Comparas la tasa de respuesta, la tasa de abandono y la integridad de los datos. A menudo resulta que el cuestionario corto recopila más información útil, simplemente porque se completa hasta el final.

Orden de las preguntas

¿Empezar con una pregunta general fácil o ir directo al grano? ¿Poner el CSAT al principio o al final? El orden influye tanto en las respuestas (Context Effect) como en la proporción de finalizaciones. Una prueba A/B de dos secuencias mostrará qué estructura funciona mejor para tu objetivo.

Diseño visual

El color de los botones, la presencia del logotipo de la empresa, el estilo de la barra de progreso, el número de preguntas en una sola página: todos son factores que influyen en el comportamiento de la persona encuestada. Una de las pruebas menos evidentes pero más eficaces: una página con una pregunta frente a una página con tres. La primera opción parece más sencilla, pero alarga el recorrido; la segunda es más compacta, pero puede percibirse como un «muro de texto».

Asunto y texto de la invitación

Si la encuesta se distribuye por correo electrónico, el asunto es el primer (y a menudo único) elemento que ve la persona encuestada potencial. Probar los asuntos de los correos es uno de los experimentos A/B que más rápido se rentabilizan: la diferencia entre un asunto acertado y uno fallido puede ser de 2–3 veces en tasa de apertura.

Ejemplo. Asunto A: «Encuesta de satisfacción del cliente — 2026». Asunto B: «Tenemos una pregunta para ti (lleva 2 minutos)». Asunto C: «Dmitry, cuéntanos: ¿qué deberíamos mejorar?». Pruebas los tres en partes iguales de la base y mides las aperturas y los clics en el enlace.

Incentivo para participar

¿Ofrecer un descuento por completarla? ¿Un regalo? ¿Participar en un sorteo? ¿O nada en absoluto, simplemente pedirlo con cortesía? Una prueba A/B permite entender cuánto aumenta un incentivo la participación y, lo que no es menos importante, si reduce la calidad de las respuestas. Quienes acuden por un premio a veces hacen clic por el cuestionario sin mirar, solo para conseguir la recompensa.

Cómo realizar una prueba A/B de una encuesta: paso a paso

Paso 1. Elige una sola variable

La regla principal de las pruebas A/B: un cambio por experimento. Si cambias a la vez la redacción de una pregunta, el orden de los bloques y el diseño del botón, es imposible entender qué influyó exactamente en el resultado. La disciplina de «una variable a la vez» exige paciencia, pero es también lo que garantiza la limpieza de tus conclusiones.

La excepción son las pruebas multivariantes (MVT), cuando se comprueban varias variables a la vez en distintas combinaciones. Pero para ello hace falta una muestra mucho mayor, y para la mayoría de las tareas aplicadas la prueba A/B clásica es suficiente.

Paso 2. Define la métrica de éxito

Antes de lanzar la prueba, formula qué consideras exactamente el «mejor» resultado. Métricas típicas:

• Response Rate (tasa de respuesta): la proporción de personas que empezaron la encuesta, sobre el total de invitadas
• Completion Rate (tasa de finalización): la proporción de quienes llegaron al final, sobre quienes empezaron
• Tiempo medio de cumplimentación: un indicador indirecto de la implicación
• Proporción de respuestas «basura»: respuestas en línea recta, puntuaciones idénticas en todas las preguntas, texto sin sentido en los campos abiertos
• Distribución de las respuestas: si una de las variantes de redacción desplaza la escala, esto puede indicar un carácter sugestivo de la pregunta

Paso 3. Divide la audiencia de forma aleatoria

La aleatoriedad es el fundamento del experimento. Si el grupo A son las personas encuestadas de la mañana y el grupo B las de la tarde, la diferencia en las respuestas puede deberse a la hora del día y no al cambio que se prueba. La asignación aleatoria (Random Assignment) garantiza que los grupos sean aproximadamente iguales en todos los parámetros (edad, lealtad, estado de ánimo) y que la única diferencia entre ellos sea el elemento que se prueba.

Paso 4. Espera a la significación estadística

Este es el error más frecuente: el autor de la prueba ve que la versión B va por delante tras 50 respuestas y la declara ganadora. Pero con una muestra pequeña la diferencia puede ser aleatoria. Para que el resultado sea fiable, hace falta un volumen de datos suficiente.

Una referencia: para detectar una diferencia de 5 puntos porcentuales (por ejemplo, Completion Rate del 60% frente al 65%) con un intervalo de confianza del 95%, hacen falta unas 1.500 respuestas en cada grupo. Para una diferencia de 10 p.p., unas 400. Cuanto menor sea la diferencia esperada, mayor será la muestra necesaria.

Si tu audiencia es pequeña, céntrate en probar elementos con un efecto potencialmente grande (asunto del correo, longitud del cuestionario) y no en los matices de la redacción: ahí la diferencia será perceptible incluso con volúmenes modestos.

Paso 5. Interpreta el resultado e impleméntalo

Si la diferencia es estadísticamente significativa, implementa la versión ganadora. Si no lo es, eso también es un resultado: significa que el elemento probado no influye en la métrica, y puedes elegir según otros criterios (comodidad, estilo, guía de marca). Un resultado negativo de una prueba A/B es tiempo ahorrado en futuros debates.

Errores típicos

Probarlo todo a la vez. Cambiaste la redacción, reordenaste las preguntas y cambiaste el color de fondo, y luego intentas entender qué funcionó. Eso no es una prueba A/B, es una ruleta. Un experimento, una variable.

Detener la prueba demasiado pronto. «Oh, la versión B va por delante tras 30 respuestas, ¡la lanzamos!». No. Con números pequeños, las fluctuaciones aleatorias son enormes. Determina el tamaño de muestra necesario antes de lanzar y atente a esa cifra.

Ignorar la calidad de las respuestas. ¿La versión con la encuesta corta mostró una tasa de respuesta un 20% más alta? Genial. Pero si al mismo tiempo el 40% de las respuestas son clics sin lectura, la cantidad final de datos útiles puede acabar siendo menor que la de la versión larga con menos respuesta. Mira siempre el conjunto de métricas, no una sola.

Probar con una audiencia no relevante. Si optimizas una encuesta para clientes B2B pero realizas la prueba con visitantes aleatorios del sitio, los resultados no se trasladarán. La audiencia de prueba debe coincidir lo máximo posible con la audiencia objetivo.

No documentar las pruebas. Dentro de medio año habrás olvidado qué probaste, cuáles fueron las hipótesis y por qué elegiste la variante B. Lleva una tabla: fecha, hipótesis, elemento probado, métrica, tamaño de muestra, resultado. Es la base para acumular conocimiento sobre tu audiencia.

Pruebas A/B en SurveyNinja

En el creador de SurveyNinja, las pruebas A/B de encuestas se implementan mediante una combinación de varias herramientas integradas.

Variables ocultas para etiquetar grupos. A través de las variables ocultas en la URL puedes pasar un identificador de variante (por ejemplo, ?variant=A o ?variant=B). La persona encuestada no ve el parámetro, pero este se guarda en los resultados, y puedes filtrar las respuestas por grupo, comparando métricas.

Ramificaciones lógicas para distintas versiones. Las ramificaciones lógicas permiten dirigir a las personas encuestadas a distintas versiones de una pregunta o de un bloque dentro de un mismo cuestionario. Por ejemplo, según el valor de una variable oculta, el grupo A ve la redacción «¿Qué probabilidad hay de que nos recomiendes?», mientras que el grupo B ve «¿Nos recomendarías a personas que conozcas?».

Analítica integrada con filtrado. En la sección de analítica puedes filtrar las respuestas por cualquier parámetro, incluidas las variables ocultas. Esto permite comparar los resultados del grupo A y del grupo B directamente en la interfaz, sin exportar a Excel.

Duplicar la encuesta. Para las pruebas en las que no difiere una pregunta concreta, sino todo el cuestionario (por ejemplo, una versión corta frente a una larga), puedes crear una copia de la encuesta y distribuir los dos enlaces en paralelo. Los resultados se comparan en la analítica de cada encuesta.

Las pruebas A/B de encuestas no son un lujo para los grandes departamentos de investigación, sino una herramienta de trabajo al alcance de cualquiera que esté dispuesto a dedicar un poco de tiempo a comprobar hipótesis. Una sola prueba del asunto de un correo puede duplicar la tasa de respuesta y compensar todo el esfuerzo de configuración.