Encuesta piloto

Imagina lo siguiente: dedicaste dos semanas a diseñar un cuestionario. Lo consensuaste con tu equipo, revisaste la redacción, configuraste los saltos lógicos. Lo lanzaste a toda tu base de datos: 10.000 contactos. Tres días después recopilaste 1.200 respuestas y descubriste que la pregunta número 7 se interpreta de dos maneras distintas: la mitad de los encuestados la entiende como una valoración del producto, y la otra mitad como una valoración del proceso de compra.

Los datos de esa pregunta son inservibles. Y, sin embargo, era precisamente la pregunta que medía la métrica clave en torno a la cual se construyó todo el estudio. Quince minutos de prueba piloto con 15 personas habrían evitado este desastre, pero la etapa del piloto se «omitió para ahorrar tiempo».

Qué es una encuesta piloto

Una encuesta piloto (estudio piloto) es una ejecución de prueba de un cuestionario en un grupo reducido de participantes del público objetivo antes del estudio principal. El objetivo es detectar problemas de redacción, de lógica, de configuración técnica y de percepción general del cuestionario antes de que arruinen datos reales.

Una analogía de la aviación: un piloto no lleva una aeronave a un vuelo comercial sin hacer una verificación previa de todos los sistemas. Una encuesta piloto es exactamente esa verificación previa: todo parece estar configurado correctamente, pero hasta que no se prueba con personas reales no hay certeza. La percepción humana es un sistema demasiado complejo como para predecir su comportamiento desde detrás de un escritorio.

Un piloto no es solo «responder el cuestionario uno mismo». La autorrevisión es necesaria, pero no suficiente: como autor, ves en las preguntas exactamente el significado que pretendías. Un piloto es valioso precisamente porque participan personas que ven tus preguntas por primera vez, y las interpretan a su manera.

Qué problemas detecta un piloto

La lista de cosas que pueden salir mal en un cuestionario es asombrosamente larga. El pilotaje detecta la mayoría de estos problemas, siempre que sepas dónde mirar.

Redacción confusa

El hallazgo más frecuente. Una pregunta que al autor le parecía clarísima, un participante del piloto la entiende de otra manera, o no la entiende en absoluto.

Ejemplo. La pregunta: «¿Con qué frecuencia usas nuestro servicio con fines profesionales?». Un participante del piloto pregunta: «¿Y si lo uso tanto para el trabajo como para tareas personales al mismo tiempo, eso cuenta como "con fines profesionales" o no?». La redacción no contempló un caso límite que, según se vio, es típico para la mitad del público.

Opciones de respuesta faltantes

Una pregunta de opción múltiple enumera cinco opciones, pero un participante del piloto dice: «Mi caso no encaja en ninguna; tuve que elegir la más cercana, aunque sea inexacta». Eso es una señal para añadir una opción o repensar las categorías. En un estudio de campo, ese encuestado elegirá en silencio la opción «equivocada», y ni siquiera sabrás que los datos están distorsionados.

Problemas de duración

Planeaste 5 minutos, pero los participantes del piloto completan el cuestionario en 12. Después del octavo minuto empiezan a acelerar, a dar respuestas menos meditadas, a saltarse las preguntas abiertas. Esto es una señal directa: hay que acortar el cuestionario; de lo contrario, en el lanzamiento principal la tasa de abandono resultará inaceptablemente alta.

Lógica de ramificación rota

Configuraste un salto lógico: si en la pregunta 3 se selecciona la opción «No», el encuestado debe saltar a la pregunta 8. Pero, por un error en la configuración, ve la pregunta 4, que empieza con las palabras «Cuéntanos más sobre tu experiencia usando...»: una experiencia que, a juzgar por su respuesta «No», no tiene. En un piloto, el participante lo notará y te lo dirá. En un lanzamiento de campo, simplemente se confundirá y responderá al azar.

Defectos técnicos

La encuesta no se abre en ciertos dispositivos móviles. Una escala de control deslizante no funciona en Safari. Una imagen de una pregunta solo carga en escritorio. El botón «Siguiente» se corta en una pantalla pequeña. Todas estas son realidades imposibles de detectar probando el cuestionario en tu único portátil.

Preguntas sensibles

Una pregunta sobre ingresos, salud u opiniones políticas puede provocar incomodidad. Un piloto ayuda a calibrar la reacción: si tres de cada diez participantes dicen «esta pregunta me incomodó», conviene suavizar la redacción, añadir una opción «Prefiero no responder» o trasladar la pregunta al final del cuestionario, donde no afecte a la disposición a responder el resto.

Respuestas uniformes

Si el 90% de los participantes del piloto responde «4» en una pregunta de escala de cinco puntos, la pregunta no diferencia: no distingue opiniones. O la redacción es demasiado general, o la escala no encaja, o la pregunta es sencillamente obvia. Conviene eliminar o reformular esa pregunta: si todos responden igual, los datos no aportan información.

Un piloto no garantiza un cuestionario perfecto, pero sí garantiza que los errores más burdos no lleguen a la versión final. Cada problema detectado en la etapa del piloto es un problema que no arruinará mil respuestas reales.

Cómo realizar un piloto: paso a paso

Paso 1. Determina el tamaño del grupo piloto

Para la mayoría de las tareas, 10–20 personas es suficiente. No se trata de una muestra estadística: un piloto no busca obtener datos representativos. Su tarea es encontrar problemas. Las investigaciones en metodología de encuestas muestran que el 80% de los problemas de redacción se detectan ya en los primeros 10–12 participantes. Ampliar el grupo a 30–50 solo se justifica para cuestionarios complejos con muchas ramificaciones, para que cada rama sea probada al menos por unas pocas personas.

Paso 2. Recluta a los participantes adecuados

El grupo piloto debe corresponderse lo más posible con el público objetivo del estudio. Probar un cuestionario para obreros de la construcción con especialistas en marketing es inútil: no notarán la terminología del sector que dejaría perplejo al encuestado objetivo. Y viceversa: un especialista en marketing no tropezará con la palabra «conversión», pero un obrero de la construcción quizá sí.

Intenta incluir en el piloto a representantes de distintos subgrupos del público objetivo: distintas edades, distinta experiencia, distintos dispositivos (obligatorio: tanto móviles como de escritorio). Cuanto más diverso sea el grupo, más problemas distintos ayudará a detectar.

Paso 3. Realiza el piloto en dos fases

Fase A: «Pensar en voz alta» (Think-Aloud). Pide a 3–5 participantes que recorran el cuestionario contigo (en persona o por videollamada), verbalizando sus pensamientos: «Esta pregunta la entiendo así...», «Aquí me quedé pensando...», «No estoy seguro de qué opción elegir...». Es el formato más informativo: ves no solo la respuesta final, sino también el proceso de toma de decisiones. El método proviene de la entrevista cognitiva, una técnica desarrollada específicamente para probar cuestionarios.

Fase B: Realización autónoma. Los 10–15 participantes restantes recorren el cuestionario por su cuenta, como en condiciones reales. Después de terminar, hazles 3–4 preguntas: «¿Hubo preguntas que te parecieron confusas?», «¿La encuesta te pareció demasiado larga?», «¿Hubo momentos en los que querías elegir una opción que no estaba?», «¿Hay algo que quieras añadir?».

Paso 4. Analiza los resultados del piloto

Fíjate no solo en los comentarios de los participantes, sino también en los propios datos:

• Tiempo de realización. La media y la dispersión. Si la dispersión es enorme (alguien en 3 minutos, alguien en 15), lo más probable es que algunos participantes se atascaran en ciertas preguntas.
• Puntos de abandono. Si varios participantes abandonaron el cuestionario en la misma pregunta, eso es una bandera roja.
• Distribución de respuestas. Una pregunta que todos responden igual no diferencia. Una pregunta en la que la mayoría elige «Otro» está mal diseñada.
• Calidad de las respuestas abiertas. Si en una pregunta abierta los participantes escriben «ok», «no sé» o dejan el campo vacío, la redacción no motiva una respuesta detallada.

Paso 5. Aplica los cambios y (si es necesario) repite

Después del piloto, aplicas los cambios al cuestionario. Si los cambios fueron sustanciales —una pregunta clave reformulada, la estructura de ramificación modificada, un bloque entero eliminado—, conviene realizar un segundo minipiloto con 5–7 personas para asegurarte de que la nueva redacción funciona. Si los cambios son cosméticos (precisar una palabra, añadir una opción de respuesta), por lo general no hace falta un piloto repetido.

Qué no comprueba un piloto

Es importante comprender los límites de la herramienta para no sobreestimar sus posibilidades.

La representatividad de los resultados. 15 participantes del piloto no son una muestra, y sus respuestas no se pueden generalizar. Si 8 de 15 dieron un NPS de 9, eso no significa que tu NPS sea del 53%. Un piloto prueba el instrumento, no mide al público.

La tasa de respuesta del lanzamiento principal. El hecho de que 15 de 15 invitados completaran el piloto no garantiza una alta respuesta al enviarlo a 10.000. Los participantes del piloto suelen estar más motivados (se lo pediste personalmente), y su comportamiento no es representativo de un público masivo.

La comparabilidad a largo plazo. Un piloto verifica que el cuestionario funciona ahora. Pero si dentro de seis meses cambias la redacción de una pregunta clave, comparar los resultados de antes y después del cambio será incorrecto, y el piloto no te avisará de ello.

El pilotaje en SurveyNinja

En el creador de SurveyNinja, el pilotaje no requiere herramientas aparte: toda la funcionalidad para ello ya está integrada en el proceso estándar de creación de encuestas.

Vista previa. Antes de publicar, recorre el cuestionario en modo de vista previa: reproduce la encuesta exactamente como la verá el encuestado, incluidas todas las ramificaciones y condiciones. Pruébala en móvil y escritorio: el comportamiento puede diferir.

Un enlace privado para el grupo piloto. Publica la encuesta y envía el enlace solo a los participantes del piloto. Después del piloto puedes eliminar las respuestas de prueba, aplicar cambios y lanzarla al público principal, sin recrear la encuesta.

Analítica de los datos del piloto. Incluso con 15 respuestas, la analítica integrada mostrará distribuciones, tiempo medio de realización y puntos de abandono. La sección de respuestas incompletas te indicará en qué pregunta exactamente abandonaron el cuestionario los participantes.

Edición colaborativa. Suma a tus colegas mediante la edición colaborativa para que, después del piloto, el equipo pueda aplicar cambios con rapidez, sin esperar a que una sola persona recorra todos los comentarios uno por uno.

El pilotaje es la etapa más barata de una investigación y, al mismo tiempo, la más rentable. 15 minutos de prueba con 15 personas te salvan de errores que solo saldrían a la luz al analizar mil respuestas, cuando ya es demasiado tarde para corregirlos.