Hablando con Andrew Cannon, Executive Director de GRBN, durante el recientemente celebrado ESOMAR WORLD EVENT en Dublín, me comentaba: “cuando empecé mi carrera como investigador hace cerca de 20 años, antes de lanzar un estudio a campo siempre realizábamos un piloto para testar el cuestionario. Y estamos hablando de encuestas personales y telefónicas. Sin embargo, hoy en día, cuando hacer un piloto en Internet es mucho más fácil, prácticamente nadie lo hace”.
La reflexión de Andrew refuerza mi percepción de que el investigador ha dejado de dar la importancia que se merece al cuestionario, preocupado quizá por adaptarse a un nuevo entorno tecnológico y bajo una tremenda presión por los plazos y los costes. ¡Qué gran error!
¿Queremos sólo datos o información?
La velocidad lo es todo, nos dicen los profetas de la nueva investigación: “prefiero un dato imperfecto ahora que uno perfecto mañana”. Esto es verdad hasta cierto punto, dependerá de lo imperfecto del dato. ¿O acaso estamos dispuestos a aceptar un dato simplemente erróneo, desviado de la realidad, por el hecho de obtenerlo con inmediatez?
La exigencia actual del time-to-market no puede ir en detrimento de la fiabilidad de la información que obtenemos. Y la fiabilidad en investigación cuantitativa depende del cuestionario.
Hacer un buen cuestionario es casi un arte, o por lo menos un oficio que como tantos otros corre el riesgo de perderse. Es una tarea difícil. No estoy pensando solo en las reglas fundamentales que todo investigador debería conocer y aplicar, como redactar preguntas con corrección gramatical, elaborar alternativas de respuesta exhaustivas y mutuamente excluyentes, etc. Lamentablemente, el lenguaje humano es un sistema poderoso, distintivo de nuestra especie, pero extremadamente complejo y ocasionalmente ambiguo.
Entrevistas cognitivas
Linda Naiditch, de Mathew Greenwald & Associates, expuso hace un par de años en un artículo publicado en la revista Quirks, las virtudes de un método empleado por su compañía con el fin de elaborar mejores cuestionarios.
El punto de partida de Linda es el famoso “no sabemos lo que no sabemos”. Cuando elaboramos un cuestionario, podemos redactarlo y revisarlo únicamente (1) desde la perspectiva que tenemos del problema a investigar, (2) desde nuestro conocimiento de la terminología propia del problema y, muy importante, (3) desde nuestra forma de emplear el lenguaje. Pero estas tres cosas pueden ser muy diferentes para cada uno de los individuos que van a ser encuestados. El cuestionario puede ser interpretado de formas dispares.
En el momento de elaborar un cuestionario, esta divergencia puede llevarte a alguna de las siguientes situaciones:
- Los respondientes no encuentran una opción de respuesta que refleje su opinión acerca de una cuestión particular.
- La lista de factores que has considerado como relevantes en el problema investigado no incluye todos los factores que son relevantes para el objetivo del cliente.
- Los respondientes piensan que un término empleado en el cuestionario significa algo diferente de lo que tú piensas.
- Los respondientes malinterpretan por completo el objeto de una pregunta.
- Simplemente has obviado preguntar algo relevante en el cuestionario por desconocimiento
De acuerdo, algunas de estas cuestiones pueden solventarse mediante un estudio piloto, un estudio cualitativo previo o pidiendo a otros investigadores que revisen tu cuestionario. Son medidas que deberían tomarse, pero ninguno de estos métodos garantiza que tu cuestionario logre tu objetivo.
Linda lleva tiempo empleando una herramienta complementaria para solventar estos problemas: la entrevista cognitiva. Se trata de un tipo de pre-test especializado, centrado en descubrir la forma en que el respondiente piensa cuando lee/escucha las preguntas de un cuestionario. El objetivo es descubrir cómo está interpretando el significado de las preguntas y las posibles respuestas, qué está pensando cuando delibera qué responder, cómo decide sus respuestas y qué significado tienen las mismas.
La forma en que se realizan estas entrevistas cognitivas fue descrita por primera vez por Gordon B. Willis en su obra “Cognitive Interviewing: A Tool For Improving Questionnaire Design”. Algunos de los métodos sugeridos por Willis son:
- Pedir a los respondientes que redacten las preguntas con su propio lenguaje.
- Pedirles que expliquen al entrevistador qué piensan mientras deliberan sus respuestas.
- Preguntarles qué significan para ellos algunas palabras o frases fundamentales del cuestionario.
- Preguntar en qué medida les resulta fácil o difícil responder a una pregunta, y en caso de dificultad, identificar qué la motiva.
- Buscar indicios que indiquen la existencia de un problema, como puede ser la duda en el momento de responder o la respuesta contradictoria entre dos preguntas.
- Formular preguntas cerradas como si fuesen abiertas, antes de mostrar las opciones de respuesta, para asegurar que estamos presentando todas las categorías relevantes.
Ejemplos
Linda, en su artículo, ofrece varios ejemplos concretos de cómo esta metodología le ha ayudado a evitar errores en el pasado.
En un estudio sobre nutrición, una de las preguntas indagaba en qué medida factores como el “sabor”, el “precio”, lo “saludable” del alimento o su “sostenibilidad” influían en la decisión de compra. Gracias a una entrevista cognitiva, fue posible identificar que un respondiente entendía por “sostenibilidad” cuánto tiempo se mantenía un alimento fresco fuera de la nevera. El investigador, sin embargo, al usar este término, pretendía preguntar acerca de connotaciones relacionadas con el impacto ecológico, económico y social de la producción del alimento.
Otro ejemplo: ante la siguiente pregunta…
Por lo que sabes, tu tensión sanguínea es…
- Alta o más alta de lo normal.
- Normal (o en un rango normal).
- Baja o más baja de lo normal.
- No estoy seguro.
… un entrevistado planteó la siguiente cuestión al entrevistador: “¿Cómo debería responder si mi tensión, de forma natural, es más alta de lo normal, pero gracias a la medicación está en niveles normales?”. Muy buena pregunta, ¿no? ¿Qué estamos midiendo realmente?
En todos estos casos los cuestionarios fueron reformulados para eliminar ambigüedades o incluso para profundizar en algunas cuestiones surgidas gracias a la forma de interpretar las preguntas.
Una oportunidad de añadir valor a los clientes
Invertir en la elaboración de buenos cuestionarios impacta directamente en la calidad de los datos y en la solidez de las decisiones de los clientes. Incluir en una propuesta comercial un servicio como el descrito anteriormente y demostrar al cliente cómo puede garantizar el cumplimiento de sus objetivos, puede ser un motivo de decisión de compra.
Si te planteas cuál es el coste de esta metodología, es decir, cuantas entrevistas cognitivas es necesario hacer, de acuerdo a la experiencia de Linda, 5 entrevistas ya representan un gran impacto en la calidad del cuestionario. Otros autores como Gordon B. Willis recomiendan hacer 3 rondas de 10 entrevistas.
¿Vale la pena el esfuerzo? Bien, dependerá de tu capacidad de poner en valor la calidad de tus cuestionarios frente al cliente.
