En un post reciente explicaba cómo nuestro nuevo software de encuestas - Survey Manager 2 - se adapta perfectamente a metodologías de investigación que hasta ahora sólo se podían implementar con aplicaciones informáticas especializadas, o incluso desarrolladas a medida. Una de estas metodologías es la técnica de investigación MAXDIFF.
Voy a tratar de explicar qué es un estudio MAXDIFF y por qué nuestro software puede implementar en un tiempo récord cuestionarios que usen esta técnica.
MAXDIFF (Maximum Difference Scaling) es una técnica de investigación descrita por primera vez por Jordan Louviere en 1987. Esta metodología, compleja de usar en entrevistas personales/telefónicas, ha cobrado relevancia con la aparición de los cuestionarios online.
El propósito del MAXDIFF es medir la importancia relativa de un conjunto de atributos para un grupo de encuestados. Su principal característica: es capaz de obtener la información del respondent de una forma natural, lo cual repercute en la obtención de información más veraz.
Alternativas existentes
Medir la importancia relativa de una serie de atributos (les llamaré ítems a partir de ahora) es algo habitual en cualquier encuesta. Los principales métodos empleados para ello en son 3:
ESCALAS DE ORDENACIÓN (ranking)
Muestran al respondent la lista completa de ítems y solicita que las ordene anotando un número junto a cada uno de ellos. Con el mismo fin también se emplean aplicaciones drag&drop que facilitan la tarea. Discrimina bien las preferencias, pero es complejo para el respondent cuando la lista es extensa (más de 5 ítems).
Acceso a la encuesta demo: Encuesta con ranking
ESCALAS DE PREFERENCIA (rating):
Es la típica 'escala likert' en la que puntuamos de forma individual cada ítem, por ejemplo de 1 a 10. Su forma habitual es la temida matriz. Más simple para el respondent, presenta dos problemas: favorece el empate y el significado de la escala es arbitrario (cada respondent interpreta un 7 a su manera, por ejemplo). Las valoraciones obtenidas suelen comprimirse en un rango de puntuaciones reducido.
Acceso a la encuesta demo: Encuesta con rating
REPARTO DE PESOS (allocation)
Estas preguntas solicitan al respondent distribuir un total de puntos (por ejemplo 100) entre los diferentes ítems. Permite medir tanto el orden de preferencia como la intensidad, pero es extremadamente arduo para el respondent.
Acceso a la encuesta demo: Encuesta con allocation
El principio básico detrás del MAXDIFF
Las alternativas anteriores tienen pros y contras, pero todas tienen un elemento común en sus carencias: ordenar, puntuar y asignar pesos no son tareas naturales para el cerebro humano, y manipular listas extensas de cosas tampoco.
Cuando nos enfrentamos a la necesidad de elegir - por ejemplo, comprar un detergente entre todos los disponibles en el estante de un supermercado - no nos dedicamos a hacer ordenaciones y puntuaciones. Simplemente partimos de un objeto y vamos comparando con las alternativas existentes, siempre en grupos reducidos, descartando las opciones con 'peor preferencia' y quedándonos con las de 'mejor preferencia'.
MAXDIFF trata de obtener información del encuestado a través de una tarea natural para el cerebro humano: "Elige entre una lista reducida el ítem que te gusta más y el que te gusta menos". Es un principio compartido con todas las metodologías tipo CONJOINT (Maxdiff no deja de ser un conjoint simple).
¿Cómo se desarrolla un MAXDIFF?
A partir de una lista extensa de ítems a valorar - por ejemplo 10 - MAXDIFF solicita al respondent completar una misma tarea varias veces, siguiendo este esquema:
1. Muestra 3-4 ítems seleccionados de la lista
2. Pregunta cuál es el mejor
3. Pregunta cuál es el peor
El principio detrás de esta mecánica es simple: si preguntas a un encuestado por el mejor y el peor ítem de una lista de 3 ítems (A,B,C), la respuesta (por ejemplo A=mejor y C=peor) está proporcionando toda la información necesaria: A > B > C. Si la lista es de 4 ítems, indicando el mejor y el peor, sólo queda incertidumbre entre los dos ítems centrales. Es decir, capturamos casi toda la información necesaria.
Un ejemplo con 5 ítems, mostrando 3 preguntas de 3 ítems cada una sería el siguiente:
Acceso a la encuesta demo: Encuesta con maxdiff
Seleccionando cuidadosamente la cantidad de preguntas que hacemos por respondent y la selección de ítems por pregunta, podemos obtener suficiente información para reconstruir la importancia relativa del total de ítems.
Cálculo de la utilidad
MAXDIFF registra información parcial sobre preferencias, siempre sobre grupos reducidos de ítems. Una vez registrada esta información parcial, es posible reconstruir la preferencia relativa del total de ítems. Para ello se emplean dos técnicas:
1. El recuento: Si me aseguro de que (1) cada ítem se muestra un número similar de veces y (2) el número de comparaciones entre parejas de ítems es parecido, entonces la frecuencia con la que cada ítem ha sido marcado como mejor menos la frecuencia con la que ha sido marcado como peor es una medida indirecta de la preferencia de los respondents. Puede ser suficiente.
2. Análisis de la utilidad: Este tipo de análisis, más complejo, parte de la idea de que cada ítem tiene asignada una 'utilidad' en el cerebro del respondent: cuando el ítem A es seleccionado como el mejor entre una lista A-B-C, se debe a que la utilidad de A es mayor que la de B y C. Mediante técnicas de análisis estadístico como la regresión multinomial, los investigadores pueden reconstruir la utilidad media de cada ítem que maximiza la probabilidad de haber observado las elecciones individuales de cada persona y grupo de ítems. Esta medida discrimina mejor entre ítems que el simple recuento.
Cómo se diseña un MAXDIFF
Hemos mencionado que para poder 'reconstruir' la importancia relativa del total de ítems a partir de las preguntas parciales sobre subgrupos de ítems necesitamos 'seleccionar cuidadosamente la cantidad de preguntas y la composición de ítems en las mismas'. Esto se hace mediante un diseño previo del cuestionario MAXDIFF. Este diseño predefine la composición exacta de las preguntas que haremos a cada participante. Debe preservar 4 propiedades fundamentales:
1. Balance de frecuencias: cada ítem se muestra un número similar de veces.
2. Ortogonalidad: los ítems deben mostrarse conjuntamente con otros ítems un número similar de veces.
3. Conectividad: No deben crearse preguntas que no tengan ítems comunes, de lo contrario no sería posible reconstruir la preferencia sobre el total de ítems del diseño (no tendríamos comparaciones ni directas ni indirectas entre ítems).
4. Balance posicional: Como en cualquier encuesta, debemos asegurar que la posición de los elementos en las preguntas sea aleatoria para evitar sesgos de orden.
Con estos requerimientos anteriores y un conjunto de parámetros (número de versiones diferentes del cuestionario + número de preguntas que verá cada participante + número de ítems por pregunta) podemos hacer el diseño MAXDIFF. Hacer este diseño manualmente es posible, pero complejo cuando tratamos listas extensas de ítems.
En Netquest, por ejemplo, hemos desarrollado nuestro propio algoritmo de búsqueda de diseños óptimos, el cual prueba sucesivas combinaciones de ítems hasta lograr un diseño suficientemente bueno (es decir, balanceado, ortogonal, etc.).
Y finalmente, ¿por qué MAXDIFF es fácil en Survey Manager 2?
En un software tradicional de encuestas, la programación de un MAXDIFF no es compleja, pero sí extremadamente tediosa y con alto riesgo de errores. Pensemos en un escenario típico de un MAXDIFF:
- Número de ítems: 10
- Número de ítems por pregunta: 3
- Número de versiones de cuestionario: 10
- Número de preguntas por versión: 12
En este escenario, necesitaremos programar 10 versiones de cuestionario, cada una con 10 preguntas específicas, resultando en un total de 120 preguntas diferentes.
Tal y como se explica en este post, Survey Manager 2 permite trabajar en un modo avanzado, en el cual es posible usar técnicas de programación convencionales. Poder crear una encuesta usando un lenguaje de programación hace que la creación de un MAXDIFF sea un problema trivial y más robusto a errores.
Esperamos que la facilidad y fiabilidad con la que podemos programar estudios MAXDIFF, ayudados de nuestra nueva plataforma de encuestación, anime a extender el uso de esta técnica entre los investigadores. Ello repercutiría en un bien tanto para la calidad de la información como para la experiencia de la persona que responde, una misión fundamental para netquest: "Datos fiables a través de personas satisfechas".
