Leo en un foro de LinkedIn sobre investigación de mercados el siguiente debate: "¿Por qué a las personas que participan "demasiado" en encuestas online se les clasifica como "panelistas profesionales" (por tanto son automáticamente descartados en los estudios) mientras que a los que generan "mucho" contenido cualitativo en comunidades online se les llama "engaged" (o "motivados" en catellano)?
Por un lado se habla de que los que participan muy reiteradamente en encuestas son panelistas profesionales con el único fin de conseguir más incentivos a cualquier costa. "No tendríamos ningún inconveniente en que esta gente nos proporcionase buenos datos y sin sesgos" dice Melanie Courtright. Realmente ese es el verdadero problema de la mala calidad de las respuestas: el sesgo. ¿Dicen los encuestados la verdad? ¿Son consistentes con sus respuestas? Según Melanie, el problema es del método: es difícil estar motivado haciendo encuestas y se puede ver en tiempos, respuestas abiertas, inconsistencias, etc. Pero ¿y si este perfil de internauta "hiperactivo" (que dependiendo del panel puede ser un pequeño porcentaje), nos dijera la verdad y diera respuestas coherentes?. Bob Fawson de Western Wats argumenta que la industria ha decidido que los resultados de los profesionales de las encuestas son lo suficientemente buenos y demuestran suficiente validez externa, pero que aun así hay empresas de panel que están haciendo verdaderos esfuerzos invirtiendo mucho en los activos del panel (los panelistas).
El debate surge en un momento en el que todo el sector de la investigación está preocupado por dos cosas: por el lado "cuanti" de la validez de los datos obtenidos en paneles online (la profesionalidad del panelista, la duplicidad de respuestas, la misma persona contestando la misma encuesta varias veces, la mala calidad del dato) y por el "cuali" de ver si las comunidades online/redes sociales son herramientas válidas y cómo introducirlas en el porfolio de metodologías.
Pero ¿realmente una persona que contesta varias encuestas al mes es diferente del que postea varios comentarios en un foro/comunidad de investigación? ¿dónde ponemos el límite? Alastair Gordon nos recuerda que en los paneles siempre se ha limitado el número de encuestas que puede hacer una persona y que en muchos estudios aún se filtra a los que hayan realizado una encuesta recientemente con el fin de evitar el posible sesgo derivado de conocer la mecánica del método de encuestación y de influir en la forma en cómo se contestan a determinadas preguntas (pérdida de espontaneidad, recuerdo de marcas, fatiga en las respuestas). ¿Se debería también limitar la participación en las comunidades online y las redes sociales de investigación a determinados perfiles "hiperactivos" por posible sesgo de profesionalización? ¿Se comportarían igual que los "grupistas profesionales" en los focus tradicionales?
En la metodología basada en paneles online, no he encontrado evidencia científica (si alguien puede aportarla sería muy útil para este debate) que demuestre que la existencia de respondents hiperactivos (participan en muchas encuestas especialmente online sin mentir en los datos que aportan) sesga los resultados de las encuestas o su perfil influye negativamente en la toma de decisiones de negocio del cliente. Aun así, es importante que el % de este perfil dentro de la muestra se corresponda con la realidad y no esté sobre-representado.
Seguiremos investigando para demostrar los posibles sesgos de este target hiperactivo/profesional en los resultados de las encuestas pero sobre todo evitando su registro voluntario en nuestros paneles en primer lugar.
Fuente | Debate en LinkedIn
