Encuestas, Encuestas, Encuestas...

Hace algunas semanas @micronauta y @huasonic propusieron un interesante ejercicio, el primer Sondeo Presidencial en Twitter. Ya el título generó discusión de parte de algunos: no se puede hacer una encuesta no presencial, que no era una encuesta, que tenía problemas metodológicos, que no era válida, que no era representativa, no se podía comparar, en fin. De lo mismo surgieron varios comentarios sobre si era o no válido hacer este tipo de encuestas (sí, encuestas) y se habló del margen de error y de representatividad. Y el debate sigue en pie: sesgo telefónico, presencial o no, "twitter rasca". En fin ha dado para harto.

Al respecto, me gustaría hacer un par de observaciones sobre este tipo de instrumentos, y preparémonos por que como van las cosas se vienen hartos.

¿Encuestas?

He escuchado mucho decir que no se puede hacer referencia al término encuesta. Según Naresh Malhotra (uno de los grandes de las Investigación de Mercado) una encuesta no es más que entrevistas a personas usando un cuestionario diseñado en forma previa. De hecho para varios autores no es más que la recolección de información mediante un cuestionario. El término encuesta no hace referencia al tipo de investigación ni menos a la metodología. De hecho durante mi época de Universidad siempre usabamos el término encuesta, fuese un cuestionario de 3 preguntas, o bien para el seminario de titulación.

Muestreo

Algo que se discutía bastante es que como el sondeo se hacía por Twitter había autoselección, no era un muestreo probabilístico. Por ende no era representativo. Aquí hay varias imprecisiones. El hecho de que una muestra sea seleccionada probabilisticamente no implica que sea una mejor encuesta o que sea más representativa, lo único que podemos hacer es calcular el margen de error. Nada más. Podría darse el caso, por ejemplo, que un muestreo simple (como un sorteo) obtuviéramos muchos hombres y pocas mujeres. ¿Sería representativa por el sólo hecho de ser probabilística?

Representatividad

Determinar cuando una muestra es representativa no es algo tan fácil de decir. Siempre se piensa que mientras mayor sea el número de encuestados, más representativa será el estudio, esto no es correcto. La representatividad tiene relación de como replicar las características relevantes de la población a una escala pequeña; relevantes, en el sentido de que sean importantes para lo que estamos investigando. En una muestra probabilística es posible calcular el error, y en cierta medida es representativa, puesto que una muestra con muy bajo error muestral, quiere decir que la variabilidad de los datos de los encuestados varía muy poco de los datos de la población.

Exactitud

Sea una muestra probabilística o una no probabilística lo que no se puede decir es que la primera es más exacta en los resultados que la segunda. Que un estudio tenga detrás todo un proceso metodológico ciertamente da más confianza en los resultados. Pero hay muchas cosas más que tenemos que mirar, de muestra dos ejemplos:

1. Cuestionarios: hasta hoy se cometen muchos errores a la hora de preguntar, preguntas con sesgo, preguntas dobles o preguntas que no se entienden. Aquí por ejemplo recordar el eterno debate que se da entre la encuesta de desempleo de la U. de Chile y el INE. Las preguntas entre ambos estudios son distintas, y los resultados son distintos. Pero no podrías acusar a una de tener una peor metodología.
2. Método de recolección: Alguien dijo por ahí que "Twitter era rasca" para esto y que "no era presencial". Puede ser que los resultados no sean aceptados científicamente, pero nadie asegura que los entrevistadores, en el caso de un cara a cara, sean neutros en las entrevistas o por ejemplo que tal vez sea "más aceptado socialmente" decir estar con un candidato y no con otro. Ahí, el cara a cara afecta los resultados, (muchas veces la gente no dice lo que hace). El Internet ha sido una buena alternativa a este problema.
3. Análisis: Mucho más importante que exista un procedimiento estadístico para el muestreo (que por cierto es relativamente sencillo de hacer) es que tras los resultados exista una metodología seria y científica para determinar hallazgos. Podemos hacer encuestas con 30 individuos, autoseleccionados pero con un exhaustivo análisis estadístico. A veces los estudios dicen tener una muestra probabilística, pero los análisis son pobres, sesgados y carecen de significancia estadística.

Con esto no quiero decir que el sondeo que se realizó por Twitter es perfectamente comparable con la CEP y exacto a la hora de conocer las preferencias de los chilenos. Pero tampoco se puede enjuiciar, diciendo a priori, que dado que tiene una serie de errores metodológicos (errores no sé, limitaciones sí) entonces no lo miremos y además despreciemos. Todo lo contrario: ¿Por qué en el sondeo Piñera gana en primera, pero pierde en segunda? ¿Tal vez Enriquez Ominami tiene en los usuarios expertos de Internet su masa de votantes?

Más que enjuiciar la metodología, miremos los resultados, valoremos la participación. La investigación de mercados tiene mucho de ciencia, pero también hay un poco de arte a la hora de hacer buenas preguntas, donde recolectar información y que método utilizo.

Para cerrar, una historia de como la investigación de mercados dio un giro en los 50. En esa época apareció el café instantaneo. Pero las ventas en los EE.UU no eran lo esperado, y las encuestas decían que tenía muchas ventajas: más barato, más rápido y casi el mismo sabor. Por encuestas cara a cara nada se encontró. Fue mediante técnicas proyectivas (no probabilísticas en el muestreo, pero con un fuerte proceso estadístico a la hora de analizar los datos) que se logró descubrir que las amas de casa sentían que si decían que compraban café instantaneo serían calificadas como "más flojas" y "despreocupadas de su hogar". Hoy las técnicas proyectivas se utilizan en la investigación de mercados.

Para quien quiera más información les dejó este artículo de mi profesor de Investigación de Mercados en la Universidad; Sergio Olavarrieta. Acá su trabajo Medición, confíabilidad y validez en Investigaciones en Marketing y Disciplinas de Empresas Relativas al Comportamiento humano.