Encuestas 2016: Lo bueno, lo malo y lo peor

De las encuestas se espera exactitud en sus estimaciones. No siempre se logra. En 2016 hubo de todo: encuestas de una gran precisión y encuestas notablemente fallidas. Hay que decirlo: no todas las encuestas tuvieron malos resultados, pero en su conjunto, la industria mexicana de encuestas preelectorales tuvo un muy mal año.Fue peor que 2010, si consideramos el error promedio agregado de todas las encuestas finales. El 2010 había sido el annus horribilis de las encuestas preelectorales en México, en buena medida por no anticipar los triunfos de las alianzas PAN-PRD en varios estados. El error promedio total en ese año fue de 4.9 puntos, tomando en cuenta 52 encuestas finales–que son las que se publican ya en los últimos días de las campañas o que dejan registro de la última estimación de cada casa encuestadora que publicó datos.El desempeño de las encuestas en este 2016 superó la marca fallida de 2010: el error promedio total fue de 5.4 puntos. Eso sí, en 2016 hubo más del doble de encuestas finales que en 2010.En este artículo se analiza el desempeño de las encuestas preelectorales en este año y se delinean algunas reflexiones para su mejoramiento. El análisis consiste en comparar los resultados de las encuestas finales con los resultados oficiales de las elecciones para gobernador que hubo en 12 entidades del país. Se consideran las estimaciones de 109 encuestas finales publicadas en diversos medios y realizadas por 38 organizaciones o casas encuestadoras diferentes, algunas muy conocidas y otras no tanto.Es posible que hayan quedado algunas encuestas públicas fuera del análisis no por omisión, sino porque este es el listado de encuestas que detecté a través de diversas publicaciones.Es importante poner énfasis en que todas las encuestas aquí analizadas fueron públicas, y no entran en el análisis ninguna de las encuestas realizadas para clientes privados que no se publicaron. No obstante, la lógica de mi evaluación puede aplicarse también a sus encuestas privadas.Para valorar la precisión de los sondeos empleo dos métricas: el error promedio y el error en la estimación de la ventaja. Entre más se acercan a cero esos indicadores significa que las encuestas son más precisas, y entre más se alejan de cero, son más fallidas. Como umbral para marcar cuándo comienzan a ser fallidas, consideremos un error promedio de 3 por ciento, equivalente al margen de error convencional que reportan las encuestas.Toda encuesta con un error promedio por debajo de ese umbral puede considerarse como de alta precisión. Valores por arriba de 3 pueden empezar a verse como fallidas. Y digo «pueden empezar» porque una encuesta con un error promedio de 3.5 puntos es poco precisa pero su nivel de precisión es mucho mayor que una que tenga un error promedio de 6 o 7 puntos.En este periodo electoral hubo incluso encuestas que tuvieron un error promedio de más de 10 puntos. Antes de comentar los datos, una advertencia metodológica adicional: para calcular el error promedio se consideraron las fuerzas políticas en un total de cuatro grupos, tomando en cuenta las tres fuerzas principales en cada estado, y agregando a otros partidos menores en una cuarta categoría.Las excepciones son Oaxaca, con cinco fuerzas, y Aguascalientes, con tres. Por otro lado, en el cuadro se redondean los números para simplificar su presentación, pero el cálculo de los errores se tomó con los respectivos decimales del resultado oficial (en este caso el PREP) y los decimales de las encuestas publicadas, en caso de tenerlas.Sin más preámbulo, el cuadro de datos que acompaña a esta nota ofrece las estimaciones de encuestas finales de todas las casas encuestadoras que publicaron antes de la veda, es decir, hasta el 1 de junio.Los estados están ordenados por grado de precisión de las encuestas en su conjunto, es decir, por el error promedio total correspondiente a las encuestas de cada entidad. Como puede apreciarse, en ningún estado se logró un error promedio total menor a 3 puntos. Los estados con mayores niveles de precisión de encuestas fueron Aguascalientes (error promedio: 3.3), Zacatecas (3.7), Puebla (4.1) y Veracruz (4.4).En estos estados llegó a haber encuestas de gran precisión, con errores promedio de 1 punto o menos, como El Universal y el Financiero en Zacatecas, Varela y Asociados en Aguascalientes, MEBA en Puebla, y de escaso 1.3 puntos como la de El Financiero en Veracruz.Esas fueron las encuestas más precisas de toda la temporada. No obstante, en esos mismos estados las peores encuestas alcanzaron errores promedio de 8.1 puntos en Aguascalientes (Lavin y Asociados), 9.8 puntos en Zacatecas (IPSOS-SDPNoticias), 9.7 puntos en Puebla (Gabinete de Comunicación Estratégica, GCE) y 10.2 puntos en Veracruz (también GCE).En Oaxaca, Tlaxcala y Durango se registraron errores promedio totales mayores a 5 puntos pero menores a 6. Las mejores encuestas en Oaxaca fueron las estimaciones de Reforma (2 puntos) y El Financiero (2.7); las peores fueron las de NODO (6.8) y Espacio Muestral (6.9).En Tlaxcala, las mejores encuestas fueron de El Universal (2.4), El Financiero (3.0) y Demotecnia (3.0); las peores fueron las de Varela y Asociados (5.5) y Lavin y Asociados (5.7), destacando también una encuesta de GENTETLX como la peor no solamente en el estado sino la peor de todas las publicadas en los doce estados, con 13.2 puntos de error promedio.En Durango todas las encuestas tuvieron un error promedio por arriba de los 3 puntos. Las encuestas menos precisas de la temporada se observaron en Quintana Roo (con un error promedio total de 6.8 puntos), Hidalgo (7.3), Sinaloa (7.4), Chihuahua (7.9) y Tamaulipas (8.1).En esas entidades, muy pocas encuestas tuvieron un error promedio menor a 5 puntos, pero destacan GCE en Quintana Roo (4.1), Demotecnia en Sinaloa (4.8), El Financiero y Reforma en Chihuahua (5.0), y Buendía & Laredo en Tamaulipas (4.1). Las peores encuestas en esos estados fueron las siguientes: En Quintana Roo, la de El Universal (10.2) y la de Covarrubias (9.0); en Hidalgo, la encuesta CLH (10.0); en Sinaloa la de GCE (10.3) y la de El Financiero (8.7); en Chihuahua las de CIC (12.5), El Universal (11.0), la de IPSOS-SDPNoticias (10.3) y la de Consulta Mitofsky (9.0).Finalmente, en Tamaulipas las peores encuestas fueron las de GCE (12.4), MEBA (10.1) y Lavin y Asociados (9.2). En suma, en 2016 hubo algunas encuestas de alta precisión, pero muchas muy fallidas.ENCUESTA DE ENCUESTASAlgunos analistas consideran que el mal llamado poll of polls, o encuesta de encuestas, que no es sino el promedio directo o ponderado de los resultados de diversas encuestas, puede ser más confiable que las encuestas individuales. En el cuadro se observa que en algunos casos sí, y en otros no, y que todo depende de la calidad y precisión de las encuestas es su conjunto.No hay que olvidar que se trata de un promedio, no de una encuesta de encuestas. Como se aprecia en el cuadro, el llamado poll of polls de las encuestas finales publicadas fue bastante preciso en Aguascalientes, Zacatecas, Puebla y Veracruz, donde las encuestas en su conjunto se desempeñaron más o menos bien, con un error promedio menor a 3 puntos.Siendo generosos, Oaxaca luce relativamente bien también (con un error de 3.4). Sin embargo, en los otros 7 estados el promedio de encuestas simplemente reflejó las malas estimaciones de éstas. Por más que se quiera pensar que el poll of polls es correctivo, finalmente es un promedio de buenas y de malas encuestas.ERROR EN VENTAJAHasta ahora hemos enfocado la atención en el error promedio, pero las encuestas dejan una fuerte impresión en cuanto a la estimación del spread o ventaja entre primero y segundo lugar. Como en la otra métrica, entre más se acerca a cero este indicador de error, mejor. Pero no puede dejarse de lado su relación con el error promedio, ya que el spread puede ser cercano a cero pero las estimaciones lejanas al porcentaje de apoyo obtenido por cada candidato. Por ejemplo, en una elección que queda 42-41%, y la encuesta anunciaba 32-31%, el error ventaja es cero, pero es evidente que la estimación de la encuesta es bastante imprecisa, fallando por 10 puntos en la estimación.Por ello, el error en ventaja debe discutirse en sintonía con el error promedio. En esta temporada, las mejores encuestas por error ventaja (y con un error promedio por debajo de 3 puntos) se vieron en Zacatecas (El Universal y El Financiero, con 1 punto cada una) y en Puebla (MEBA, MASDATA, con 1 punto cada una).En contraste, Chihuahua fue el estado con las peores estimaciones de spread o ventaja, con errores de entre 12 y 29 puntos (con un promedio de 23). Quintana Roo estuvo cerca con un error ventaja promedio de 22 puntos. En Hidalgo se registraron 19 puntos. En todos esos casos estamos hablando de fallas enromes de la industria en su conjunto.LOS SESGOS DE LA INDUSTRIACon los datos mostrados en el cuadro se pueden calcular los sesgos que tuvo cada casa encuestadora, tanto en cada entidad en la que hicieron encuestas como en su conjunto; cuáles favorecieron sistemáticamente a un partido o subestimaron a otro. Por razones de espacio, comentaremos solamente los sesgos del promedio de encuestas por entidad, es decir, hasta qué grado se sobreestimó o subestimó el apoyo a las fuerzas políticas principales en el conjunto de encuestas.Es de notarse que en Aguascalientes, Zacatecas, Puebla y Veracruz, el sesgo de la industria fue menor al margen de error. Nuevamente se ve con claridad la precisión de los estudios en su conjunto en esos estados.Sin embargo, en Oaxaca hubo una subestimación de Morena de 8 puntos promediando todas las encuestas finales (BGC-Excélsior, NODO y Espacio Muestral fueron los que más subestimaron); en Tlaxcala se sobreestimó al PAN por 7 puntos (siendo el mayor error el de Varela y Asociados); en Durango se subestimó 8 puntos a la alianza PAN-PRD (siendo El Universal quien más falló); en Quintana Roo se subestimó 13 puntos a la alianza PAN-PRD (y también El Universal resultó el más fallido); en Hidalgo se sobreestimó al PRI 10 puntos (con CLH teniendo el mayor error); en Sinaloa se subestimó a Movimiento Ciudadano 7 puntos (El Financiero tuvo el mayor sesgo); en Chihuahua se sobreestimó al PRI 11 puntos y se subestimó a Corral 11 puntos (el mayor sesgo a favor del PRI lo tuvieron IPSOS-SDPNoticias y El Universal); y en Tamaulipas se subestimó al PAN 12 puntos (el mayor sesgo lo tuvo GCE).¿POR QUÉ LAS FALLAS?Entre las razones que más se han señalado en esta temporada para explicar las fallas de las encuestas están el voto oculto en algunos estados y las condiciones de inseguridad en otros. No hay que perder de vista la calidad y supervisión del trabajo de campo, una responsabilidad directa de los propios encuestadores, y la vigencia de los modelos de votantes probables que algunos utilizan (o no) y que también son parte de la responsabilidad analítica directa de un encuestador.Además, no todas las encuestas se guían bajo el principio de precisión. Algunas juegan un papel propagandístico, lo cual también incide en el error agregado de la industria en su conjunto. Por otro lado, «encuestas» que no son encuestas, como las push polls, pueden llegar a afectar el ambiente para la realización de estudios por muestreo que no tienen otro fin que el de obtener información de los encuestados, no empujarlos a apoyar a alguien o pedirles alguna contribución.Las encuestas están ante un momento de adaptación muy importante en nuestro país, el cual las obliga a revisar o modificar sus métodos, técnicas y protocolos de entrevista para que se adecuen a las actuales a tasas de rechazo, a las innovaciones tecnológicas y a condiciones que pueden ser adversas para los estudios.DE AQUÍ, ¿HACIA ADÓNDE?Las encuestas públicas cumplen una función primordial de información. Las encuestas electorales vienen enfrentando una crisis de credibilidad tras otra, pero siguen siendo herramientas imprescindibles para diversos tomadores de decisiones.Por eso su cuidado y precisión son fundamentales. Las encuestas públicas, en particular, son parte del escenario electoral de una vibrante democracia y de sus procesos electorales. Son las encuestas a las que la ciudadanía en su conjunto tiene acceso y las que aquí se evalúan. El objetivo común debería ser el producir más y mejores encuestas públicas.La ruta a seguir: revisión, adaptación, rigor, más rigor, y mucha transparencia. Por lo pronto, quede aquí un registro de lo bueno, lo malo y lo peor de las encuestas en este 2016.