Esteban Piedrahita, Exdirector del Departamento Nacional de Planeación.
Alvaro Riascos, Profesor Asociado, Universidad de los Andes.
El uso de técnicas de muestreo estadístico para el conteo de firmas es un mecanismo eficiente que ahorra recursos públicos, como ya sucede de forma similar en los EEUU (ver aquí). Sin embargo, es importante realizar un procedimiento que sea robusto estadísticamente de tal manera que el margen de error sea mínimo. El problema con el conteo de firmas de Rodrigo Guerrero y Susana Correa no radica en el muestreo estadístico, sino en el hecho de que la Registraduría no siguió los pasos que dictamina la resolución 757 del 2011 (aquí y aquí puede encontrar más información) y cometió un error a la hora de calcular las firmas inválidas totales.
Primero hablemos sobre el procedimiento que dicta la resolución 757 de 2011. Según esta resolución se debe seleccionar una muestra que permita estimar la proporción de firmas invalidas con un error máximo de 0.5% a un nivel de 90% de confianza. Es decir, que la probabilidad de tener un error superior al 0.5% en el cálculo de la proporción de firmas inválidas sea menor al 10%. El procedimiento que se describe en la resolución es el procedimiento estándar que se sigue en estos casos (ver Cochrane W, 1977. Sampling Techniques. John Wiley & Sons, Inc.). La figura muestra el tamaño de la muestra que dictamina la resolución de acuerdo a la cantidad de firmas recolectadas. En el caso especifico de Rodrigo Guerrero, teniendo en cuenta que recolectaron 115,250 firmas; 22,023 debieron ser revisadas y no 75,157 como lo hizo la Registraduría. En este caso fueron analizadas más firmas de las necesarias, es decir que el margen de error es más pequeño que el requerido, lo que no es grave, simplemente es anormal.
Como ya se explicó en otro artículo de LSV (ver aquí), de las 75,157 firmas analizadas, se anularon 28,940 por razones diferentes a uniprocedencia (cuando una misma persona firma varias veces). Esto implica que hasta el momento el estimador de la proporción de firmas inválidas es del 38.50%. Adicionalmente, la Registraduría seleccionó 3,758 firmas de las 46,217 que quedaban válidas para realizar un análisis grafológico. No es claro el porqué de este tamaño de muestra. Si tomáramos como universo las firmas 46,217 que quedaron válidas, se debió seleccionar una muestra de 17,133 firmas para respetar el margen de error de la resolución (como lo muestra la figura anterior). Dado que esta es una submuestra de una muestra aleatoria, el tamaño de la muestra en realidad debería ser mayor. Aunque la resolución no regula sobre el tamaño de la muestra que se debe seleccionar para pruebas de uniprocedencia, el tamaño de la muestra seleccionado no permite tener un estimador robusto de las firmas inválidas según el análisis de grafología. Éste no es el peor error cometido por la Registraduría.
Antes de entrar en los detalles sobre el próximo error, veamos un pequeño ejemplo: Suponga que tiene 100 pelotas: 25 rojas, 25 negras, 25 rojas con negro y 25 azules. La idea es identificar las azules (firmas válidas) y eliminar rojas (firmas inválidas por razones diferentes a uniprocedencia) y las negras (uniprocedencia). Hay bolas que pueden ser negras y rojas al mismo tiempo (firmas inválidas por uniprocedencia y por otros problemas). Primero se eliminan las que tienen rojo, luego quedan 50 de las cuales 25 son azules y 25 negras. Entonces tenemos una probabilidad 0.5 de encontrarnos con una bola negra. Si extrapolamos esta probabilidad a las 100 pelotas, de manera errónea, tendríamos que 50 son negras. Adicionalmente, ya sabemos que hay 50 bolas con rojo, por ende las 100 pelotas serian negras o rojas, o con ambos colores y no habría ninguna azul. Evidentemente esto está mal. El error está en que esta probabilidad de 0.5 sólo aplica para las 50 bolas que nos quedaron después de extraer las 50 bolas con rojo.
La Registraduría realiza un error similar. De las 3,758 firmas que analiza encuentra que 930 son inválidas por uniprocedencia. Esto implica que 24.74% de las firmas (válidas) tienen este problema. La Registraduría suma este porcentaje al 38.50%.encontrado inicialmente. Esto da que el 63.24% de las firmas son inválidas. Como en total se recogieron 115,250 firmas, entonces 42,366 son válidas y 72,884 son inválidas. Dado que el umbral es de 50,000 firmas, el candidato no aprueba. El problema está en que el 24.74% no se puede aplicar a la totalidad de las firmas analizadas, pues la muestra se sacó de las firmas válidas (En el ejemplo de la pelota, el 0.5 no se puede aplicar a las 100 bolas originales, sino a las 50 que quedan después de eliminar las rojas). Lo correcto sería decir que de las 46.217 firmas que quedaban válidas inicialmente, el 24.74% son inválidas por uniprocedencia, por lo que sólo quedarían 34,783 firmas válidas. Esto implica que de las 75,157 firmas analizadas sólo el 46.28% sobrevivieron a todos los filtros. Si extrapolamos esta proporción a las 115,250 firmas recogidas, entonces 53,333 firmas serían validas. Dado que el umbral es de 50,000 firmas, el candidato en realidad aprueba. Es sorprendente que la Registraduría cometa errores de cálculo sencillos cuando se trata de decisiones tan importantes.
Adicionalmente, aunque la Registraduría nunca menciona nada en los comunicados oficiales ya que no es claro si realiza el procedimiento descrito a continuación o no, la resolución 757 de 2011 pide efectuar un test de hipótesis para tener confianza en que el resultado obtenido no dependa de la muestra que se tomó inicialmente. Es decir, lo que se pide es que la probabilidad de que el número de firmas válidas estimado esté por debajo del umbral sea menor al 10%. Aquí, cabe anotar, existe un error en la resolución en la manera en que se calcula la varianza para realizar dicha prueba. Cualquier persona lo puede comprobar comparando la formula 3.6 del libro de Cochrane, mencionado anteriormente, y la formula de la varianza del estimador que se tiene en la Resolución. Afortunadamente en este caso dicho error no es grave, pues los resultados no varían mucho. De acuerdo a este test el número de firmas invalidas no puede sobrepasar el 56.84% de la muestra. En este caso 40,374 de las 75,157 firmas revisadas resultaron inválidas, lo que equivale a un 53.71%, dado que este porcentaje está por debajo del máximo, según el test, el número de firmas de Rodrigo Guerrero es suficiente.
El uso de técnicas estadísticas para la toma de decisiones no es malo. Permite ahorrar escasos y valiosos recursos públicos. Sin embargo, es importante que la reglamentación sobre los mismos sea adecuada y correcta, que contenga técnicas, estadísticas robustas, y sobre todo, que los organismos hagan caso de dicha regulación.
No hay comentarios:
Publicar un comentario