Tengo la impresión que las aclaraciones realizadas por la declaración de los trece, es decir del Comité Asesor para la elaboración de las nuevas cifras de la pobreza, no aclaran nada sobre el mérito del cambio metodológico de estas nuevas mediciones que hacen que esta serie de estimaciones no sea comparable con las anteriormente calculadas. En este artículo pretendo dar algunas respuestas de por qué pienso así.
Antes de comenzar, recuerdo claramente como Jürgen Schuldt señaló que un elemento de contexto a la gresca entre Farid Matuk y Javier Herrera fue el peligroso aumento de las tasas de no respuesta a las encuestas realizadas en campo. Esto significa que, ya desde el 2004, los errores de campo se estaban volviendo más importantes que los errores de diseño, cuando Herrera aún asesoraba el INEI.
Los errores de campo se concentran por lo general en encuestas que no son completamente llenadas (se dejan de llenar varias preguntas), o bien en encuestas que son totalmente rechazadas. Por su parte, los errores de diseño tienen que ver, entre muchas cosas, con el hecho de contar con un censo actualizado (que el Perú no tenía en 2004) para realizar los diseños muestrales más precisos sobre la población a evaluar.
Ambos tipos de errores, los de campo y los de diseño, tienen sus estrategias de solución a través de diversas técnicas previstas por la teoría estadística. Ninguna de estas estrategias en el extremo es más válida que la otra, pero probablemente los costos de implementar una u otra sí sean totalmente distintos.
En el caso de los errores de campo, cuando ya se tienen respuestas omisas en las encuestas, tanto en las respuestas cualitativas como cuantitativas, se contempla seguir algún procedimiento de rellenado de la información perdida en campo a través de procedimientos estadísticos de oficina completamente legítimos desde el punto de vista teórico. Si la pérdida de información está fuera de los límites, se recomienda mejor eliminar el caso o casos en observación.
En el caso de los errores de diseño se recomienda tener actualizados los censos, y afinar los factores de ponderación (también llamados factores de expansión poblacional) según los patrones de evolución de la población que puedan ser obtenidos a partir de información administrativa fresca, como por ejemplo del RENIEC o las municipalidades.
Estos procedimientos son usuales en cualquier oficina de estadística oficial y cualquier centro de investigación serio en ciencias sociales. Por lo tanto, las siguientes afirmaciones de la declaración no aportan elementos nuevos sobre un cambio metodológico significativo en la medición de la pobreza:
- Sobre la necesidad de realizar imputaciones: Tal como lo he señalado arriba, este es un procedimiento normalmente ejecutado en la estimación de las tasas de pobreza. Esto es lo que los especialistas llaman en su jerga, una declaración formal de la necesidad de "cocinar" datos. Lo sorprendente de la declaración es que esta se hace a nivel de personas y no a nivel de hogar. Por supuesto que el Comité Asesor tiene una forma más elegante de decirlo:
- El Comité Asesor reconoció que era importante realizar imputaciones a nivel de personas que no respondieron módulos de la encuesta para corregir los sesgos identificados por la no respuesta parcial
- Sobre los procedimientos de imputación de respuestas a las preguntas no respondidas en campo: De acuerdo con la declaración se ha añadido a los métodos tradicionales de imputación (por tablas y determinísticas), el método hot-deck y un procedimiento sui generis para los datos panel:
- El método hot-deck consiste en una imputación aleatoria de datos cualitativos provenientes de observaciones del mismo estrato. Es decir, la adjudicación de los valores omitidos se la ha dejado a la omniciencia de la mano invisible de las probabilidades. Legítimo desde el punto de vista teórico y difícil rebatir si pensamos y concordamos que en las ciencias sociales ocurre igual que en las ciencias naturales.
- En el caso de la población panel (aquellas personas que han sido entrevistadas durante los tres años de manera seguida) se ha seguido el procedimiento de completar datos utilizando la información de "años adyacentes". Si esto es cierto, quiere decir que sólo habría sido posible completar información para la omisión de un dato en el 2005, ya que así se habrían tenido como valores adyacentes a lo respondido en el 2004 y el 2006. No obstante, asumiendo que "adyacente" haya querido decir 'próximo', 'de un año previo o futuro' tendríamos situaciones como las siguientes: alguien que declaró que estaba soltero en el 2004 y luego se casó sin responder a esta pregunta el 2005 o 2006 se le imputó que seguía soltero en estos dos últimos años. O peor, si alguien estaba empleado, y luego ya no, debido a la falta de información se le pudo haber adjudicado que todavía seguía empleado cuando en realidad ya no lo estaba. En ambas situaciones, los niveles de vida pudieron haber sido afectados por el cambio observado en dos variables cualitativas centrales de la encuesta: el estado civil y el nivel de empleo.
- ¿De lo anterior se deduce que cada uno de estos procedimientos constituyen una nueva "vara de medir" para las anteriores cifras de pobreza? Yo creo que no. El procedimiento seguido en esta oportunidad ha sido ad hoc, y por lo tanto no es definitivo ni concluyente. Se pudo haber mejorado la precisión de la estimación puntual, pero los límites de error no han sido cambiados. Por otra parte, no se dice con claridad que porcentaje de las respuestas fueron imputadas por este nuevo método y qué porcentaje por los otros métodos. La declaración sólo señala:
- [E]l Comité Asesor considera que el método mixto de imputación (hot-deck y determinístico) es adecuado en el corto plazo, [pero] se recomienda que se evalúe la posibilidad de perfeccionarlo teniendo en cuenta la experiencia internacional, pues el proceso de imputación puede ser sensible al porcentaje de no respuesta.
- Sobre los procedimientos de eliminación de hogares con poca información: La declaración establece el criterio -siempre arbitrario- de eliminación de hogares a aquellos que no hayan respondido los módulos 300, 400 y 500. Debe suponerse que esta 'y' es de conjunción en sentido estricto para que la recomendación sea consecuente con la rigurosidad que pretende alcanzar. Sospecho que es adecuada si se basa en la experiencia obtenida en otros países, no obstante, su implementación ha significado la eliminación de alrededor de 700 hogares según una comparación preliminar que hemos realizado en mi oficina entre la sumaria 2005 previa y la sumaria 2005 actual. La declaración debió dar cuenta de cuántos hogares fueron eliminados por este procedimiento y su efecto en la estimación de la tasa de pobreza. No obstante sólo aparece lo siguiente:
- [...] los criterios para retirar un hogar y considerarlo parte de la no respuesta total, debido a una parte importante de sus miembros omitieron responder los módulos 300 400 y 500 de la encuesta, deben ser necesariamente uniformes a lo largo de los años.
En fin, todas estas técnicas seguidas por el actual comité de expertos, en la estimación de las nuevas cifras de pobreza, es una expresión degenerada de lo que sucede al mezclar parte de la sazón de la cocina de sabor nacional, con un sazonador francés y algo de junk food, en una suerte de expresión de comida apranovoandina.
Ojo, no quiero que se malinterprete, no cuestiono las cifras, ni el arduo trabajo realizado por los técnicos del INEI y el equipo que los condujo. Cuestiono que se pretenda decir que se ha aplicado una nueva metodología cuando en verdad estos procedimientos son comunes y siempre cambiantes en la construcción de las cifras de pobreza. Cuestiono que se aplique una cocina de datos tan elaborada que haga casi imposible la irreproducibilidad de los datos de pobreza. Cuestiono que se hagan cambios metodológicos tan frecuentes sin tener previamente un espacio de discusión más amplio sobre la pertinencia de tales cambios. ¿Imagínense si tuviéramos la misma experiencia con la medición del PIB o la medición de la inflación o de los niveles de empleo?
Los cambios metodológicos tan seguidos, en vez de afianzar la confianza en las cifras, la deterioran. Las sujetan al vaivén de la política barata. Y en el caso de los buenos políticos, les hace difícil planificar y evaluar. A pesar que las cifras sean técnicamente las correctas. Por lo tanto, es necesario consolidar la experiencia acumulada de tantos años de aplicación de encuestas (las venimos haciendo rigurosamente* desde 1997) para homogenizar ciertas prácticas en campo y estándares de medición en oficina como para usarlos de manera estable durante algún tiempo convencional. Cinco años puede ser razonable. Diez años puede serlo también.
Ese fue el logro de economistas como Okun o Kuznets al consolidar los procesos de medición de las cuentas nacionales americanas a fin de hacerles un seguimiento estable y formal en el tiempo.
Ese es el logro que debemos alcanzar en nuestra sociedad para no tener información poco o nada confiable, apetecible, ni digerible sobre el avance de los niveles de vida de la población. Repetir un curso de alta cocina sofisticada, con dos vertientes culinarias respetables en el mundo y una basura, no nos seguirán dando nuevos aprendizajes en estos menesteres.
Es hora de armar el combo y masificar.
-------------------------------------------------------------
Ojo, no quiero que se malinterprete, no cuestiono las cifras, ni el arduo trabajo realizado por los técnicos del INEI y el equipo que los condujo. Cuestiono que se pretenda decir que se ha aplicado una nueva metodología cuando en verdad estos procedimientos son comunes y siempre cambiantes en la construcción de las cifras de pobreza. Cuestiono que se aplique una cocina de datos tan elaborada que haga casi imposible la irreproducibilidad de los datos de pobreza. Cuestiono que se hagan cambios metodológicos tan frecuentes sin tener previamente un espacio de discusión más amplio sobre la pertinencia de tales cambios. ¿Imagínense si tuviéramos la misma experiencia con la medición del PIB o la medición de la inflación o de los niveles de empleo?
Los cambios metodológicos tan seguidos, en vez de afianzar la confianza en las cifras, la deterioran. Las sujetan al vaivén de la política barata. Y en el caso de los buenos políticos, les hace difícil planificar y evaluar. A pesar que las cifras sean técnicamente las correctas. Por lo tanto, es necesario consolidar la experiencia acumulada de tantos años de aplicación de encuestas (las venimos haciendo rigurosamente* desde 1997) para homogenizar ciertas prácticas en campo y estándares de medición en oficina como para usarlos de manera estable durante algún tiempo convencional. Cinco años puede ser razonable. Diez años puede serlo también.
Ese fue el logro de economistas como Okun o Kuznets al consolidar los procesos de medición de las cuentas nacionales americanas a fin de hacerles un seguimiento estable y formal en el tiempo.
Ese es el logro que debemos alcanzar en nuestra sociedad para no tener información poco o nada confiable, apetecible, ni digerible sobre el avance de los niveles de vida de la población. Repetir un curso de alta cocina sofisticada, con dos vertientes culinarias respetables en el mundo y una basura, no nos seguirán dando nuevos aprendizajes en estos menesteres.
Es hora de armar el combo y masificar.
-------------------------------------------------------------
- La declaración de los trece es un documento oficial emitido por los siguientes profesionales: Renos Vakis, Javier Herrera, Javier Escobal, John Newman, Jaime Saavedra, Juan Pichihua, Juan Manuel García, Judith Guabloche, Eduardo Zegarra, José Rodríguez, Gustavo Yamada, Marco Robles y Richard Webb. El equipo técnico estuvo conformado por los tres primeros economistas de la lista más Romy Rodriguez y un contingente de técnicos del INEI.
- La idea de la conformación de un comité de expertos como el que se acaba de realizar parece haber surgido a partir de declaraciones dadas a la prensa por Francke y Escobal a fines de agosto de 2004.
- Rigurosamente: las ENAHO las estamos aplicando desde los años ochenta pero solo a nivel de Lima Metropolitana.
No hay comentarios.:
Publicar un comentario