Review article

Evaluación y políticas públicas: los sentidos de la evaluación

Resumen

El trabajo propone la exposición y el análisis de cinco modelos de configuración, como son: el de apropiación, el de heteronomizacion, el de calificación, el de planificación y el de integración, en el contexto de la evaluación y las políticas públicas; considerando a estas últimas, como articulaciones de sintaxis, que construyen los sentidos. El proceso analítico se realiza bajo la hipótesis del predominio de la política sobre las dimensiones en que están inmersos los sistemas y proceso de evaluación de acreditación.

Evaluation and public policy: the senses of the evaluation

Abstract

The paper proposes the presentation and analysis of five model configurations, such as: ownership, the rating, the planning and integration, in the context of evaluation and public policy; whereas the latter, as articulations of syntax, which built senses. The analytical process is performed under the hypothesis of the predominance of politics over the dimensions in which they are embedded systems and accreditation evaluation process.

Tanto la evaluación como la acreditación, que se han convirtieron en práctica habitual en casi todos los sistemas de educación superior del planeta, adquieren diferentes significaciones según su relación con las políticas públicas en las que se insertan.

En los 90 tomó fuerza en algunos países la instrumentación de estas prácticas como modo de forzar a las universidades a entrar en el mercado. La evaluación y/o la acreditación funcionaban como un modo de exponer la situación de las instituciones y carreras frente a la sociedad, de calificarlas para orientar tanto a estudiantes, como a las empresas que buscan profesionales en el marco de la competencia y la asignación de pertinencia por parte del mercado. Dentro de esta concepción se instauró el ‘Probao’ brasilero durante el gobierno de Fernando Henrique Cardoso y la Ley de Educación Superior 24.521 de 1995 en Argentina.

La notoria acción de los organismos multilaterales de crédito en esta dirección y la generalización de estas prácticas en Latinoamérica durante los años noventa, mientras proliferaban en la región los gobiernos sumisos al llamado Consenso de Washington, opacó la diversidad de sentidos que, dentro de la tendencia neoliberal de retracción del Estado y el abandono de las regulaciones de la educación superior a la dinámica del mercado, pueden distinguirse. De hecho, la influencia del Banco Mundial y del Fondo Monetario Internacional no se dio en todos los países del mismo modo y no se encontró tampoco en nuestros países con una disposición pasiva de parte de los actores involucrados y de la misma sociedad. Tampoco los gobiernos, ni siquiera aquellos que pueden ser en general calificados como neoliberales, fueron homogéneos en la promoción de las políticas para la educación superior. La hipótesis de que todo lo que se hizo en evaluación institucional y de programas en Latinoamérica, si participaron los gobiernos, se origina en la política del Banco Mundial pretende explicar demasiado y, por lo tanto, no explica gran cosa; se deja en el tintero el protagonismo de los distintos actores y la propia historia.

Para ensayar otro camino proponemos aquí algunos modelos de configuración entre evaluación y políticas públicas. Permiten, creemos, trabajar sobre el sentido de estos procesos en cada caso y en el devenir de las dinámicas sociales propias de las políticas y de la historia. Se trata de articulaciones, de sintaxis, que construyen los sentidos y permiten leerlos, pero no los determinan. Una misma configuración puede producir sentidos diferentes en el contexto de políticas que difieren en sus objetivos.

Podemos distinguir a los fines analíticos cinco modelos de configuración de las relaciones antes mencionadas:

 Apropiación

• Heteronomización
• Calificación
• Planificación
• Integración

Apropiación

Esta es la relación que las políticas han asumido en los últimos años del siglo XX respecto de los sistemas de acreditación surgidos mucho antes en Estados Unidos a partir de la iniciativa de las instituciones, en el marco de la dinámica de mercado. Las instituciones y los programas (primero las carreras de medicina) entendieron la conveniencia de destacar su calidad y para eso construyeron agencias para que realicen evaluaciones periódicas contra estándares de calidad. En el marco de la competencia que se da entre instituciones de educación superior que realizan la formación pero no otorgan títulos con aval estatal ni habilitan para el ejercicio de las profesiones, estos mecanismos de calificación sólo tienen sentido si son capaces de construir su propio prestigio. Se trata de instrumentos que dinamizan la competencia propia del mercado, que terminan no siendo ajenos a las operaciones de márquetin pero, finalmente, deben sostenerse en un aparato metodológico y en el prestigio de los evaluadores para mantener su credibilidad en el público, sin la cual pierden toda utilidad.

En el último cuarto del siglo XX, el Estado Federal entiende que debe implementar políticas educativas y, específicamente, para la Educación Superior. Se hace cargo entonces, se apropia, de estos instrumentos creados y consolidados privadamente y los utiliza para dirigir sus acciones hacia las universidades y los programas validados por el sistema. En lugar de crear su propio instrumento evaluativo, legítima el proceso privado y, en todo caso, lo supervisa mediante el análisis periódico de los procedimientos de las Agencias de Evaluación. Así la acreditación que era antes sólo una certificación de calidad, se vuelve ahora una calificación que hace a las instituciones y a los programas elegibles por los estudiantes becados por el Estado como para políticas de subsidio y financiación.

Una situación parecida tenemos en México en la acreditación de carreras, especialmente las de medicina que imitaron tempranamente los mecanismos instaurados en el país del norte.

Características:

• El sistema de acreditación no se originó en una política pública;
• El estado no establece los criterios y su intervención en el sistema es posterior a la existencia de las agencias;
• Supervisa a las agencias;
• Utiliza los resultados de la acreditación para aplicar sus políticas;
• El nivel de regulación estatal es bajo;
• En el caso EEUU influye la concepción liberal de la educación superior;

Heteronomización

Denominamos así a la configuración entre un sistema de evaluación y una política que se propone abrir el sistema de educación superior o un área de este sistema, a un sector ajeno al ámbito académico produciendo un efecto de heteronomización en la evaluación, de inclusión de perspectivas ajenas al mundo académico. Es el caso de la Comisión Nacional de Títulos de Ingeniero (CTI) de Francia, creada en el año 1936 y cuya tarea es la habilitación de los títulos que llevan esa denominación. La preocupación por asegurar el nivel de la formación de los ingenieros, entendiendo que por sus características profesionales se trata de una formación cuya declinación no sería alertada a tiempo por el mercado y entendiendo su valor estratégico para el desarrollo nacional, el Estado francés decide apartar a las ingenierías del conjunto de la oferta de Educación Superior y someterlas a una evaluación periódica a cuyos resultados sujeta la continuidad de la habilitación para otorgar títulos. Pero para hacerlo decide convocar al sector productivo, abriendo de esta manera la academia a representantes de empresas y gremios profesionales. La CTI está integrada por 32 miembros, una mitad de profesores representando a las facultades y otra mitad compuesta por profesionales provenientes del sector productivo. La política pública de involucrar al sector externo con el desarrollo académico en esta área en particular se viabiliza a través de su intersección con los procesos de evaluación.

Otro caso que puede adscribirse a esta configuración es el de la Comisión para la Acreditación de Facultades de Medicina (CAFME) de Perú, creada a principios de este siglo, presidida por el Ministerio de Salud, con representación del Colegio Médico, del Ministerio de Educación, de la Asamblea de Rectores (debe notarse que no se trata de las Facultades). Implica una alta regulación heterónoma para un sector en el marco de un sistema de Educación Superior que se caracteriza por la autorregulación que ejerce la Asamblea de Rectores.

Características:

• Se da en el marco de una fuerte regulación del sistema de educación superior o de una parte de él, por parte del Estado.
• Se crea un espacio institucional para incorporar en los procesos regulatorios a sectores no académicos, en este caso, a los sindicatos empresarios y de trabajadores vinculados a la ingeniería.

Calificación

 Las políticas que se proponen utilizar la evaluación como instrumento para calificar “productos” pretenden promover la competencia entre instituciones y programas estimulando al público (clientes) mediante la exposición de una jerarquización entre las ofertas disponibles. Se trata, normalmente, de políticas que entienden al mercado como un regulador eficaz de la educación superior y, por lo tanto, limitan la acción del Estado sólo al espacio de la evaluación: de la competencia se esperan resultados de calidad y del mercado, la asignación de pertinencia. Incluso respecto de las instituciones estatales el rol financiador está subordinado al estímulo de la dinámica del mercado; el financiamiento es limitado, suele ser competitivo y siempre se espera que las instituciones (dotadas de importante autarquía) consigan en el mercado financiamiento adicional y creciente, compitiendo por esos fondos con el sector privado de igual a igual. Es una lógica simple que espera del mercado la competencia que genere calidad y la asignación de pertinencia favoreciendo a las ofertas más competitivas y descartando, por asfixia financiera, a las que los son menos y por lo tanto, son menos elegidas.

En la mayoría de los casos, estos sistemas de evaluación son voluntarios (como en Chile y Colombia o, por citar un caso originario, Estados Unidos aunque en este caso, como dijimos, la configuración es otra, como dijimos arriba, ya que las agencias de evaluación y acreditación son privadas). El carácter voluntario es coherente con el hecho de que el Estado no es un garante de la calidad frente a la sociedad, sino simplemente un facilitador de las relaciones de mercado, que se limita a calificar las ofertas sólo si estas lo requieren. De cualquier manera, si las mejores son las que deciden recurrir a esa calificación, generan una presión sobre las otras que buscarán estar en condiciones también de calificar de la mejor manera posible, porque si no sus oportunidades de conseguir estudiantes y de cobrar aranceles significativos, disminuyen considerablemente, y por lo tanto sus posibilidades de invertir en mejoramiento, y así siguiendo se repite este círculo que algunos estiman virtuoso sin considerar sus efectos colaterales (1).

Un caso muy claramente inserto en esta configuración es el del “Exame Nacional de Cursos” – Provao, que se aplicó en Brasil entre 1996 y 2003 para la evaluación de cursos de grado. El Provao calificaba a los cursos según la nota promedio obtenida por sus egresados. Estos resultados eran publicados en la prensa y generaban gran expectativa en una parte importante de la población interesada en los estudios universitarios. Claro está que el Provao tenía, desde el punto de vista de la evaluación, varios problemas, uno de los más importantes es que declaraba síntomas y no diagnósticos que permitieran diseñar planes de mejoramiento. Pero, obviamente, potenciaban la competencia y resultaba efectivo como orientación de los futuros estudiantes e incluso para el mercado de profesionales.

También la Ley 24.521 de Argentina (1995), en su concepción inicial, se inscribía en esta configuración, en el mismo marco conceptual, aunque con otro tipo de instrumentos que podríamos llamar más sofisticados ya que los modelos de evaluación y acreditación propiciados alcanzan como resultado diagnósticos realmente exhaustivos, especialmente en la acreditación de carreras de grado. Esa ley establece la obligatoriedad de la Evaluación Institucional y de la Acreditación para las carreras de grado que afectan el interés público (relativas a profesiones reguladas por el Estado) y para todos los posgrados. Al mismo tiempo incrementa los niveles de autarquía de las instituciones autorizándoles a cobrar sus servicios y a establecer aranceles por los estudios (en el Congreso se introdujo una variante que condiciona la aplicación de aranceles a que se los aplique a becas y apoyos dirigidos directamente a los estudiantes, con lo que la intención inicial empieza a cambiar). Autarquía y evaluación funcionan como una combinación que claramente se propone impulsar a las instituciones a una dinámica de mercado. Las universidades, expuestas ante el público por las evaluaciones, deben buscar recursos en el mercado para mejorar y por lo tanto, poder competir.

Por otro lado, reiteradas veces durante el período, se pretendió desde el Poder Ejecutivo reducir los presupuestos universitarios y de hecho, aunque esto nunca pudo prosperar en las aprobaciones de las leyes respectivas, si se lo hizo de hecho limitando las ejecuciones presupuestarias mediante el recorte del flujo de fondos. La concepción detrás de estos mecanismos sostenía que la calidad del sistema universitario estaba deteriorada por un círculo vicioso en el que la gratuidad de las universidades estatales era el mal de males ya que resignaba la oportunidad de lograr un financiamiento razonable que el Estado no podía asegurar y, al mismo tiempo, impedía que las universidades privadas establecieran sus aranceles en los valores necesarios, con lo que todo el sistema quedaba desfinanciado y destinado a la mediocridad.

La resistencia de la sociedad y del propio sistema universitario hicieron que la implementación de la Ley de Educación Superior se convirtiera en un espacio de tensiones y negociación que tuvo como actores a los rectores, pero también a los Directorios de la Comisión Nacional de Evaluación Universitaria y a los propios gobiernos, ya que muchos aspectos de las normas no se aplicaron o se los aplicó sólo mediante acuerdos con las instituciones con lo que los procesos pasaron de la configuración “calificadora” a otra en que el eje está en el mejoramiento. Con la incorporación, a partir de 2003, de programas de financiamiento de los Planes de Mejoramiento, la configuración cambió y también el sentido de la evaluación (2).

En el nivel de posgrado, y especialmente con las maestrías, se concretaron las intenciones de introducir una dinámica de mercado. En este nivel las universidades aceptaron de hecho tanto el arancelamiento (las maestrías nacieron aranceladas, al menos como modo de autofinanciarse) tanto en el subsector privado como en el público) y la acreditación incorporó incluso una vuelta de tuerca que profundizó la “calificación” mediante la asignación de tres categorías para expresar distintos niveles de calidad.

Como ya adelantamos, tanto en Colombia como en Chile encontramos esta configuración. En Colombia la acreditación tiene una instancia obligatoria que se requiere para la creación y funcionamiento de los programas, está a cargo del CONACES (Comisión Nacional Intersectorial para el Aseguramiento de la Calidad de la Educación Superior). De ahí en más las acreditaciones, tanto de instituciones como de carreras son voluntarias, se refieren a estándares de excelencia y las realiza el CNA (Consejo Nacional de Acreditación) creado en 1992. La educación superior en Colombia está arancelada tanto en el subsistema estatal como en el privado, las acreditaciones voluntarias, por lo tanto, asignan una calificación a los programas o a las instituciones que promueve la competencia y alienta la dinámica del mercado.

En Chile las cosas son parecidas. En 1999 se creó la CNAP (Comisión Nacional de Acreditación de Pregrado) que inició las acreditaciones voluntarias de los programas de ese nivel y en 2002 implementó un Programa Piloto de Acreditación de Institucional, también voluntario. Los estudios superiores están arancelados también en las universidades estatales y el financiamiento estatal es, por definición, sólo subsidiario. Consecuentemente, los créditos con aval del Estado se otorgan sólo a estudiantes de universidades privadas acreditadas, lo que contribuye a alentar la rueda de la dinámica del mercado.

Características:

• “Estado evaluador” con actitud subsidiaria en cuanto al financiamiento de las instituciones estatales.
• Arancelamiento también en instituciones estatales.
• Participación voluntaria en los procesos de evaluación y acreditación (en el caso de Argentina la obligatoriedad se debía al hecho de que las universidades estatales no estaban aranceladas y se trataba de inducirlas, mediante la exposición de sus déficit de calidad, a cobrar sus servicios para poder financiar las mejoras.
• No se incluyen criterios de pertinencia en la evaluación, ni siquiera para las instituciones estatales.

Planificación

Esta configuración incorpora la evaluación e incluso, la acreditación dentro de un proceso de planificación de la educación superior, como una etapa de un proceso más abarcador en el que los objetivos estratégicos están propuestos por el Estado a las instituciones de educación superior, generalmente mediante procedimientos de concertación que usan las evaluaciones como marco referencial. La diferencia con la configuración que llamamos de “calificación” es que aquí el mercado es considerado uno de los factores de contexto, y no se le asigna el protagonismo central en el momento de considerar la pertinencia de los programas o de los objetivos institucionales. Los objetivos de calidad, por lo tanto, están subordinados a otros de mejoramiento, de desarrollo social y económico, de pertinencia.

En esta configuración el caso clásico es el de Francia, a través de las evaluaciones institucionales que realiza la Comisión Nacional de Evaluación. Esta política se implementó en Francia a partir de los años ‘80 mediante un doble proceso que acrecentó la autonomía de las instituciones al mismo tiempo que incorporaba procesos obligatorios y periódicos de evaluación. La planificación se completa con una política de contratos-programa que se basa en la concertación de objetivos de desarrollo institucional entre las universidades y el Estado, que una vez acordados reciben financiamiento específico e incremental. En los últimos años se ha incorporado la llamada Evaluación de “sitio”, que implica el análisis de la situación de los subsistemas regionales de educación superior lo que permite una consideración más circunstanciada de la pertinencia.

En la Argentina el sistema de evaluación ha ido derivando lentamente hacia una configuración de este tipo, aunque se notan indecisiones respecto de cuestiones pendientes cuya ausencia dejan este sistema en un espacio intermedio, de transición, que puede correr el riesgo de perpetuarse sin apostar definitivamente a una opción clara. El marco legal actual no incluye objetivos de pertinencia en los análisis de calidad, por un lado, y por otro, utiliza como referente para las evaluaciones institucionales externas el Proyecto Institucional que las universidades deciden darse en el marco de su completa autonomía. Esta modalidad, que desde una teoría de la evaluación resulta al menos curiosa, se debió a la necesidad de vencer las fuertes resistencias que la comunidad universitaria opuso a la implementación de estos procesos en los años noventa. Era una resistencia a la concepción de mercado que los gobiernos querían impulsar en ese período, pero también se debían a estrategias conservadoras adoptadas por grupos de poder consolidados al interior de las instituciones. Es fácil advertir la paradoja que supone utilizar un referente de este tipo para la evaluación, toda vez que supone considerar infalibles a las instituciones al momento de darse un programa pero no al implementarlo (ya que se evalúa la situación de las instituciones pero el Proyecto que han adoptado). Por otra parte, el proyecto institucional fundado sólo en la autonomía elimina necesariamente cualquier tipo de consideración de pertinencia, en la medida en que no admite criterios heterónomos que permitan anclarlo en los procesos históricos, sociales y políticos de una sociedad concreta en la cual, inevitablemente, está inserta la universidad. La adopción por parte del Estado de políticas para apoyar con financiamiento los planes de mejora surgidos de la acreditación de las carreras y la ampliación de los criterios con que se incorporan a la acreditación los distintos programas (que ya excede las carreras correspondientes a profesiones reguladas y abarca otras consideradas prioritarias o de especial interés público) implica una clara inserción de los procesos en políticas de planificación, pero no son suficientes. Se hace necesario incorporar el criterio de función social para juzgar tanto la situación de las instituciones como sus Proyectos Institucionales e implementar una política de contratos-programa o similar de carácter universal y que, en lugar de atender sólo programas específicos, suponga una consideración integral de la universidad.

En Brasil la evaluación de los posgrados también puede incluirse en esta categoría. La creación de la CAPES supuso y hasta ahora, la introducción de una política de posgrados que utiliza la evaluación para orientar la promoción y desarrollar la formación de recursos humanos en ese nivel. Desde el año 2004, con la creación del SINAES (Sistema Nacional de Evaluación de la Educación Superior) Brasil impulsa un cambio en la evaluación del sistema hasta ese momento centrado en la acreditación de cursos de grado y adopta una perspectiva institucional que se propone orientada a la consecución de objetivos estratégicos propuestos por el Estado.

Características:

• La evaluación es obligaría y está integrada en un proceso que determina su utilización en el diseño de programas de desarrollo.
• Los objetivos estratégicos los propone el Estado.
• El Estado participa en el financiamiento de los proyectos surgidos del proceso de planificación.

Integración

Esta configuración se verifica cuando la evaluación se encuadra en políticas multisectoriales de integración a nivel regional. La integración puede perseguir distintos objetivos que requieren un mecanismo que determine la equivalencia de calidad entre carreras de diversos países, como facilitar la movilidad de profesores y especialmente de estudiantes, el reconocimiento de estudios parciales, la convalidación de títulos y la habilitación para el ejercicio profesional transnacional en la región.

El MERCOSUR, integrado por Brasil, Argentina, Paraguay y Uruguay con la asociación de Chile y Bolivia desarrollo el Mexa (Mecanismo Experimental de Acreditación) para ensayar la acreditación de carreras de grado en la región. El Mecanismo Experimental se llevó a cabo con carreras de Medicina, Ingeniería y Agronomía y la experiencia fue considerada exitosa por los países miembro con lo cual se pasó a una segunda fase, ampliando la cobertura regional en el marco de desarrollo de la UNASUR (Unión de Naciones del Sur). Este nuevo procedimiento ya propuesto como de carácter estable, se denomina ARCU SUR (Acreditación Regional de Carreras Universitarias) y está en este momento en pleno desarrollo. En el Mexa el objetivo de integración se resolvía en la propia realización de la experiencia, en tanto ensayo de colaboración entre agencias y sistemas de los países y primera aproximación al reconocimiento de calidades equivalentes entre carreras de diferentes países sin otra consecuencia que esa constatación y reconocimiento académico. Incluso se pudo llevar adelante a pesar de diferencias importantes entre los sistemas de evaluación de los integrantes, como la diferente metodología utilizada por Brasil para la evaluación de carreras y la ausencia de una Agencia en Paraguay y Bolivia.

Características:

• Es un procedimiento o sistema de evaluación/ acreditación compartido por varios países en el marco de políticas de integración regional.

Breve conclusión:

La hipótesis de la propuesta contenida en este texto es el predominio de la política sobre las otras dimensiones en que están inmersos los sistemas y los procesos de evaluación y acreditación. Es, también, una reflexión que quiere llamar la atención sobre cierta práctica de análisis perezosa que, escandalizada por la influencia del llamado Consenso de Washington y las iniciativas de los organismos multilaterales de crédito en las políticas públicas de Educación Superior de Latinoamérica durante los años noventa, dejó pasar, demasiado a menudo, la oportunidad de analizar los conflictos y los matices que las políticas públicas de los distintos países fueron expresando. La hipótesis de que todo se parece y que eso se debe a los poderes hegemónicos y a sus representantes es menos rica que aquella otra que busca en las prácticas diversas de los actores involucrados, en la resonancia de su historia y en la acción política de los representantes del Estado pero también de las instituciones de educación superior, la verdadera textura de las políticas públicas y sus significaciones.

Bibliografía:

Dias Sobrinho, J. (2006). Acreditación de la educación superior en América Latina y el Caribe. En: La  Educación Superior en el Mundo 2007. Acreditación para la garantía de la calidad ¿qué está en juego? Global University for Innovation-GUNI, Ediciones Mundi-Prensa, Madrid.

Krotsch, Pedro.(l993) “ La universidad argentina en transición : ¿del Estado al Mercado ? enRevista Sociedad ,Facultad de Ciencias Sociales, Universidad de Buenos Aires.

..................... (l993) ”Organización, Gobierno y Evaluación universitaria” en Puiggros A ;

Krotsch P & Puiggros & Krotsch P (1990t). Universidad y Evaluación : estado del debate.

Aique- Rey-Ideas, Buenos Aires.

………………. (2001): “El proceso de formación e implementación de las políticas de evaluación de la calidad en la Argentina” en Chiroleu, Adriana (org.) (2001): Repensando la Educación Superior. UNR Editora, Rosario.

Pires, Sueli y Lemaitre, María José (2008): “Sistemas de Evaluación y Acreditación de la Educación Superior en América Latina y el Caribe”, en Tünnermann Bernheim, Carlos (editor) (2008): La Educación Superior en América Latina y el Caribe: diez años después de la Conferencia Mundial de 1998;IESALC-UNESCO, Cali.

Varios autores (2002): Reforma de los sistemas nacionales de Educación Superior, Editorial Netbiblo, A Coruña.

Notas

(1) No es este el lugar para hacer una crítica de estas políticas de mercado aplicadas a la Educación Superior ya que sólo estamos describiendo configuraciones entre distintos tipos de políticas y la evaluación, en términos de articulación o sintaxis y no de interpretación o sentido. De cualquier manera, está claro que estos sistemas tienen problemas con la inclusión y, también, para asegurar la formación en ofertas no demandas por el mercado; y esto sólo para empezar a hablar de los efectos colaterales.

(2) Como ya se mencionó en Argentina las prácticas modificaron los sentidos iniciales atribuidos a la evaluación y acreditación de las universidades, aspecto éste sobre el cual volveremos más adelante.

Gestión Universitaria
ISSN  1852-1487

http://www.gestuniv.com.ar

Vol.:03
Nro.:01
Buenos Aires, 15-11-2010

Recibido el: 01-11-2010 ; Aprobado el: 19-11-2010

URL http://www.gestuniv.com.ar/gu_07/v3n1a3.htm