Research article

Modelo Institucional de Evaluación para la Actividad de Investigación

Resumen

La investigación es una actividad de las Instituciones de Educación Superior imprescindible en la sociedad del conocimiento actual, en el desarrollo de las naciones y en el fomento del capital intelectual de las empresas. Los modelos para la evaluación de esta actividad se han vuelto más complejos y sofisticados, a la vez que se les exige de mayor flexibilidad para aplicarlos en diferentes contextos e intenciones. Este trabajo muestra una investigación documental que culmina con la propuesta de un modelo extendido de evaluación de la investigación que genera evaluaciones diversas bajo diferentes contextos e intenciones. El modelo está constituido por tres categorías de evaluación, veintidós subcategorías y veintinueve indicadores que las conforman. Estos elementos poseen representatividad sobre los intereses que en torno a la investigación establecen la sociedad, los grupos científicos y técnicos, así como los tenedores financieros de ésta. Los indicadores y categorías se construyen sobre una base internacional de interés y evaluación. A partir del modelo construido, se incluye una investigación cuantitativa del análisis de resultados de la aplicación del modelo para dos Instituciones de Educación Superior, una pública y otra privada, que realizan investigación en áreas diversas del conocimiento. El análisis muestra una eficiente medición de la investigación institucional y de áreas de oportunidad sobre futuras investigaciones para el establecimiento de ciertos parámetros para los indicadores propuestos. Finalmente, un análisis de resultados muestra aspectos de clarificación, mejoras y adecuaciones locales al modelo propuesto que lo robustecen localmente.

Abstract

Research is an activity of Higher Education Institutions which is imperative for the knowledge society, country’s development and promotion of intellectual capital of companies. Evaluation models of this activity have become more complex and sophisticated, once they demand a greater flexibility to implement them under different contexts and pretentions. This paper shows a documental research to state an extended evaluation model which generates adaptive evaluations upon context. Model is constructed departing from three evaluation categories, twenty-two subcategories and twenty-nine indicators. These elements represent several interests from society, science and technical groups, as well as their financial holders. Indicators and categories are built on an international and assessment basis. The constructed model includes a quantitative analysis of their implementation outcomes for two institutions of higher education: one public and another private, carrying out research in several knowledge areas. Analysis shows an efficient measurement of institutional research and opportunity areas for future research in the establishment of specific parameters for some indicators. Finally, an analysis of results shows aspects of clarification and local improvements for the model proposed.

INTRODUCCIÓN

La investigación ha sido una actividad relacionada estrechamente con las instituciones de educación superior al ser depositarias del conocimiento y su desarrollo. El siglo XX ha cambiado esta perspectiva, cuando la investigación adquirió un papel social y mercantilista más marcado durante la segunda mitad del siglo XX. Los parámetros de su percepción social y económica cambiaron drásticamente, adoptando parámetros más apegados a la competitividad, la eficiencia, el intercambio y la colaboración (Sanz, 2006). Así, su valoración, evaluación y poder han estado en permanente cambio en los últimos cuarenta años, por lo que una serie de cambios en relación a su evaluación y soporte ha ocurrido. La creación de diversos convenios regionales de comercio y colaboración hacia finales del siglo XX impulsaron la perspectiva del desarrollo socioeconómico basado en la investigación, dando auge y movilidad a la creación de modelos compartidos para su evaluación y apoyo. También fue cuestionado el apoyo que las instituciones educativas recibían sin un esquema formal de rendición de cuentas (Albatch, Reisberg y Rumbley, 2009).

La situación aparece aún en proceso de construcción, aunque existen ideas muy claras sobre diversos parámetros que conjugan la valoración del trabajo de investigación (Tunzelmann y Kraemer, 2003). No obstante, la investigación no está exenta de la globalización y obliga a que las interacciones entre investigadores se realicen en un marco mundial. Lo mismo ocurre con el soporte de proyectos y sus paradigmas de su financiamiento, principalmente con fondos que difícilmente pueden obtenerse en forma local o que no pueden ser aportados por las universidades o los gobiernos nacionales. Por ello, la creación de un modelo internacional que oriente el trabajo de evaluación de la investigación es un tema pendiente en las agendas de las instituciones educativas de educación superior, en tanto que los organismos gubernamentales, regionales y la iniciativa privada han tomado desde hace años esta tarea como propia. Cabe entonces la preocupación de que las universidades cuenten con un modelo de evaluación de su labor de investigación que la alinee con las tendencias internacionales y del mercado (Brunner, 2007).

A lo largo de este trabajo, se analizan diferentes modelos que superan lo local o lo regional. Estos modelos, sin embargo, son esfuerzos o necesidades de los organismos o compañías financiadoras de la investigación, y no siempre o por lo regular de las propias universidades (CEE, 2000; UNESCO, 2007; Hicks et al., 2002; Meek, 2006). Son tres aspectos los que históricamente han preocupado a lo largo de la historia en la evaluación de la investigación. Por un lado está su aspecto social, que sobrentiende que la investigación es realizada para beneficio de la humanidad y más específicamente de las sociedades que de manera directa o indirecta la financian. El segundo aspecto es cuantificar el valor y calidad de la investigación, ya sea por su aportación al conocimiento o bien por su contribución al desarrollo tecnológico, organizacional o económico. El tercero ha sido el que con mayor fineza ha evolucionado en poco tiempo, relativo al valor económico, directo o indirecto que una investigación tiene. Este aspecto no ha sido tratado siempre con reservas y ha vetado el apoyo de iniciativas de investigación que en potencia pueden generar un retorno económico a mediano o largo plazo a quienes la financian. Un punto medio que cuide la eficiencia pero que dé espacio a la investigación debe ser buscado, moviendo a las instituciones de educación superior hacia la eficiencia y cuidado de los recursos.

Un modelo de evaluación se conceptualiza mediante indicadores que midan los aspectos que se decidan evaluar. El carácter no lineal del impacto de la investigación, sea social, científico o económico, hace que las mediciones sean por lo regular indirectas. Los indicadores son representaciones del objeto que pretenden medir y por ello tienen imprecisiones implícitas. Este trabajo se enfoca en este ámbito, en términos de indicadores que miden más claramente estos aspectos y propone en su caso nuevos indicadores o modificaciones a algunos ya existentes, recopilando muchas de las mejores prácticas implementadas internacionalmente. Se presentan algunos resultados derivados de la interacción del mismo con instituciones reales, acotando algunos aspectos de su propuesta teórica.

ANTECEDENTES

DEFINICIÓN Y PLANTEAMIENTO DEL PROBLEMA

La actividad de investigación, ha pasado de tener un papel ortodoxo dentro de la universidad a un papel protagónico que promueve la calidad académica, los recursos e ingresos externos y el reconocimiento internacional de la misma. La universidad que no desarrolla investigación y la comercializa, no tiene una proyección amplia, ni ofrece a sus estudiantes un trampolín al primer mundo. Esa es la razón por la que la evaluación de la calidad de la investigación y los procesos que la rodean se han desarrollado en la última mitad del siglo XX (Tunzelmann y Kraemer, 2003). Aún hoy en día no existe un modelo de evaluación único y consensuado, ni un sistema de indicadores estándar que permita identificar el valor de una investigación potencial, ni de la calidad de una universidad en términos de la investigación realizada (Arencibia y Moya, 2008). Los modelos actuales van desde los más conservadores en el tercer mundo, en donde se busca favorecer la actividad de investigación per se y sólo tímidamente la cooperación internacional y la competitividad; hasta modelos muy competitivos (Boesz, 2005) de las economías norteamericana (Hicks et al., 2002), europea (CCE, 2000) y asiática (Arnold, Schwaag, Bussillet y Brown, 2009; Meek, 2006), donde no sólo se evalúa la investigación que se realiza, sino los modelos de negocio y transferencia del conocimiento implícito (Cruz-Castro y Sanz, 2006), así como de supremacía internacional implícita (Jones y Young, 2007). Así, mientras mayor perspectiva económica tenga una investigación y más exclusiva sea en términos de reproducibilidad y vanguardia, recibirá los mejores apoyos para su desarrollo y el mayor reconocimiento (Delgado, Torres, de la Moneda y Jiménez, 2007). Modelos recientes comienzan a surgir en virtud de los tratados de libre comercio y alianzas internacionales, específicamente con el espacio común europeo de educación e investigación (CEE, 2000), urgiendo a las naciones, los organismos financieros de la investigación y a los institutos que la desarrollan, a aceptar marcos que les permitan trabajar en conjunto, aunque no siempre con resultados seguros o predeterminados. De acuerdo con Brunner (2007), el mercado de la educación y de la investigación adolece de fallas, pues es un mercado necesario para el desarrollo pero poco establecido desde el punto de la certidumbre.

El problema de investigación que se establece aquí se puede plantear a través de la pregunta central: ¿Cómo debe plantearse una universidad, eficaz y visionariamente, su modelo de evaluación institucional para la investigación que realiza? Siendo específicos, ella se desglosa en las siguientes preguntas de investigación:

1) ¿Con qué componentes debe contar un modelo integral de evaluación de la investigación en las instituciones educativas de nivel superior que les permita analizar su investigación y cuidar su promoción, desarrollo y proyección internacional?

2) ¿Qué tipo de indicadores debieran incluirse, cómo se clasifican y obtienen, y qué interpretación conjunta deberían tener para apoyar la toma de decisiones, sobre la mejora, eficiencia y desarrollo de esta actividad?

3) ¿Qué aspectos de evaluación relativos a la competencia por cooperación internacional debe incluir este modelo sistémico para promover y facilitar su desarrollo?

4) ¿Cómo se comportarían, indicadores y modelo de evaluación, bajo una aplicación concreta?

Para el desarrollo de un instrumento de evaluación, es preciso conocer los modelos de evaluación de la investigación e indicadores que existen actualmente, los aspectos que cuidan, su comparación geográfica y las deficiencias que presentan.

OBJETIVOS Y JUSTIFICACIÓN

De acuerdo a la Canadian Health Services of Research Foundation (CHSFR, 2008), los organismos que financian la investigación pública, se hallan bajo constante presión para mostrar fehacientemente que su labor de apoyo retribuye adecuadamente a la sociedad. Pero esta medición es compleja por diversas razones: por un lado los aspectos a medir constituyen un fenómeno global que inicia con un insumo y cuyo beneficio es difícil predecir y cuantificar en qué punto retornará como beneficio a la sociedad, además de que existe un retraso entre ambos instantes de tiempo, y cuando éste ocurre, en realidad aparece como el resultado no sólo de una investigación particular, sino de varias. Ello ha implicado que exista un sinfín de criterios, procedimientos, métodos e indicadores para aproximarse a la medición de la calidad tentativa de una investigación, aún si ésta no se ha gestado o bien cuando ya haya ocurrido, determinando su valor y conveninecia al apoyarla o continuar apoyándola. En muchos casos se recurre a expertos, quienes determinan con mayor precisión la potencialidad de un programa de investigación. Hay así en general un gran desafío en seleccionar adecuadamente los indicadores para los diferentes aspectos y dimensiones de la investigación.

Este último aspecto es crucial, pues no existe un estándar único de desempeño, con lo que la investigación tiende a ser comparada con casos exitosos, sin comprender que esto es un proceso de construcción no lineal muy diversificado para las disciplinas y sus interacciones (Debackere y Verbeek, 2003). Adicionalmente el creciente número de necesidades y percepciones sobre la organización ideal y demandas para la investigación, no han permitido un modelo único o al menos afín ni en los organismos nacionales, ni regionales, ni internacionales. Ante la falta de consenso sobre indicadores de investigación en universidades, industria e institutos de investigación, se deben conocer los modelos más exitosos y construir una propuesta metodológica integral (Sanz et al., 2008) sobre un sistema de indicadores que midan la investigación dentro de una institución, sin descuidar los aspectos administrativos y financieros asociados (DMPA-US, 1997; Sanz, 2006; Ugalde y Jáuregui, 2010).

Por ello, los objetivos de la presente investigación se establecen como:

1) Construir un modelo y sistema de evaluación de la investigación de una Institución de Educación Superior orientados a la calidad, viabilidad y sustentabilidad.

2) Apoyar a través de este sistema de evaluación la construcción de la distribución interna de recursos que aporte la institución a esta actividad.

3) Contribuir a la visibilidad de su investigación ante los programas de cooperación y financiamiento nacionales e internacionales, a través del reconocimiento internacional de la misma.

4) Construir un proceso de evaluación esbelto para reducir su impacto sobre las tareas de investigación.

5) Analizar su posible operatividad a través de la aplicación a algunas Instituciones de Educación Superior.

El presente proyecto se vincula a la línea de Indicadores de Evaluación Institucional, identificando una estructura para la evaluación de la investigación en el ámbito universitario, con perspectiva internacional y competitiva por recursos diversos, pretendiendo ser útil como herramienta formativa del trabajo de investigación en el mismo.

MARCO TEÓRICO Y DIAGNÓSTICO

SOCIEDAD E INVESTIGACIÓN

La globalización es un tema que domina la vida pública en las últimas tres décadas y permanecerá así hasta las últimas consecuencias de la conformación de un nuevo modelo de convivencia internacional que permita cierta estabilidad en los ámbitos sociales, económicos y tecnológicos. Curiosamente ha sido el progreso el generador de estos cambios, exigiendo más para moverse a un ritmo mayor y con niveles más amplios y estrictos.

En el último siglo, diversas naciones europeas, asiáticas y norteamericanas han basado su desarrollo económico y político en la investigación. Uno de los ejemplos más dramáticos sobre la evidencia de que la investigación básica genera desarrollo tecnológico es el Gran Colisionador de Hadrones, por el que la Organización Europea para la Investigación Nuclear ha recibido donativos por parte de alrededor de una veintena de países para construir la mayor instalación científica de la historia humana. Con ello se hacen partícipes no sólo de los conocimientos obtenidos, sino paralelamente de la tecnología desarrollada. Kirby-Harris (2009) establece la no tan profunda relación entre esta investigación básica y el desarrollo tecnológico generado, el cual sin embargo es ahora evidente, si acaso no lo fue en sus inicios, a través de productos tecnológicos concretos como el Internet mismo.

Ante el cambio de perspectiva en la asimilación de recursos, las universidades comienzan a entrar en la competencia por hacerse de recursos privados que cubren las necesidades que el Estado es incapaz de cubrir (Altbach et al., 2009; Brunner, 2007). En añadidura, los modelos de rendición de cuentas comienzan a adoptarse por el propio estado, diversificando los apoyos a las universidades en aquellos meramente operacionales a través de un presupuesto, por otros relacionados a la calidad, innovación y productividad. Un aspecto importante en esta dinámica es que el número de investigadores ha crecido conforme la población lo hizo, por lo que la posición exclusiva de éstos se ha perdido, sobre todo bajo la perspectiva internacional.

Estos aspectos son importantes para comprender el devenir histórico y las necesidades actuales de la investigación y su evaluación, que en gran medida es difícil establecer por la complejidad que le subyace.

LA EVALUACIÓN DE LA INVESTIGACIÓN

Con base al contexto histórico y contemporáneo internacional en el que la investigación se ha desarrollado en las últimas décadas, es necesario describir y comprender las principales prácticas e iniciativas de evaluación usadas por varios países y que ahora se permean hacia modelos internacionales. En lo subsecuente a partir de la revisión de la literatura, se distinguirán los términos:

1) Dimensión evaluadora: la caracterización que puede hacerse de cada investigación (conocimiento, aplicabilidad, potencialidad, calidad, retorno económico) y que se puede manifestar prioritaria en su evaluación.

2) Fin de evaluación: el énfasis bajo el que se busca evaluar la investigación (de rendición de cuentas, de formación, de valor, de impacto, de rentabilidad, de comparativa nacional, regional o internacional, de estatus social o docente).

3) Método: la dinámica concreta de evaluación y que emplea procesos o elementos definidos para integrar ciertas dimensiones a un fin de evaluación y bajo los que se analiza la investigación a partir de indicadores construidos a partir de cierto proceso de recolección de información.

4) Indicadores: mediciones concretas que se identifican con una dimensión y que a su vez conforman un fin de evaluación.

Ante la complejidad ligada a la evaluación de la investigación, donde un peso considerable se deja al investigador. Cruz y Sanz (2006) han sugerido la pertinencia de que dichas evaluaciones sean realizadas sobre universidades y no sobre individuos. La equidad se manifiesta en tanto se disponga de un sistema de evaluación robusto y claro, donde cada proyecto o centro recibe lo que le corresponde según el cumplimiento de metas prestablecidas. En tanto, una evaluación institucional resulta pertinente pues más allá de los aspectos de apoyo complementario, los relativos a reconocimiento y visibilidad siguen vigentes (Jones y Young, 2007). Un modelo de evaluación amplio ha sido propuesto por Mazza (2009) en las áreas de Ciencia y Tecnología.

ALCANCES Y LIMITACIONES DEL ESTUDIO Y PROPUESTA DEL METAMODELO DE EVALUACIÓN

De acuerdo a lo anterior, los alcances del presente trabajo están centrados en la construcción de un modelo propuesto para evaluar la actividad de investigación dentro de una institución universitaria, pero considerando no sólo los procesos internos, sino cuidando su perspectiva internacional en relación a su pertinencia, competitividad, impacto, eficiencia y valor. Este modelo debe apoyar la toma de decisiones interna, y debe aportar valor comparativo y de mejora a quienes realicen la investigación. El modelo debe aportar criterios específicos sobre la manera en que la labor de investigación desarrollada se desenvuelve en relación a los apoyos externos nacionales e internacionales a los que se puede tener acceso.

Uno de los aspectos a discutir será la complejidad de los indicadores y de cómo esto tiene dos implicaciones, en tanto más precisos se les quiera construir, mayor peso de elaboración tendrán para quien administre el modelo o para quien aporte la información, los propios investigadores. Esto genera un mayor costo intrínseco de los modelos de evaluación, ya que absorben recursos y tiempo a actividades que no son sino subsidiarias del propio trabajo de investigación. Así, la construcción del modelo debe combinar esbeltez y precisión, ya que una evaluación poco confiable o clara puede no servirle a quienes de otro modo esperan obtener beneficios de ella, por lo que esta actividad debe cuidar el objetivo perseguido para la que se crea. Finalmente es importante construir un modelo de presentación de los resultados derivados en el modelo que brinde información rápida y clara.

DESARROLLO Y DESCRIPCIÓN DEL INSTRUMENTO DE EVALUACIÓN

CATEGORÍAS DE EVALUACIÓN

Arencibia y Moya (2008) mencionan la necesidad de evaluar la investigación (sea un Proyecto de investigación básica, un Programa tecnológico o un Programa de desarrollo). Esta evaluación debe tener objetivos bien definidos a partir de una diversidad de dimensiones:

a) Medición de su valor científico o técnico

b) Medición de su valor social

c) Medición de su índice de transferencia

d) Medición de su uso potencial (para un fin secundario, incluso como referencia)

e) Evaluación de la calidad tecnológica o de la patente

f) Determinación del valor económico de retorno a la sociedad

Estos objetivos ponen de manifiesto la orientación de pertinencia de cualquier investigación y permiten dar un criterio diferencial y establecen el valor social de cualquier investigación realizada (Boesz y Schneider, 2005).

Tunzelmann y Kraemer (2003) publicaron una revisión de algunas prácticas de evaluación de las actividades de investigación en diversos países por parte del Higher Education Funding Council for England (HEFCE). Este reporte recomienda cuatro fines que conviene analizar para realizar la evaluación:

a) El alcance de realización, refiriéndose a si la evaluación se hace con una base nacional o internacional

b) El enfoque de evaluación, en relación a si se centra en la calidad, el impacto en el área de investigación o tecnología y/o la rentabilidad

c) El propósito, ya sea formativo o sumativo

d) El énfasis, en relación a si se trata de un análisis sobre la situación social de la investigación (con una perspectiva FODA) y/o su repercusión en la docencia

Nótese que estos fines a diferencia de las dimensiones enunciadas previamente, no tienen como fin categorizar a la investigación, sino al tipo de evaluación que se realiza sobre ella, la cual puede ser multipropósito.

MODELOS EUROPEO, NORTEAMERICANO Y ASIÁTICO

Arencibia y Moya (2008) sugieren clasificar los indicadores involucrados en tres categorías: Impacto social, Impacto científico y tecnológico, y Pertinencia. Esta clasificación refiere a indicadores entendidos para evaluar un centro, una universidad, un sistema de ciencia nacional o regional. Si bien limitada, la categorización aporta claridad aún en el contexto de las dimensiones y fines descritos previamente, bajo los que otros indicadores pueden añadirse. Se han considerado ya algunas descripciones sistémicas que podrían aportar directrices en la construcción de un modelo de evaluación. Las dimensiones pueden constituir subcategorías más específicas que orienten la definición de indicadores aparte de los propuestos por los autores anteriores. Los fines pueden establecer una orientación del sistema de evaluación en tanto estén todos bien representados. Aunque en particular el aspecto relativo a la docencia no se incluye en estas categorías, puede situarse en la de impacto social, pues algunos autores consideran este aspecto relevante para la ubicación y reconocimiento social de la investigación (CCE, 2000; Hicks et al., 2002; Tunzelmann y Kraemer, 2003).

Gran parte del impulso por consolidar un modelo de evaluación ha provenido del esfuerzo de la Comunidad Económica Europea (CEE) por apoyar efectivamente la investigación en un marco regional. Es pertinente mencionar las generalidades derivadas de dicho esfuerzo regional (Jones y Young, 2007). El Espacio Común de Investigación Europeo fue el resultado de acciones para mejorar la investigación de los países integrados, cuyos estándares mostraban rezago respecto a Estados Unidos en las décadas de 1980 a 2000, reflejado en el número de investigadores, de patentes y de exportaciones asociadas a dichas patentes. Con el fin de mejorar esta perspectiva se conformó el 6º Programa Marco de investigación de la CEE con la finalidad de reforzar las bases científicas y aumentar la competitividad (CEE, 2000), reformulando la legislación, las iniciativas de apoyo y la apertura de acercamiento entre naciones. En el reporte documentado en los 7º Programa Marco (CEE, 2006), este esfuerzo se describe en términos de Actividades, Prioridades Dimensiones y Criterios de inclusión. Debe mencionarse que los Programas Marco tienen un carácter de horizonte, es decir, sus metas se establecen por un periodo de tiempo determinado y posteriormente suelen redefinirse. Actualmente el 8º Programa Marco continúa y amplía las directrices para fortalecer la investigación y su evaluación.

Tabla 1.

Clasificación extendida de categorías para una propuesta de evaluación de la investigación

La Tabla 1 muestra una propuesta propia de clasificación extendida con base en los modelos y autores descritos (primordialmente europeos), cubriendo las categorías de Arencibia y Moya (2008) pero extendiéndose hacia otros aspectos cubiertos por la literatura. Algunas subcategorías permiten evaluar la investigación bajo las dimensiones de los mismos autores y sus pesos relativos o instrumentos empleados, así como las características del reporte de evaluación permitirían darle un énfasis sobre los fines enunciados por Tunzelmann y Kraemer (2003). Algunos indicadores correspondientes a las subcategorías se definen directa y claramente a partir de su enunciado, en tanto que otros serían aproximaciones a ellas por su dificultad operativa de definirse y medirse.

Es claro el carácter social que el modelo europeo da al componente social (tanto desde la perspectiva de generalizar el apoyo económico privado y público, como el generar o atraer recursos humanos) y un gran esfuerzo en la regionalización, que pueden ser algunos elementos no considerados del todo en las categorías de la Tabla 1. Otro aspecto importante es visualizar el enfoque del tipo de investigación social (legislación y desarrollo sustentable). Un aspecto relevante es el que los países europeos, así como la CEE, basan algunos de sus indicadores complejos en el criterio de pares académicos y mediciones bibliométricas.

Otro modelo históricamente importante es el estadounidense (Canadá sigue un modelo con características similares), empleado por el Gobierno Federal para evaluar el apoyo que brinda a los proyectos de investigación y organismos que los realizan (Hicks et al., 2002). Se trata de un modelo consolidado que abunda en métodos econométricos (más que bibliométricos, los cuales son menos frecuentes en relación al europeo) dado el gran volumen de investigación realizado por este país. Este modelo está centrado a evaluar aspectos relativos a la relación entre ciencia y tecnología aplicada. La Tabla 2 enlista algunos elementos y orientaciones característicos del modelo estadounidense.

Tabla 2.

Elementos representativos del modelo norteamericano (Hicks et al., 2002)

En estos modelos, el punto referente al incremento de las patentes ha tomado como punto de referencia al empleo de estudios bibliométricos empleados por la CEE, en especial el Reino Unido, y la aceptación de esta metodología comienza a aumentar. Debe notarse que las evaluaciones comprenden aspectos formativos y sumativos, por lo que la inclusión del análisis FODA a las instituciones es un elemento del reporte, además de aspectos de evaluación comparativos a través de Benchmarking para conformar algunos indicadores resultan de interés en el cálculo de indicadores de financiamiento, impacto, calidad y visibilidad. Dentro del modelo la primera construcción está basada en la definición de un panel de expertos para cada área que representa a las principales instituciones de investigación; este panel se cambia periódicamente y define: entre cinco y veinte investigadores líderes que se consideran los mejores, las cinco mejores publicaciones y los cinco mejores y más representativos congresos internacionales en cada área. Con esto, se calculan los indicadores de (Hicks et al., 2002):

a) Calidad relativa de recurso humano: porcentaje de mejores líderes por universidad y proporción en relación al plano internacional

b) Productividad relativa de calidad: para los líderes respecto al total de publicaciones de éstos

c) Calidad relativa de producción: la co-citación entre los líderes, es decir, porcentaje de citas dado a cada uno debido al grupo de los miembros del grupo de líderes

d) Reconocimientos: los premios nacionales o internacionales dados a cada líder

e) Productividad: a partir de las cinco publicaciones emitidas, se hace un conteo genérico y relativo de las publicaciones que en ella aparecen durante un cierto periodo de tiempo (no sólo para publicaciones de líderes)

f) Visibilidad: a partir de los cinco mejores congresos, se contabilizan los trabajos presentados de cada universidad, excluyendo los del país anfitrión

Estas ideas dan una aproximación al cálculo de ciertos indicadores presentes en diferentes modelos, sobre todo aquellos que no tienen una definición directa. Estos pueden ser complementados o alternados por los que emplean métodos bibliométricos (García y Palomares, 2010) en los modelos europeos.

Si bien no existe un modelo genérico para la región asiática, hay recientes acercamientos de reconocimiento entre países de la región. Desde modelos desarrollados por años de tradición como el de Japón, o algunos otros recientes pero con gran fuerza como China, India y Australia, y modelos en desarrollo como el caso de Indonesia. En este sentido no existen ni metodologías ni indicadores comunes, pero sí criterios compartidos sobre las vías que debe seguir la investigación en la región (Meek y Suwanela, 2006). Los aspectos más relevantes son:

1) La comercialización de la investigación y su definición en términos de relevancia económica y comercial

2) Establecimiento de la investigación de alta calidad como una prioridad de la región

3) Financiamiento selectivo y concentrado en ciertos proyectos y dividido en 50% público y 50% privado (vigente ya en China)

4) Implantación de un modelo gerencial de la investigación, basado en resultados y rendición de cuentas

5) Priorización de proyectos nacionales y eventualmente en regionales si tal definición llega a existir

Cabe destacar el impulso que China está dando a la investigación en diferentes ámbitos, particularmente en cuanto a productividad y rápida asimilación de los modelos europeo y norteamericano (Arnold, Schwaag, Bussillet y Brown, 2009).

Hasta ahora se ha analizado primeramente la orientación genérica y observable de la investigación (dimensiones), abriendo una pauta tentativa para definir los primeros indicadores entorno a esas dimensiones. Un posible enfoque es adoptarlos como guías para hacer una revisión exhaustiva de indicadores que generen evidencia de ellos. Sin embargo, la revisión de Tunzelmann y Kraemer (2003) hace patente que no todas las evaluaciones emplean en realidad todos esos criterios y que algunos de ellos podrían obstaculizar alguno de los ámbitos declarados para su realización, por lo que en parte, este modelo agrupa algunos de los criterios en características propias del modelo tentativo a usar y añade características con carácter de valoración. Así, estos autores proponen en vez de una evaluación extensiva, una serie de evaluaciones orientadas de entre las cuales escoger para definir un modelo más sistémico a partir de diferentes modelos de recolección de evidencia. Las categorías extendidas (Tabla 1), a partir del modelo de Arencibia y Moya (2008), respetan las tres vertientes de dichos autores pero ubican subcategorías a definirse a través de indicadores concretos. Algunos de esos indicadores, los cuales no han sido aún discutidos, aparecen en diferentes modelos y metodologías propuestas por diversos países, empleando diferentes elementos de recolección de información, o bien se deben anexar a aquellos de la Tabla 2. Una extensión de ésta se resume en la Tabla 3, una construcción, propuesta por el autor, que refiere a un modelo general aplicable a grupos, centros, universidades, pero no a individuos. Las subcategorías de Impacto social pueden medirse en su totalidad mediante indicadores directos obtenidos a través de conteos o índices de proporciones para las cantidades relativas al tamaño. Las subcategorías de Impacto científico y tecnológico se recopilan con indicadores indirectos, ya sea mediante prácticas similares a las descritas en el modelo de Benchmarking o de modelos bibliométricos, de los que se hablará posteriormente. Finalmente, las subcategorías de Pertinencia son una combinación de ambos grupos.

Es claro que un sistema de indicadores de investigación es complejo, con información necesaria y difícil de recopilar. Esto complica la ejecución y administración de un modelo sistémico para evaluar la investigación (Arencibia y Moya, 2008; Tunzelmann y Kraemer, 2003) y a ello se añaden las discrepancias en algunas definiciones para las categorías definidas bajo el modelo de Benchmarking o bajo criterios bibliométricos. Finalmente, es claro que el impacto sobre el tiempo del investigador puede ser alto por la recopilación de información probatoria dispersa o no asequible directamente, salvo que se tenga una oficina de valoración de la investigación, lo cual genera un impacto alto en los costos y en los presupuestos de los proyectos.

Tabla 3.

Clasificación de categorías para una propuesta de evaluación de la investigación considerando propuestas de las regiones y países con investigación preponderante

Se pueden establecer las cuatro orientaciones siguientes (Arencibia y Moya, 2008; Boesz y Schneider, 2005; Cockcroft y Beattie, 2009; García, 2008; Jones y Young, 2007; Kirby-Harris, 2009; Ugalde y Jáuregui, 2010) de las que se concluye una clasificación recomendada a continuación.

Objetivo de la evaluación: formativa (F), de seguimiento (Z) o sumativa (T). En ella, en el primer nivel (F), los indicadores incluidos suelen dar una percepción de los aspectos que pueden mejorar la administración o el proceso de la investigación. En el segundo (Z) suelen evaluar y sugerir a la vez, cómo dar continuidad, incrementar o reducir el apoyo o financiamiento. Finalmente, en el sumativo (F), se persigue dar un cierre al mecanismo de apoyo y establecer una evaluación final como referencia futura.

Alcance: nacional (N) o internacional (I). Esta evaluación está acotada por el interés del organismo que realiza la evaluación. Una evaluación nacional suele buscar una comparación de mejores prácticas en diferentes grupos, centros o instituciones, o dar soporte a las actividades de investigación por organismos gubernamentales. En el internacional, se persigue ubicar y comparar con estándares de otros países; esto suele ser recurrente en el financiamiento por parte de la iniciativa privada u organismos regionales de cooperación.

Enfoque: particular o genérico. Cada una de las categorías están clasificadas en tres tipos de impacto: Social (S), Científico y Tecnológico (C), y Económico (E). Una evaluación puede centrarse sobre algunas de ellas o bien ser genérica e incluir indistintamente indicadores de las tres.

Énfasis: docente (D) o administrativo (A). Varios de los apoyos de investigación pueden estar relacionados a la formación de recursos humanos, resultando importante medir la inclusión y avance de estudiantes en una evaluación con enfoque en la docencia (D) y no en los aspectos administrativos (A) sobre la calidad, y la repercusión social y económica.

Figura 1. Orientación de las categorías de evaluación del modelo propuesto.

La Figura 1 muestra la clasificación completa sugerida para las categorías y las subcategorías del modelo de la Tabla 3, basadas en la orientación de la evaluación, enfatizando que para la orientación basada en el Objetivo, las categorías suelen ser acumulativas, algunas de las incluidas en evaluaciones con objetivo formativo (F) pueden incluirse en las de seguimiento (Z), y algunas de éstas a su vez en la de objetivo sumativo (T). Así, en Enfoque y en Objetivo se identifican tres estratos, donde cada categoría puede ser clasificada por Alcance y Énfasis, indicada por su ubicación en un cuadrante determinado por estas dimensiones, dando una visión dirigida de cómo diferentes categorías del modelo pueden cubrir a un cierto instrumento con una orientación definida.

DESCRIPCIÓN DE LOS INDICADORES POR CATEGORÍAS

El modelo de evaluación presentado en la Tabla 3 requiere especificarse a través de indicadores concretos para cada subcategoría. Uno o un grupo de indicadores debe ser definido en cada una de ellas según la intención al considerarse dentro del modelo. Algunos elementos podrían ser incluidos adicional o alternamente dependiendo de la orientación de la evaluación como se discutió en la sección previa. En lo sucesivo cada indicador será identificado con un par de números consecutivos dependiendo de la categoría a que pertenezca según la Tabla 3. Así, por ejemplo, el indicador descrito por I_1.3.2 , correspondería a un segundo indicador dentro de la subcategoría 3 de Participación de científicos extranjeros, en la categoría 1 de Impacto social. Varios de los indicadores presentados aquí tienen una referencia directa con indicadores clásicos, algunos más aún en prueba y desarrollo son un modelo adoptado a través de la literatura con adaptaciones específicas para esta propuesta. Finalmente los indicadores I_3.5.1 y I_3.9.1, para Eficiencia y Horizonte de extensión y sustentabilidad, respectivamente, son propuestas originales en este trabajo de investigación.

Categoría 1: Indicadores de impacto social

El interés de evaluar el impacto de un proyecto de investigación va más allá de medir su relación con la mejora de la enseñanza y la productividad escolar. Se busca evaluar la relación positiva, real o potencial que existe para con los beneficios no sólo económicos hacia la sociedad, sino también sobre la calidad de vida, la cohesión social y la apertura de oportunidades de los individuos. Esta relación ocurre no sólo en forma directa para quien se involucra en la investigación, sino también en los cambios sociales que con ella se generan en la sociedad. Las subcategorías definidas aquí atienden a medir las componentes más inmediatas de esta relación (Jong et al., 2010).

A continuación se discute cada indicador que el modelo propuesto asumirá en la construcción específica del instrumento de evaluación en esta categoría.

1.1 Participación de la mujer

La inclusión de la mujer en actividades científicas y tecnológicas ha tenido ejemplos notables a lo largo de la historia, pero la participación de este género no tuvo representación masiva comparada con la masculina hasta hace apenas medio siglo. Etzkowitz, Kemelgor y Uzzi (2000) señalan aún la necesidad de una masa crítica y resaltan que si bien en las últimas décadas ha habido una creciente participación en los diferentes niveles académicos de educación por parte de la mujer, para la investigación, este es aún incipiente en países desarrollados. Por ello, una política sugerida para favorecer la inclusión de la mujer en la investigación es medir la relación con la población masculina, como lo hace el modelo europeo (CEE, 2000; EGS, 2011):

Un segundo indicador relacionado es la inclusión de mujeres como parte de los estudiantes asociados a los proyectos de investigación:

Aunque este indicador es parcialmente considerado en el de inclusión de estudiantes en los proyectos, no establece referencia al género, por lo que su consideración aquí es recomendable para cuidar la formación de recursos humanos del género femenino en investigación (Wakelin y Kiriacou, 2010).

1.2 Participación de estudiantes

La participación de estudiantes se considera para brindar recursos humanos para potenciar los resultados de investigación, mediante colaboradores sin alto costo a cambio de formación en la actividad, generando recursos humanos que benefician a la sociedad y a la iniciativa privada que la financian. Esta relación no es casual, parte del financiamiento que organismos gubernamentales e iniciativa privada destinan a la investigación busca el desarrollo de estos recursos humanos pues su inclusión permanece aún desbalanceada a través de las diversas disciplinas (Wakelin y Kiriacou, 2010). Dos indicadores usuales son:

y:

Recientemente, la inclusión de alumnos de pregrado se ha vuelto importante en particular para la difusión de la actividad de investigación y la eventual formación de recursos humanos, añadiendo el indicador:

el cual llega a equipararse ponderadamente a la suma de los dos anteriores, esto debido a la antigua práctica de preferir involucrar sólo a alumnos de posgrado en los proyectos. Algunos indicadores asociados (Wakelin y Kiriacou, 2010) hacen referencia al monto del financiamiento de un proyecto destinado para los estudiantes:

1.3 Participación de científicos extranjeros

La movilidad, intercambio e inclusión de investigadores y estudiantes se ve como aspecto positivo dentro de los proyectos de investigación pues permite, tener contacto con otros grupos afines y potenciar los resultados. La Comunidad Económica Europea fomenta este intercambio o participación mediante este criterio (CEE, 2000) incluyendo como indicador el porcentaje de profesores pertenecientes a grupos extranjeros adscritos al proyecto (sin exigir movilidad, ni periodo de estancia, que se evalúan en otros aspectos):

1.4 Proyectos en Ciencias básicas, Ciencias sociales o Arte

Este criterio dentro de este instrumento aplica a la evaluación dentro de una institución multidisciplinar, no es apto claramente para un grupo y cuida el tener una conformación más amplia sobre la generación de conocimiento, por ejemplo, incluir un grupo científico en las escuelas de ingeniería, o de humanidades en escuelas con orientación a la política pública o a las relaciones y asuntos internacionales. El Ministerio de Educación, Cultura, Deporte, Ciencia y Tecnología de Japón ha establecido programas de fomento a la investigación en estas áreas, con la finalidad de aportar calidad de investigación desde los fundaciones de las disciplinas aplicadas (MEXT, 2010). La Comunidad Económica Europea dedica parte de su apoyo al soporte de áreas básicas asociadas a sus líneas regionales declaradas (CEE, 2006). El indicador empleado es la proporción de proyectos en estas áreas apoyados por la institución:

Un indicador similar hace referencia a los montos de financiamiento para este tipo de proyectos:

1.5 Movilidad

La movilidad es un elemento de intercambio de competencias en los grupos de investigación que es favorecida por los modelos de evaluación. Esta medida suele ser compleja de definir pues por un lado la movilidad puede ser por periodos cortos con actividades significativas o bien por periodos más largos, como los periodos sabáticos. A ello se añaden las estancias de alumnos entre grupos de investigación afines y si las estancias son nacionales o internacionales, así como la calidad de las instituciones o grupos visitados. El fomento que ha dado la Comunidad Económica Europea (CEE, 2000) a la investigación regional y a la movilidad, la refiere como pilar de la investigación y fertilización de ideas, métodos y técnicas. Modelos británicos sugieren un índice que contempla varias componentes (BIS, 2009):

donde:

1.6 Reconocimiento a través de premios o nombramientos

Este indicador poco estándar suele ser empleado para evaluar a grupos de investigación y asignar apoyo económico al interior de las instituciones, ya sea a investigadores específicos o bien a grupos de investigación. No es una práctica extendida debido a la diversidad de reconocimientos en investigación y de organismos otorgantes y su diferente enfoque. En él se asume que quienes los reciben pueden establecer mejores resultados. Así, la única diferenciación se establece en relación al nivel del reconocimiento, nacional o internacional:

Suele dársele mayor peso a aquellos reconocimientos obtenidos a nivel internacional al asumir que existe una competencia más estrecha para obtenerlos. Su peso debe limitarse a evaluaciones de pertinencia, pues propuestas potencialmente valiosas por parte de investigadores que aún no han recibido reconocimiento, pueden ser descartadas. Si bien es cierto que proyectos dirigidos por investigadores o grupos reconocidos por otros pares académicos suelen normalmente tener resultados de alto valor, razón por lo que se incluye en la evaluación institucional con carácter sumativo primordialmente (Tatavarti, Sridevi y Kotari, 2010).

1.7 Visibilidad social

Este aspecto se refiere al valor que potencialmente reporta a la sociedad un proyecto de investigación. Una de las primeras instancias para medirlo refiere al número de publicaciones afines en el área de conocimiento a que el proyecto pertenece. Uno de los inconvenientes es que el volumen de publicaciones en las diferentes áreas de conocimiento es dispar y no comparable. Adicionalmente este método no considera, el valor social.

El proyecto ERiC (Evaluation of Research in Context) establece un protocolo para evaluar el impacto social. Una herramienta propuesta para ello se refiere al método Sci-Quest (ERiC, 2010) que establece varios criterios para conformar la evaluación (Figura 2): Nivel de interacción productiva, Valoración en contexto y Valoración por pares académicos. La metodología consiste en dividir la evaluación en dos partes. La primera, centrada en el investigador o grupo de investigadores a evaluar, quienes establecen la visión, misión y objetivos del proyecto o programa, para con ello establecer una visión propia de la relevancia social de la investigación y compromisos futuros al respecto, el nivel de difusión del trabajo hacia los posibles interesados o tenedores de los resultados (otros grupos de investigación, agencias u organismos de financiamiento, etc.), la evidencia de interés de los posibles interesados y efectos posibles de la investigación. Aquí mismo se definen los indicadores que evaluarían cada uno de los rubros: diseminación del conocimiento (d), medida del interés de posibles tenedores (t), e impacto y uso de los resultados (i). La segunda corresponde a un panel de expertos en el área que asigna una calificación al proceso, tanto de calificación del valor de los indicadores propuestos, como del valor de las evidencias finalmente aportadas para demostrar su cumplimiento. Una forma que establece un índice para este proceso es el siguiente:

Cada uno de los índices I_x (x=d, t, i) se refiere a los rubros mencionados: diseminación de resultados, interés de tenedores e impacto de resultados. Los índices se conforman mediante una evaluación media entre el producto de dos calificaciones de n diferentes pares académicos que evalúan por un lado, el Valor de los indicadores propuestos (P) y el Valor de la evidencia (E), cada uno de ellos en una escala de cero a uno:

Figura 2. Metodología Sci-Quest (ERiC, 2010).

Categoría 2: Indicadores de impacto científico y tecnológico

Varios de los modelos modernos generados en el siglo XX para evaluar la calidad de la investigación se han desarrollado alrededor del modelo de Solow (1957), que busca medir esta componente a través del impacto económico. Esto genera un esfuerzo simplificador de la evaluación dirigiéndola a quienes la financian, sociedad o iniciativa privada, y se fundamenta en una relación costo-beneficio. Estudios recientes descubren nuevas relaciones no lineales de ésta para con el conocimiento y la sociedad (Godin y Doré, 2004); por lo que muchas son evaluadas mediante técnicas no típicas entre diferentes tipos y niveles de conocimiento y tecnología, así como por su impacto económico diferido y distribuido, en particular las brindadas por los métodos cienciométricos (Debackere y Verbeek, 2003). En seguida se analizan los indicadores de esta categoría, su significado y proceso de cálculo.

2.1 Valor científico o técnico

Una de las innovaciones introducidas sobre la cuantificación del valor del trabajo científico, ha sido ponderar el trabajo de los investigadores a través del factor de impacto de las revistas arbitradas en las que se publica. El factor de impacto ha recibido diversas críticas cuando actúa como  único o bien el elemento más importante en los indicadores de evaluación de impacto (Amin y Mabe, 2000). Adicionalmente, se ha comentado ya antes que el uso de la cienciometría ha resultado de especial valor para crear indicadores que se aproximan hacia el significado de diferentes variables a medir y a las que representan. El indicador que se presenta forma parte de un conjunto de indicadores propuestos por Tatavarti et al. (2010) y que siguen las ideas de Martin y Sunley (2006), y del cual se presentan aquí adaptaciones para determinar algunos indicadores subsecuentes. Así, para establecer parámetros genéricos que aparecerán posteriormente: k_xi se refiere al número de autores de una creación intelectual específica; IF_norm es el factor de impacto normalizado (los factores de impacto divididos por aquel más alto para una determinada publicación en cierta área o disciplina); n_x es el total de creaciones intelectuales de cierto tipo; y, a_x, b_x, g_x son factores de ponderación de diferentes componentes que integran un indicador. Así, para valor científico y técnico se establece el indicador de retorno científico basado en bibliometría:

Donde a_i se refiere al número de publicaciones arbitradas en revistas con factor de impacto establecido en el Thomson Reuters report (Thomson Reuters, 2010) o a partir de otros reportes, por ejemplo el de Science Gateway (Science Gateway, 2010); b_i se refiere a las publicaciones realizadas en publicaciones arbitradas sin factor de impacto. Nótese que este indicador se puede establecer para individuos, un grupo o bien una institución o centro (asumiendo que a_x, b_x, g_x son iguales para todas las disciplinas y los grupos de investigación). También se establece un indicador para libros publicados, tanto con editoriales nacionales, c_i, como internacionales, d_i:

2.2 Calidad tecnológica

En un sentido análogo, para la comunicación de tecnología o descubrimientos en ciencias de la ingeniería, el modelo previo es adecuado, con el indicador de valor tecnológico es:

2.3 Productividad relativa al financiamiento

El indicador responde a la medición de los resultados de un investigador, un grupo o una institución sobre la relación entre calidad y productividad de sus resultados en función del costo para la institución y los ingresos externos conseguidos, los cuales suelen verse como un resultado positivo en este punto. Aunque indicadores de este tipo se incluyen en la categoría de Pertinencia, este mide en relación a indicadores de Impacto Científico y Tecnológico, la componente económica del proceso de producción y suele ser útil cuando el énfasis es sobre el impacto más que sobre la pertinencia. Este indicador puede medirse a partir de dos de los indicadores incluidos en Pertinencia: el Valor económico de retorno, I_3.1.1 y el Balance de financiamiento privado y público, I_3.6.1, eliminado de este último su naturaleza porcentual:

Así, en tanto mayores sean los resultados y la atracción de recursos externos, así como menor el costo institucional, este indicador resultará mayor.

2.4 Potencialidad

El término potencialidad y transferibilidad puede ser confuso y dar indicio de medir lo mismo. En lo sucesivo la potencialidad se refiere al impacto que una investigación tiene sobre el bienestar y/o la economía, en tanto que la transferibilidad se refiere al impacto y trascendencia que podría tener en el trabajo de investigación en otras disciplinas.

La potencialidad suele ser medida, al menos en ciencia básica y ciencias de la ingeniería, en términos de su impacto sobre las áreas tecnológicas, como en el modelo propuesto por Debackere y Verbeek (2003). En este modelo, así como para otros afines, se contabilizan las referencias de impacto correlacionadas desde reportes de patentes sobre aquellas referencias no relativas a patentes, para que a partir de ellas se establezcan índices de citación hacia las áreas de conocimiento básicas y sus temas de investigación. En términos porcentuales, Callaert et al. (2006) presentan índices para las principales disciplinas científicas versus los dominios tecnológicos (Figura 3).

Figura 3. Índices porcentuales de potencialidad de las disciplinas básicas respecto a dominios tecnológicos (Callaert et al., 2006).

Estos resultados son empleados como el indicador I2.4.1. Desafortunadamente este tipo de análisis no ha sido realizado para Ciencias administrativas y Ciencias sociales, relacionando sus áreas de investigación básica con temas de generación de conocimiento aplicado terminal. Ello atiende básicamente a la falta de un consenso claro en relación a su impacto en el bienestar social y económico. Sharpe y Smith (2005) han realizado un análisis para definir los parámetros mediante los que puede medirse el bienestar social y constituir parámetros cienciométricos para establecer relaciones más claras entre diferentes ámbitos de la investigación con el bienestar social y por ello con la potencialidad de la investigación, aunque falta profundizar en los medios de información adecuados para relacionarlos, ya que en el caso ciencia-tecnología las patentes son una referencia clara de esta relación. El desarrollo de un indicador más amplio que el propuesto para las áreas tecnológicas es un tema abierto de investigación.

2.5 Transferibilidad

La relación de proporción de citación entre disciplinas es una medida cienciométrica que permite establecer cómo una área dada puede repercutir en el intercambio de conocimiento en otras. Esta medida se vuelve relevante para la investigación porque permite medir cuándo ésta se halla ubicada en una área en que podrá impactar a otras. En ese sentido el indicador permite prever también cómo una investigación puede contribuir a la visibilidad social relativa y permitir ubicar más estratégicamente los recursos institucionales. Debe recalcarse que ciertas disciplinas pueden tener bajos índices de transferibilidad, lo que no debe ser tajante para no brindarles apoyo pues los índices se constituyen como una guía y la toma de decisiones en asignación de recursos es un tema aparte de la medición de visibilidad de la investigación en una institución por parte de un área determinada. Rinia et al. (2002) destacan entre diferentes modelos al siguiente:

R_i,j se refiere a las referencias reportadas en las revistas arbitradas que la disciplina i hace sobre la referencia j (lo que puede ubicarse en el Thomson Reuters report o Science Citation Index). A pesar de la existencia de estos modelos por varios años, la información no es totalmente asequible en la actualidad para todas las subdisciplinas (Rinia et al., 2002). Los datos de origen son asequibles a partir de los Science Citation Index con el procesamiento de los valores de entrada del indicador previo por cada institución. Aún así, éste índice permite hacer comparaciones de expectativa de transferencia de conocimiento en cada disciplina.

Categoría 3: Indicadores de pertinencia

La creciente tendencia a evaluar la investigación respecto al impacto en el conocimiento y su escalada hacia la tecnología y la economía, generando un enfoque propio que ha desplazado a la evaluación financiera, y siendo válida en la mayoría de las evaluacionesn(Solow, 1957). Pero una gran cantidad de enfoques e indicadores específicos han evolucionado desde entonces, incluyendo la medición del cambio y la mejora desde la perspectiva formativa (GAO, 1997). En seguida se presentan propuestas adecuadas para los indicadores de esta categoría.
 

3.1 Valor económico de retorno

El trabajo de Tatavarti et al. (2010) está dirigido a la medición del valor económico de retorno de la investigación, mediante indicadores adecuados como los aquí comentados. En el modelo actual se calcula como:

3.2 Vinculación a una línea nacional o internacional

Los proyectos o programas de investigación pueden representar un interés específico para las instituciones, amén de los recursos que por ello atraigan, en relación si el proyecto o programa apoyado está soportado por una declaración de intención por parte del gobierno estatal o nacional, facilitando la consecución de recursos económicos (Kroll y Stahlecker, 2009). Así, la declaración de interés sobre el área de investigación por organismos de financiamiento regionales debe valorarse pues esto potencialmente puede atraer recursos de dichas fuentes como proyectos de colaboración (sin prejuzgar en el cumplimiento de otros requisitos menores). Un modelo que considera estos aspectos priorizando al carácter nacional es dado por el indicador:
 

Las variables R, N, e I, toman los valores de uno o cero en función si existen o no declaraciones de interés respectivamente. En cada caso, las variables A_x, toman valores de dos o uno, si se está o no adscrito a las líneas establecidas a través de convenios de apoyo económico. Con lo que el indicador adopta valores entre cero y uno.

3.3 Adscripción a un programa de cooperación nacional, regional o internacional

En el indicador previo, las variables A_x duplican el valor del indicador previo, sea parcial o totalmente. Si bien puede no manejarse un indicador específico aquí, este puede ser medido en tanto el indicador anterior supere el valor de 0.5, indicando adscripción a este tipo de programas, en tal caso este aspecto se evaluaría como 1, de otro modo como 0.

3.4 Operación con recursos regionales compartidos

La cooperación regional ha resultado un factor  importante en el financiamiento de programas de investigación, particularmente para países en vías de desarrollo al disponer del capital intelectual para colaborar en proyectos que son de interés para países desarrollados a través de colaboración regional, extensivas a países fuera de su región, recibiendo recursos para desarrollar segmentos de investigación especializados de proyectos mayores (Kroll y Stahlecker, 2009). Un proyecto o programa puede operar favorablemente con este tipo de recursos como los aportados por la National Science Foundation (Hicks et al., 2002) o la Comunidad Económica Europea (CEE, 2000). Un indicador directo del impacto suele medirse con la aportación económica directa o indirecta de este tipo de fondos en relación al total del soporte:

3.5 Eficiencia

Este indicador se usa para medir la extensión de los productos de investigación en relación al periodo temporal mediante el que una investigación o grupo es sustentado. Un índice obtenido mediante el Valor de retorno económico restringido a un grupo o investigación determinada I_3.1.1,i por periodo T_i en años o su fracción en la que es apoyada económicamente (sin importar el origen de dicho financiamiento), pesado por el monto interno y/o externo recibido, A_i. Para n grupos y/o proyectos, se calcula el indicador de eficiencia medio en la institución como:

3.6 Balance del financiamiento privado y público

Hay típicamente dos indicadores asociados. En uno interesa tener la relación de financiamiento privado y público, para lo que puede emplearse:

Este indicador da cuenta de la pertinencia de la iniciativa privada en relación al soporte institucional-gubernamental (debe incluir a la universidad o al financiamiento obtenido de organismos gubernamentales nacionales o internacionales). En ocasiones este aspecto puede ser estricto en relación a que aun internacionalmente gran parte del soporte a la investigación proviene del sector público. Un indicador complementario que brinda información sobre el financiamiento externo del proyecto o programa de investigación donde se compara la inversión externa con la interna, es:

Este par de indicadores reportan la eficiencia económica de un programa o proyecto; el primero en un ámbito de interés y pertinencia de la iniciativa privada y el segundo en relación al interés social existente. Estos indicadores pueden complementar la medida del valor científico y técnico, basado en el interés que reporta la actividad a organismos externos o iniciativa privada.

3.7 Generación de patentes o de registros intelectuales

En afinidad al modelo de Tatavarti et al. (2010), el retorno por patentes y productos intelectuales adicionales a las publicaciones se determina:

Donde g, h y j se refieren a los números de patentes nacionales, internacionales y registros de propiedad intelectual. Como se indicó, k se refiere al número de autores de la obra.

3.8 Relación con industria o sociedad sobre productos explotables

Este indicador se usa una vez que el grupo de investigación tiene un producto que ofrecer o bien establece un convenio de consultoría para generar o cooperar en la construcción de prototipos, diseños o instrumentos específicos. No se consideran aquí resultados o productos basados sólo en financiamiento externo, a menos que el producto sea de aplicación inmediata para el financiador. Lo que se busca es medir la inclusión del grupo en la vida productiva de la iniciativa privada, organismos o gobierno.  En este sentido el modelo de Tatavarti et al. (2010) propone dos niveles o estratos basados en el monto económico, m_i para los inferiores a un nivel K_cp de ingresos (por ejemplo un corte que divida exactamente en dos grupos de acuerdo a los existentes en la institución), y n_i para los superiores a él:

Para considerar aquellos casos de interés por empresas y organismos externos que financian la investigación sin obtener productos directos de ella, Tatavarti et al. (2010)  consideran un indicador similar dividiendo el monto de financiamiento en tres estratos con los cortes f_o<K_f1<f_p<Kf₂<f_q, los que se definen basados en un criterio adecuado (por ejemplo, la división estadística en tres clases con la misma frecuencia):

3.9 Horizonte temporal de extensión y sustentabilidad

Este indicador tiene viabilidad para aquellos grupos o proyectos de largo plazo que son incubados por las instituciones y de los cuales se desea medir su independencia económica en relación a su institución. Si se fija el periodo de observación periódica en un tiempo T para todos los proyectos e i denota el periodo de observación a lo largo de la vida del grupo o proyecto, y si fri, fgi , fpi y fii se refieren respectivamente a los montos de financiamiento regional, gubernamental, privado e institucional en dicho periodo, entonces la fracción:

hace referencia a una medida de sustentabilidad en relación a la atracción de recursos del programa de investigación j, en relación a su mantenimiento institucional. En un periodo determinado acumulado de n múltiplos de tiempo T, respecto a la vigencia del programa específico j, la medida:

determina, en función de su positividad o negatividad, su sustentabilidad acumulada. Un indicador medio para la institución sobre la sustentabilidad de sus N programas se obtiene como un promedio ponderado en relación a los montos de financiamiento globales en cada periodo y cada programa:

3.10 Adscripción a un marco legal de apoyo existente y rendición de cuentas

Aparte de la rendición de cuentas que un programa de investigación académica deba a su institución, el cual suele ligarse a una evaluación como la del presente modelo, sigue sin tener una calificación más próxima sobre su valor técnico, científico o social desde el exterior. Por ello, cuando este queda adscrito a un programa especializado que cuenta con evaluación experta, este punto de control refuerza la percepción que de este programa debe tener su propia institución, haciéndolo más formal y confiable ante la sociedad, en términos de los resultados que puedan derivarse de él. Contar con este tipo de adscripciones externas a lo largo del programa, ya sea desde el inicio o a partir de puntos intermedios del mismo, debe incrementar la valoración que en términos de pertinencia se puede tener de él (Kroll y Stahlecker, 2009). Dado que pueden existir varias adscripciones y esto suele ser variable al área del programa y la disciplina, puede adoptarse un indicador exponencial que asigne un mínimo aceptable (por ejemplo 0.5) y que aumente con el número total de adscripciones, N, sin dar un alto valor a adscripciones sucesivas a la primera:

Para el caso N=0 se asigna el valor de cero al indicador.

Concepción del Metamodelo de Evaluación

Los indicadores definidos a través de esta sección, son un insumo para la evaluación de cada subcategoría del modelo de la Tabla 3. A su vez, si bien dichas subcategorías dan una perspectiva amplia sobre la evaluación de las tres categorías centrales, debe recordarse que diferentes conjuntos de subcategoría permiten articular ciertas orientaciones e intenciones para una determinada evaluación, por ejemplo, aquellas descritas en la Figura 1, en función de los intereses particulares de la misma. Un aspecto que se recalca es el que independientemente de la construcción de la evaluación, esta tiene como fin último el evaluar la investigación institucional como un todo, más que proyectos individuales o personas, aun cuando algunos indicadores sugieran y puedan ser empleados para ello bajo criterios establecidos que escapan al foco de la presente investigación.

APLICACIÓN PILOTO Y ANÁLISIS DE RESULTADOS

Establecer un proceso de evaluación de la investigación que parta de los indicadores descritos, requiere un trabajo sistemático de recopilación de información. Adicionalmente, la valoración del conjunto de indicadores en forma integral y mediante un reporte sintético, es de vital importancia para quienes tengan que evaluarlo al interior de una institución educativa. Con esta finalidad, el modelo se probó en un par de instituciones de educación superior con características diferentes, bajo una prueba piloto, tanto para establecer un criterio de valor como para detectar aspectos de mejora.

Por confidencialidad, se omite el nombre de las instituciones educativas, pero se describen sus características a continuación al contrastar el modelo dadas características diferentes para cada una. Una de las instituciones es pública y estatal, a la que se denominará en lo sucesivo la IES-A. La segunda institución es privada y será denominada IES-B.

DESCRIPCIÓN DE LAS INSTITUCIONES DE APLICACIÓN PILOTO DEL MODELO

La IES-A es una de las universidades estatales más jóvenes de México, con alrededor de dos décadas de existencia, pero con un soporte económicamente sólido al ser la institución de educación superior central en su estado. Sus áreas representativas se encuentran en las áreas de Ingeniería, Ambiental, Ciencias Sociales y Económico-Administrativas, esta última con un fuerte énfasis en el turismo y las relaciones internacionales. Existen posgrados únicos representativos en estas áreas, a excepción del área de ingeniería en donde existe cierta diversidad. La actividad de investigación está centrada en las divisiones y departamentos académicos a través de algunos grupos específicos o de investigadores concretos. Todos ellos conforman lo que en México se denominan cuerpos académicos, ya sea en desarrollo o consolidados (SEP, 2011). Un apoyo parcial a estas actividades existe pero ésta se fundamenta primordialmente en la obtención de recursos externos, ya sea de la iniciativa privada o de organismos gubernamentales e incidentalmente de organismos internacionales. En este sentido, la institución es sólo parcialmente tenedora de la investigación, correspondiéndole mayor peso a los grupos que financian dicha actividad.

La IES-B es una institución privada con 34 años de existencia. Desde hace 23 años realiza actividades de investigación dentro de las disciplinas de Ciencia e Ingeniería, Ciencias Sociales y Humanidades, Administración y Negocios. Aunque históricamente estas actividades iniciaron a través de la creación de grupos de investigación, algunos de los cuales fueron exitosos dando lugar a centros altamente especializados, en la actualidad el modelo consiste del establecimiento de cátedras de investigación, las cuales reciben por un periodo de tres años un financiamiento semilla con el cual hacerse eficientes hasta generar un modelo sustentable de financiamiento basado en productos, servicios y patrocinio de organismos externos, tanto nacionales como internacionales. Este financiamiento inicial se obtiene de los recursos propios de la institución, basados en el cobro de colegiaturas. En este sentido es la propia institución la principal tenedora de los resultados de investigación. Los centros creados en sus inicios han sido más exitosos dentro de este modelo debido a que contaban ya con una infraestructura bien establecida, relaciones internacionales y fuentes de financiamiento identificadas. No obstante algunos grupos nuevos han resultado exitosos en el esquema presente. Esta institución cuenta con programas de licenciatura y posgrado en todas las disciplinas representadas a través de las cátedras y grupos de investigación.

DESCRIPCIÓN DEL PROCESO DE EVALUACIÓN

Ambas instituciones, realizan su evaluación no siempre basadas en los criterios aquí establecidos, por lo que para esta prueba piloto, parte de la recolección de información se basó en aproximaciones a los métodos descritos, con las limitaciones que pueda acarrearse en la propia valoración del instrumento de evaluación. Otros aspectos fueron evaluados en forma aproximada ya que partes del modelo de evaluación requieren de la participación de pares académicos de cada disciplina, lo cual fue una limitante para esta prueba piloto.

Un aspecto relevante es que varios indicadores están definidos sobre una escala unitaria y otros porcentualmente. En lo sucesivo, para su fácil lectura, todos serán transformados a escala unitaria. Así, los indicadores I_1.1.1, I_1.1.2, I_1.2.1, I_1.2.2, I_1.2.3, I_1.2.4, I_1.3.1, I_1.4.1, I_1.4.2, I_1.6.1, I_1.6.2, I_3.4.1, I_3.6.1 y I_3.6.2, cuyas definiciones en la literatura son porcentuales, han sido transformados, de modo que su proximidad a cero indica ausencia de la eficiencia de la propiedad medida y su cercanía a uno indicará su máxima eficiencia. Algunos otros, específicamente I_2.1.1, I_2.1.2, I_2.2.1, I_3.7.1, I_3.8.1 y I_3.8.2, corresponden a indicadores de calidad y productividad científica, tecnológica y en productos explotables, están construidos de forma que pueden transformarse a base unitaria con la adecuada consideración de sus pesos a, b y g . En el análisis que se presentará, estos valores fueron seleccionados con el mismo valor de importancia para cada componente, es decir 1/2 ó 1/3, según cada caso. Ahora bien, si esta selección se realiza, los indicadores tienen una escala proporcional al número de unidades de análisis consideradas, el cual coincide en 16, por lo que estrictamente el escalamiento de los coeficientes previos no hubiera sido necesario para hacerlos. Aun así, se decidió eliminar esta referencia al tamaño, por lo que estos coeficientes se consideraron como 1/32 ó 1/48 realmente. Esto conduce a que los indicadores tengan sólo referencia a la productividad media de todas las unidades de análisis, y se ubican proximalmente alrededor de uno (sin embargo, por naturaleza no estarían limitadas a ese número, pues algunas pueden tener productividad superior a un producto por investigador, aun cuando son divididos entre los autores), y en la práctica, muchas veces inferiores a este número.

En añadidura,  en el indicador I_3.8.2 se encontró que ambas instituciones no tenían una gran diversidad en el valor de los productos explotables y que prácticamente todos provenían de convenios específicos de colaboración bajo demanda, así que este indicador no se consideró en el estudio, dejando sólo el indicador I_3.8.1 que hace referencia a los productos e ingresos antes descritos. Para el indicador I_3.5.1, en relación a eficiencia, una de las instituciones no posee información equivalente estructurada para evaluar la investigación en periodos anuales, salvo a partir de 2009. Por esta razón, se abandonó el carácter histórico a que hace referencia y se consideró la medición sólo para el último año, que corresponde al periodo de apoyo económico al que en él se hace referencia.

REPORTE SINTÉTICO COMPARATIVO DE INDICADORES

Una vez establecidos los reportes de evaluación del instrumento propuesto, se solicitó una evaluación de los Directores de investigación y de Unidad Académica, que estableciera la utilidad que les reporta, en conjunto con aquellos aspectos que son mejorables o que consideran deben incluirse en el instrumento, sean de formato o de fondo, basados en indicadores relevantes que pudieran no estar bien representados en la expectativa adecuada al desarrollo de la investigación para cada institución. Los criterios de esta valoración fueron los siguientes:

1. Calidad de la aportación global de información sobre el reflejo fidedigno de la actividad de investigación

2. Detección fidedigna de correlaciones entre los procesos reportados mediante indicadores para la actividad de investigación

3. Detección efectiva de líneas de acción para la mejora de la investigación en la institución

Figura 4. Categorías e indicadores visualizados a través de las dimensiones valorativas de capitalización.

Debe recordarse que la obtención de indicadores es sólo una parte del proceso de evaluación. Dado que este es un estudio piloto se buscó realizar un reporte general incluyendo todos ellos, buscando que los directores de investigación involucrados emitieran un juicio de valor sobre el instrumento. Se requería de un modelo de presentación que permitiera obtener resultados adecuados para la retroalimentación. Para ello se recurrió a un modelo que conjuntara los indicadores por dimensiones de valor para ellos, las cuales fueron obtenidas por consenso durante una primera entrevista de cierre. Estas dimensiones fueron: Inclusión social, Valor científico, Valor social, Valor económico, Soporte socioeconómico y Salud financiera. Todas ellas se referían a aspectos que eran realmente capitalizables desde el punto de vista social o intelectual en términos de los conceptos de capital intangible (Housel y Bell, 2001). Su descripción se da a partir de una combinación de los indicadores empleados (Figura 4).

La conformación de cada aspecto trasciende a las categorías y subcategorías propuestas, estableciendo un conjunto de dimensiones apegadas a la evaluación en México, y por otro lado, no tan compacto como serían las categorías directas. De este modo, los resultados comparativos se agruparon con base a estas dimensiones y aunque se presentaron en conjunto, cada director los analizó en un subconjunto significativo para él y sus expectativas. Se procedió a construir un reporte gráfico ejecutivo que mostrara los resultados, procurando la agrupación antes descrita, sin perder el detalle de cada indicador. Por otro lado, se buscó también que los directivos pudieran evaluar y retroalimentar el modelo con su propia visión de la investigación institucional.

Figura 5. Reporte gráfico comparativo de indicadores para las dos instituciones agrupados en dimensiones valorativas de capitalización.

La Figura 5 muestra el gráfico de indicadores entregado en forma sintética a los directores, basado en las dimensiones previas. La conformación de los indicadores en una escala típicamente unitaria permite una visualización rápida de los resultados. En salud financiera la IES-A parece tener una mejor conformación (en parte por la proveniencia de los fondos de investigación), excepto en los aspectos de eficiencia y empleo de fondos regionales. En el valor económico se muestra una paridad muy próxima salvo en el aspecto de potencialidad económica, el cual es mayor en la IES-B. Una situación similar se aprecia en soporte socioeconómico destacado, aunque la IES-B muestra un mayor apego al establecimiento formal de convenios en la recepción de fondos (el análisis de datos básicos muestra que esta diferencia está relacionada con el empleo de fondos regionales en los que normalmente median firma de convenios). En valor social, la IES-B destaca en retorno económico y la IES-A en apoyo a proyectos de Ciencia Básica y Ciencias Sociales, producto de la naturaleza de ambas instituciones. En inclusión social, los resultados son comparables destacando la diferencia producida por el blanco en el nivel de los alumnos incluidos en los grupos de investigación.

En una primera entrega a los directores, se presentaron los resultados del reporte. A través de él se realizó una entrevista semiestructurada sobre aspectos observados en la encuesta y con base a los criterios de valoración establecidos antes. Adicionalmente, se solicitó una reflexión escrita de los indicadores y la opinión del modelo en su conjunto de la cual se presenta a continuación los aspectos relevantes.

OBSERVACIONES, VALORACIÓN Y ADAPTACIÓN

Este apartado recoge la opinión de los directores de investigación de ambas instituciones sobre algunos de los indicadores propuestos en el modelo de la Tabla 3, o bien sobre el modelo en su conjunto. Se incluyen algunas propuestas de modificación en algunos casos, las cuales podrían ser aplicables o alternas según lo requiera la institución que las utilice.

Cuestionamiento sobre el indicador I_1.1.1

En la entrega final de evaluación, para la tercera sección de recomendaciones, se obtuvo la anotación al indicador I_1.1.1 de inclusión de la mujer en la investigación:

Este indicador no refleja siempre fielmente la posibilidad de inclusión de la mujer, ya que es calculado como proporción respecto al total de investigadores, pero en este caso toda la población de mujeres posibles en el grupo es incluida y el indicador parece no reflejarlo (Cuestionario–Director de la IES-A; Observación 3; Evaluación del modelo-Recomendación a indicadores).

Debe aquí acotarse el comentario, pues aunque el indicador pudiera medirse como se sugiere:

de modo que la IES-A tendría el indicador situado en 1 (100%), ello no mediría globalmente la inclusión social de la mujer, que es la intención original y real del mismo (CEE, 2000), de manera que comparativamente, a nivel país o internacional, no se apreciaría la representatividad de la mujer dentro de las actividades de investigación de una institución particular (Wakelin y Kiriacou, 2010).

Cuestionamiento sobre el indicador I_1.2.4

Para el indicador I_1.2.4, sobre apoyo a estudiantes, se obtuvo la recomendación:

La IES-A tiene instituido el apoyo de todos los alumnos que se adscriben a un cuerpo académico para actividades de investigación a través de una beca, pero ningún otro tipo de apoyo está reglamentado adicional a este, por ejemplo como apoyo a la asistencia de congresos o capacitación, de manera que siempre estaría limitado (Cuestionario–Director de la IES-A; Observación 4; Evaluación del modelo-Recomendación a indicadores).

La observación aquí es cuestionable, pues en la medida que los investigadores recurran a fondos nacionales como los de CONACyT en México o puedan participar en fondeo regional (como el FP7), estos recursos pueden destinarse a estudiantes sin problema.

Cuestionamiento y observaciones sobre el indicador I_1.4.1

Las observaciones al indicador I_1.4.1 inclusión de proyectos de Ciencia básica y Ciencias sociales fueron las siguientes:

La inclusión de la medición de proyectos en investigación básica puede verse limitado debido a que no exista ésta como área prioritaria dentro de la institución. Por ejemplo, aquí no existe una carrera de Física, Matemáticas, Química o Biología como tal. (Cuestionario–Director de la IES-A; Observación 5; Evaluación del modelo-Recomendación a indicadores).

Dentro de la IES-B no existen programas relativos a la Ciencia Básica, y por ello este indicador difícilmente puede mejorarse. A pesar de ello, algunas de las cátedras de investigación abrigan proyectos dentro del área científica básica, lo mismo ocurre con las áreas de Ciencias sociales o Arquitectura. (Cuestionario–Director de la IES-B; Observación 3; Evaluación del modelo-Recomendación a indicadores).

La inclusión de este indicador es medir la participación de una institución en la creación de conocimiento básico, ya sea en ciencias físicas o sociales (CEE, 2006; MEXT, 2010). Se considera que la presencia de grupos básicos que realicen investigación esencial aporta un soporte más promisorio a las innovaciones de áreas aplicadas, dentro de cualquier disciplina. No debe perderse de vista el que la evaluación no es una medición sumaria de hechos y que cada institución faculta el valor que le da a los indicadores, sin descartar el que cada indicador está formulado bajo una observación internacional de aportación de valor.

Cuestionamiento y observaciones sobre el indicador I_1.7.1

Recordando que el indicador I_1.7.1, relativo a la evaluación de visibilidad social, no fue medido de acuerdo a la metodología Sci-Quest, se recogen las observaciones siguientes:

La IES-A recibe una evaluación por pares que no necesariamente sigue los parámetros descritos o al menos no los considera explícitamente, adaptarla sería complicado pues ello depende de los evaluadores de conformación de cuerpos académicos en la SEP. (Cuestionario–Director de la IES-A; Observación 6; Evaluación del modelo-Recomendación a indicadores).

En la IES-B el proceso que se sigue es similar, aunque no se fundamenta en una autoevaluación inicial por parte de los miembros de la cátedra (de investigación), su inclusión, ¿no incurriría en inducir una buena evaluación por parte de los miembros? (Cuestionario–Director de la IES-B; Observación 4; Evaluación del modelo-Recomendación a indicadores).

En relación a la observación de la IES-A se considera que si bien existe dificultad por establecer una evaluación por pares, no debe confundirse con una evaluación externa. La perspectiva de esta institución es basar la evaluación de la investigación en organismos externos y no realiza del todo una evaluación propia y dirigida de su proceso de investigación. La IES-B por ejemplo, contrata cada año y medio a pares externos para evaluar cada cátedra. En relación a su observación, si bien es cierto que existe cierta inducción, lo que se busca en la misma es hacer una autoevaluación del valor social y científico de su propia investigación y analizar el impacto mediante la identificación de indicadores para el mismo (ERiC, 2010). Debe considerarse que dentro de la valoración por pares, éstos cuestionan precisamente tanto los elementos de aportación social y científica, tanto la forma en que éstos consideran que su proyecto aporta indicación de dicha aportación. La evaluación por pares es cada vez más estandarizada en este tipo de evaluaciones y es un recurso mediante el cual las instituciones, así como organismos evaluadores y financieros valoran la investigación.

Cuestionamiento sobre el indicador I_2.3.1

El indicador I_2.3.1 para la productividad relativa al financiamiento, fue señalado por los directores de ambas instituciones sobre una perceptible deficiencia:

No es claro por qué la productividad deba referirse preferentemente a los ingresos privados, ya que finalmente también los recursos públicos puedan dar un amplio valor a los resultados. (Cuestionario–Director de la IES-A; Observación 7; Evaluación del modelo-Recomendación a indicadores).

En la IES-B una gran parte del financiamiento de las cátedras de investigación proviene de la institución, por lo que el indicador de balance financiero público y privado (I_3.6.1) afecta notablemente esta supuesta productividad. ¿Cómo puede evaluarse ésta en forma alternativa para reflejar los resultados y no la proveniencia de los fondos, en particular cuando lo que se busca es valorar cómo los recursos de la sociedad son aprovechados? (Cuestionario–Director de la IES-B; Observación 5; Evaluación del modelo-Recomendación a indicadores).

La definición del indicador presente hace referencia a una ponderación del indicador de valor de retorno (I_3.1.1), siendo pesado por el de balance de financiamiento público y privado (I_3.6.1), al que ambos directores se refieren. La orientación original del indicador es medir la habilidad para generar riqueza pública con base a aportaciones que no provengan directamente de la aportación fiscal y que adicionalmente no afecten a la institución de origen.

Para la IES-A por ejemplo, el indicador se ve ya incrementado porque no hay aportación institucional a la investigación, y se vería incrementado si se obtuvieran más fondos privados o se redujeran los gubernamentales sin modificar el indicador de Valor de retorno. Para esta institución la expectativa de cómo medir el indicador coincidiría con el indicador alterno I_3.1.1 de valor de retorno, que ya muestra lo que en el comentario se pretende (Tatavarti et al., 2010).

Para la IES-B, el indicador es parcialmente inconveniente debido a que una buena parte de sus ingresos son institucionales. Si estos ingresos se ubicaran en el numerador del indicador I_3.6.1, el cálculo sería “comparable” al de la IES-A, sin embargo, la IES-A no posee ingresos altos por concepto de colegiaturas (o están ocultos en la aportación gubernamental que reciben, pero en forma poco clara), y si se eliminara no estarían representados los diferentes tipos de capital financiero que integran los recursos.

La conclusión es que este indicador debe leerse en conjunto con el indicador de Valor de retorno económico (a la luz de los comentarios), y no debe perderse de vista que se buscaría con él una mayor productividad al menor costo para la sociedad y la institución de procedencia.

Comentarios y observaciones sobre el indicador I_3.9.1

El indicador I_3.9.1 hace referencia al balance de sustentabilidad de un grupo de investigación en el tiempo. Se tuvo el comentario:

Dado que las cátedras (de investigación) operan en gran medida con financiamiento institucional, este indicador muestra pocas ganancias o pérdidas al corto plazo y comparativamente no puede ser equiparable al de otras instituciones donde esto no ocurre. (Cuestionario–Director de la IES-B; Observación 6; Evaluación del modelo-Recomendación a indicadores).

La observación de la IES-B es conveniente y hace referencia a la situación que se presenta en otras observaciones previas. Debido a que el modelo de la IES-B está fundado en la inversión propia, este tipo de aportación que es muy alta y proviene de colegiaturas de una institución privada, la manera de hacer este indicador equiparable al de otras instituciones públicas (y equiparable al modelo que seguirían por ello la mayoría de las instituciones que realizan investigación en México), sería considerar este tipo de ingresos como “aportación gubernamental”, ya que en el caso de las instituciones públicas, la subvención de colegiaturas es de origen fiscal y a partir de ello se da soporte a los proyectos de investigación. Lo anterior dejaría algunos indicadores sin cambio (como el I_3.9.1), pero el indicador alterno sería más benéfico para la IES-B.

Indicadores complementarios

SNI. Ambas instituciones indicaron la ausencia del indicador estadístico de miembros en el Sistema Nacional de Investigadores (SNI) para México:

No se plasma la inclusión de miembros del SNI en los indicadores, siendo este un indicador habitual en México. (Cuestionario–Director de la IES-A; Observación 7; Evaluación del modelo-Recomendación a indicadores).

Debiera incluirse en el modelo un indicador sobre el porcentaje de miembros del SNI, ya que este indicador refleja por un lado la calidad de la investigación y por otro lado la posibilidad de atracción de recursos nacionales, dado que este es un criterio habitualmente considerado para ello. (Cuestionario–Director de la IES-B; Observación 5; Evaluación del modelo-Recomendación a indicadores).

La observación es del todo pertinente. Si bien este tipo de pertenencia normalmente en otros países se incluye en la sección de reconocimientos, en México, la pertenecía al SNI tiene un carácter vinculado al reconocimiento y a la capacidad financiera de retorno de capital. Un posible indicador podría ser definido como:

e integrado a la categoría de impacto científico y tecnológico. Aquí Ni se refiere al número de investigadores adscritos a cada nivel del SNI (candidato, I, II y III), en tanto que pi es un peso de ponderación positivo y menor que uno para cada nivel: 1=pC + pI + pII + pIII. El indicador es uno exclusivamente si todos los investigadores se hallaran en el nivel máximo.

Cuerpos académicos. La IES-A señaló la ausencia de este indicador en relación a la calidad de sus grupos de investigación:

Los cuerpos académicos son una figura de empleo nacional en el ámbito nacional por parte de la SEP. Un nivel de consolidación implica productividad y calidad. No hay un indicador asociado que refleje este aspecto. (Cuestionario–Director de la IES-A; Observación 8; Evaluación del modelo-Recomendación a indicadores).

Si bien la observación es correcta, la figura de cuerpos académicos está dirigida sólo a ciertas instituciones públicas (SEP, 2011). Por otro lado, si bien no se cuestiona la categoría de tipo de cuerpo académico, esta sólo caracteriza el trabajo global del grupo, y no a cada individuo. Adicionalmente ello conlleva a la obtención de recursos para el proyecto, mismos que ya son evaluados. La recomendación es considerar la pertenencia a un Cuerpo académico consolidado (no para el caso de cuerpos académicos en vías de consolidación) como un reconocimiento a cada miembro del grupo dentro del indicador I_1.6.1.

Incubación de empresas. La productividad tecnológica y procedimental, ha sido uno de los aspectos de productividad relativos a los grupos de investigación, y a la forma en que se comercializan sus resultados aplicados. Más allá de las patentes que solían posteriormente venderse a las empresas, ahora comienza a ser más habitual que los grupos constituyan pequeñas empresas generadas por sus propios descubrimientos, en ocasiones de manera independiente en forma de Spin Off y en otras como un Joint Venture en conjunto con empresas ya establecidas. Esto permite lograr apoyos adicionales debido a que por lo regular las políticas económicas de desarrollo en diversos países las favorecen fiscalmente, y por otro, conseguir una continuidad de mejora y profundización en la investigación ya realizada. En este sentido, se sugirió la inclusión de un indicador de este tipo:

Debiera incluirse en el modelo la incubación de empresas, ya sea porque fueron soportadas mediante investigación o porque son producto del mismo grupo de investigación. (Cuestionario–Director de la IES-B; Observación 6; Evaluación del modelo-Recomendación a indicadores).

Sin considerar los aspectos económicos involucrados, los cuales pueden fácilmente incluirse en los indicadores de pertinencia, el indicador alterno de patentes, registros intelectuales o incubación de empresas:

puede medir este aspecto y dar cuenta de ello, siendo el último término el referente al número de empresas incubadas, l_i, dividido por el número k_li de investigadores involucrados en ellas. La determinación del peso dp será importante, pues ello muestra un cambio de paradigma sobre lo que es la calidad tecnológica, no medida ya solamente desde la creación de patentes y propiedad intelectual.

Anotaciones del proceso

En esta parte final se recopila la evaluación global que dieron los directores de investigación de ambas instituciones sobre el modelo. También se comentan algunos aspectos relativos a la propia investigación y el proceso de obtención de información desde la perspectiva del autor.

La importancia del modelo por un lado se halla en conceptualizar y presentar una evaluación integral, desde la posesión de un marco teórico para construirlo, como del sustento de la literatura en su construcción, acompañado además de referencias concretas de cómo realizar el cálculo de indicadores.

El ejercicio de aplicación fue también de amplio valor. Por un lado, deja la perspectiva de que en las instituciones consideradas para el estudio, las evaluaciones han sido por lo regular sumativas, pues en ambos casos se observó una preocupación por destacar en los indicadores. Debe consolidarse más el aspecto de que el modelo de evaluación también persigue realizar la evaluación en el contexto formativo o para realizar una aproximación a un benchmarking.

Una gran cantidad de información ha sido analizada hasta aquí a partir de información básica y reportes de investigación, financieros o de conformación ya existentes. En ocasiones se recurrió a reportes propios de productividad de cada grupo, los cuales se emplean con otros fines diferentes a la gestión de la investigación. No hubo complejidad en el cálculo de indicadores bajo las definiciones previstas, salvo el caso del indicador de Visibilidad social el cual fue aproximado por evaluación de pares ya disponibles. Para los casos de Potencialidad y de Transferibilidad se emplearon los datos de cuantificación de la literatura, relativamente válidos para los proyectos de la primera década del siglo XXI (Callaert et al., 2006; Rinia et al., 2002).

CONCLUSIONES

Se quiere finalmente analizar y responder la pregunta de investigación planteada originalmente desde el marco conceptual del modelo de evaluación, de los resultados y retroalimentación obtenidos durante la aplicación del mismo a las dos instituciones de educación superior que formaron parte del estudio.

El estudio documental de los modelos existentes muestra que hay concordancia en las componentes centrales: impacto social, impacto en el conocimiento (científico y tecnológico) y asociación de pertinencia. Las derivaciones secundarias, las subcategorías, son elementos recurrentes en los modelos de evaluación existentes y para los que parece haber mayor congruencia de criterios en relación a los intereses de la investigación. El modelo presentado es amplio, da cabida a los intereses sociales y ciudadanos, los cuales no siempre están representados en los modelos de evaluación corporativa, cubre los aspectos de la comunidad científica y cuida adicionalmente a los tenedores de la investigación, los inversionistas del conocimiento, sean gobierno, iniciativa privada o instituciones. Debe acotarse que la institución educativa debe seleccionar un marco de evaluación que cubre tres etapas en el tiempo de vigencia de la investigación: la incubación, el sostenimiento y la evaluación sumativa. El modelo no sólo se debe componer de una serie de ámbitos, sino también de criterios e intenciones para interpretarlos. El modelo propuesto se apega a estándares de evaluación internacional y hace resonancia en los directores de investigación de las instituciones seleccionadas para el estudio de campo.

El modelo muestra una base internacional que puede adaptarse localmente, y que puede robustecerse a través de modelos específicos de cuantificación, para la evaluación en Ciencias sociales y Administrativas. La inclusión de un indicador sobre investigadores pertenecientes al SNI es del todo pertinente en virtud del reconocimiento que en México (o afines en otros países) tiene esta distinción, la cual parcialmente ya representa una valoración previa del grupo.

Dos de las limitantes de la investigación en una institución son por un lado el acceso a fondos y por otro la falta de contacto con grupos externos de investigación. Por ello, la movilidad y la participación en fondos externos y conjuntos es importante y refleja la calidad y el nivel de la investigación. Los indicadores I_1.3.1 de inclusión de investigadores extranjeros en los grupos de investigación, I_1.5.1 de movilidad, I_3.2.1 de vinculación a líneas nacionales e internacionales e I_3.4.1 de empleo del financiamiento con fondos regionales, dan cuenta de la cooperación externa de los miembros de un grupo de investigación y promueven su desarrollo y conocimiento.

En general, partiendo de la información y retroalimentación de los directores de investigación, los indicadores les permitieron tener una visión comparativa rápida. Este ejercicio les ayudó a resaltar aspectos relevantes, aunque en general la comparación no estaría siempre disponible.

Un último aspecto que se debe mencionar es que es conveniente que una institución adopte un modelo formal mediante el cual evaluar la investigación de manera consistente. En ambas instituciones estudiadas fue claro por la naturaleza de la información con la que se construyó o se pretendió alimentar el modelo, que las instituciones no han empleado un sistema coherente, metodológico y periódicamente consistente para medir su actividad de investigación. La práctica de documentar la información, analizarla y con ella tomar decisiones, no está reflejada dentro de este tipo de actividad en ninguna de las instituciones.

No debe pasarse por alto el comentario establecido de que el modelo no sólo se conforma de indicadores y ámbitos (las actuales categorías y subcategorías), sino que éste está inmerso en un contexto de intención, el cual es tan importante como el propio modelo. ¿Para qué y por qué desea realizarse la evaluación de la investigación?, ¿para qué objetivos desea hacerse ahora o después la evaluación de la misma?, ¿para qué se empleará la información y qué decisiones permitirá tomar? Si el propósito no es claro en términos de la Figura 5, el modelo no estará completo. Estos dos componentes, orientación de la evaluación y sistema de categorías e indicadores, son básicos en el modelo central de esta investigación. Por otro lado, el soporte del conjunto de indicadores presentados en el capítulo 3 se construyó con una visión internacional para este tipo de evaluación, por lo que establece límites altos al permitir establecer comparaciones con instituciones extranjeras de tradición en la investigación.

El modelo presentado ha pretendido desde su conformación tener alcances internacionales. En este sentido ha recopilado elementos empleados en evaluaciones internacionales y sus indicadores se han establecido en términos de construcciones documentadas, así como de propuestas originales basadas en aproximaciones de medición para las subcategorías que integran el modelo de evaluación. Por esta razón, la aplicabilidad del modelo no está restringida a un tipo particular de institución, ni a México exclusivamente. Se trata de un modelo base de evaluación para la actividad de investigación de una institución de educación superior con una perspectiva que emplea prácticas internacionales. Este aspecto es complejo, pero en términos del desarrollo de capital intelectual, se ha establecido que nuevas aproximaciones que vinculen a las disciplinas con otras, la gestión de proyectos en las mismas y su relación con el valor económico de retorno, serán necesarias en el futuro inmediato (Flores, 2001), por lo que estudios referentes a actividades de investigación en disciplinas Administrativas y Sociales son un área de desarrollo actual.

Hay limitaciones que sin embargo deben remarcarse, la primera se refiere a que el modelo es ambicioso, y que la evaluación debe tomarse con reserva en las decisiones que con ella puedan tomarse. El otro aspecto ha sido mencionado ya y se refiere a que la información obtenida mediante este modelo no puede transcribirse a un modelo de evaluación del trabajo de investigación de las unidades de análisis, ya que el conjunto de indicadores está conceptualizado para valorar el trabajo y la cobertura del conjunto de la institución. Cada unidad de análisis tiene peculiaridades y prácticas, por lo que una comparación mediante los indicadores presentados podría no ser equitativa válida para todas ellas. Un aspecto adicional es que para la Administración y las Ciencias sociales, aunque las categorías, subcategorías e indicadores establecen criterios claros, sus parámetros de construcción deben establecerse, como en aquellos para las áreas de Ciencias naturales y Tecnología (Callaert et al., 2006; Debackere y Verbeek, 2003).

El punto anterior establece una oportunidad para extender este estudio en la dirección de fortalecer el establecimiento de parámetros para las áreas administrativas y sociales en relación a algunos de los indicadores de productividad, transferibilidad y potencialidad. Otra línea de investigación sería la observación del modelo por periodos de tiempo más extensos, estableciendo relación con la toma de decisiones y predicción respecto a la calidad de la investigación basada en parámetros o medidas externas. El modelo presentado deberá ser probado aún en forma más extensiva, tanto en otras instituciones como en periodos de tiempo mayor, de manera que sea posible visualizar su valor completo y los aspectos de mejora que indudablemente posee.

AGRADECIMIENTOS

El autor desea agradecer a la Mtra. Gloria Perla Morales Martínez y al Dr. Jaime Ricardo Valenzuela González, quienes impulsaron en conjunto este trabajo en el ámbito de los indicadores institucionales. Igualmente se extiende un agradecimiento al Tecnológico de Monterrey, campus Estado de México y a su director, el Dr. Pedro Grasa Soler por el financiamiento de esta investigación. Finalmente, un profundo agradecimiento al Dr. Salvador Elías Venegas Andraca y al Dr. Carlos Manuel Vázquez Álvarez, entrañables amigos que apoyaron en la realización de este proyecto desde sus posiciones e instituciones.

REFERENCIAS

Amin, M. y Mabe, M. (2000). Impact factor: use and abuse. Perspectives in Publishing 1, 1-6.

Altbach, P., Reisberg, L. y Rumbley, L. (2009). Trends in Global Higher Education: Tracking an Academic Revolution. UNESCO.

Arencibia, R. y Moya, F. (2008). La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. ACIMED 17 (4). Recuperado de http://scielo.sld.cu/scielo.php?pid=S1024-94352008000400004&script=sci_arttext

Arnold, E., Schwaag, S., Bussillet, S. y Brown, N. (2009). Evaluation of Chinese participation in the EU Framework Programme. Brighton: EPEC. Recuperado el 9 de agosto de 2010 en: http://www.eurosfaire.prd.fr/7pc/doc/1246969355_china_fps_final_07_03_2009.pdf

Barr, Margaret J. (2002). Jossey-Bass academic administrator’s guide to budgets and financial management. San Francisco, USA: Jossey-Bass.

BIS. (2009). On researchers mobility and careers within European Research Area. London, UK: Department for Bussiness, Innovation and Skills.

Boesz, C. y Schneider, C. (2005). Accountability in Science Research Funding. Proceedings of International Workshop on Accountability in Science Funding. Bonn: NSC- DFG. Recuperado el 18 de agosto de 2010 en: http://www.nsf.gov/oig/Germany_Accountability_Workshop_Report_2005.pdf

Brunner, J. y Uribe, D. (2007). Mercados universitarios: el nuevo escenario de la educación superior. Santiago, Chile: Universidad Diego Portales.

Callaert, J., Van Looy, B., Verbeek, A., Debackere, A. y Thijs, B. (2006). Traces of Prior Art: An analysis of non-patent references found in patent documents. Scientometrics 69(1), 3-20.

Cruz, L. y Sanz, L. (2006). Research evaluation in transition: individual versus organizational. Consejo Superior de Investigaciones Científicas. Unidad de Políticas Comparadas. Documento de trabajo. España: SPRITTE. Recuperado el 9 de agosto de 2010 en: http://www.ipp.csic.es/doctrab2/dt-0612.pdf

CEE. (2000). Realización del “Espacio europeo de la investigación”: orientaciones para las acciones de la Unión en el ámbito de la investigación (2002-2006). Recuperado el 9 de agosto de 2010 en:

http://www.csic.edu.uy/renderResource/index/resourceId/1656/siteId/3

CEE. (2006). Séptimo Programa Marco de la Comunidad Europea para acciones de investigación, desarrollo tecnológico y demostración (2007 a 2013). Brussels: CE. Recuperado el 2 de noviembre de 2010 en: http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=CELEX:32006D1982:ES:NOT

CHSFR. (2008). Medir el impacto de la investigación: ¿Qué sabemos? Parte I. Insight and Action 46. Montreal, Canadá: CHSFR.

Cockcroft, T. y Beattie, I. (2009). Shifting cultures: managerialism and the rise of "performance". Policing, 32 (3), 526-540.

Debackere, K. y Verbeek, A. (2003). Third European report on Science and Technology Indicators. European Indicators Book. 413 -428. European Commission. Dossier VI: Science and Technology linkage.

Delgado, E., Torres, D., de la Moneda, M. y Jiménez, E. (2007). Relevancia, visibilidad e impacto real de la ciencia española en revistas de primer nivel científico. Uso y abuso del factor de impacto en la evaluación de los científicos españoles. Memorias de IV foro sobre la Evaluación de la calidad de la educación superior y de la investigación. Granada: Fundación Empresa Universidad de Granada. Recuperado el 9 de agosto de 2010 en: http://www.ugr.es/~aepc/VIIFORO/libroivforo.pdf

DMPA-US. (1997). Protocolo de evaluación de la Investigación. Universidad de Salamanca. Documento interno de la Universidad de Salamanca. Recuperado el 9 de agosto de 2010 en: http://qualitas.usal.es/PDF/df1193d2678c3846fe9eb9df52fb9716.pdf

ERiC. (2010). Evaluating the societal relevance of academic research: A guide. The Hague, Netherlands: ERiC. Recuperado el 27 de octure de 2010 en: http://www.nwo.nl/files.nsf/pages/NWOP_83CECZ_Eng/$file/ERiC%20guide.pdf
Etzkowitz, H., Kemelgor, C. y Uzzi, B. (2000). Athena unbound: the advancement of woman in science and technology. Cambridge, UK: Cambridge University Press.

Flores, P. (2001). Capital Intelectual: Conceptos y Herramientas. Recuperado el 10 de febrero de 2011 en: http://www.sistemasdeconocimiento.org/Produccion_intelectual/notas_tecnicas/2001_PDF/csc2001-01.pdf
GAO. (1997). Measuring performance: Strengths and limitations of research indicators [Versión electrónica]. Washington, USA: United States General Accounting Office.

García, A. y Palomares, D. (2010). Examining benchmark indicator systems for the evaluation of higher education institutions. Higher Education 60 (2), 217-234.

García, C. (2008). Dinámicas del financiamiento de la educación superior en el contexto de la diversidad latinoamericana. A diez años de la CMES. En: Carlos Tünnermann (comp.), La educación superior en América Latina y el Caribe: diez años después de la Conferencia Mundial de 1998 (pp. 367-398). Cali, Colombia: Universidad Javeriana.

Godin, B. y Doré, C. (2004). Measuring the impacts of science: beyond the economic dimension. Montreal, Canadá: INRS.

Hicks, D., Kroll, P., Narin, F., Thomas, P., Ruegg, R., Tomizawa, H., Saitoh, Y. y Kobayashi, S. (2002). Quantitative Methods of Research Evaluation Used by the U.S. Federal Government. USA: NISTEP. Recuperado el 2 de agosto de 2010 en: http://www.nistep.go.jp/achiev/ftx/eng/mat086e/pdf/mat086e.pdf

Housel, T. y Bell, A. (2001). Measuring and Managing Knowledge. Singapore: McGraw Hill International Edition.
Jones, N. y Young, J. (2007). Setting The Scene: Situating DFID’s Research Funding Policy and Practice in an International Comparative Perspective. London: ODI. Recuperado el 2 de agosto de 2010 en: http://www.odi.org.uk/resources/download/2809.pdf

Jong, S., Propp, T., Spaapen, J., Van del Meulen, B., Van Droge, L. y Van den Besselaar, P. (2010). Developing and testing indicators for societal impact of research: four case studies. Proceedings of the 3rd European Network of Indicators Designers Conference 2010. París, Francia: ENID. Recuperado el 25 de octubre de 2010 en: http://www.enid-europe.org/conference/abstracts/DeJong_abstract.pdf

Kirby-Harris, R. (2009). Particle physics – It matters. London, UK: Institute of

Kroll, H. y Stahlecker, T. (2009). Europe’s regional research systems: current trends and structures. Bruselas, Bélica: CEE. Recuperado el 2 de noviembre de 2010 en: http://ec.europa.eu/invest-in-research/pdf/download_en/kf2008.pdf

Martin, R. y Sunley, P. (2006). Path dependence and regional economic evolution. Journal of Economic Geography (6) 4, 395-437.
Mazza, S. (2009). Indicadores para la ciencia y tecnología. Gestión Universitaria (1) 3. Recuperado el 24 de noviembre de 2011 en:
http://www.gestuniv.com.ar/gu_03/v1n3a2.htm

Meek, V. y Suwanela, Ch. (2006). Higher Education, Research and Knowledge in the Asia Pacific Region. New England, Australia: The University of New England.

MEXT. (2010). Promotion of basic research. Tokio, Japón: MEXT. Recuperado el 26 de octubre de 2010 en: http://www.mext.go.jp/english/org/struct/025.htm

Rinia, E., Leeuwen, N., Bruins, E. Vuren, H. y Van Raan, A. (2002). Measuring knowledge transfer between fields of science. Scientometrics 54(3), 347-362.

Sanz, E., García, C., Iribarren, I., Efrain, P. y Sánchez G., S. (2008). Propuesta de evaluación de la investigación en la universidad española a partir de indicadores complementarios. Memorias del V Foro sobre la Evaluación de la Calidad de la Educación Superior y de la Investigación. Donostia: Universidad del País Vasco. Recuperado el 9 de agosto de 2010 en: http://www.ugr.es/~aepc/VIIFORO/librovforo.pdf

Sanz, L. (2006). Evaluación de la investigación y sistema de ciencia. Consejo Superior de Investigaciones Científicas. Unidad de Políticas Comparadas. Documento de trabajo. España: SPRITTE. Recuperado el 2 de agosto de 2010 en: http://www.iesam.csic.es/doctrab2/dt-0407.pdf

Science Gateway. (2010). Rankings of impact factor of journals. Recuperado el 2 de noviembre de 2010 en: http://www.sciencegateway.org/rank/index.html

SEP. (2011). Cuerpos académicos. Recuperado el 12 de enero de 2011 en: http://promep.sep.gob.mx/cuerpos.html

SEP. (2010a). Programa Integral de Fortalecimiento Institucional. Recuperado el 12 de enero de 2011 en: http://pifi.sep.gob.mx/

SEP. (2010b). Programa de Mejoramiento del Profesorado. Recuperado el 12 de enero de 2011 en: http://promep.sep.gob.mx/

Sharpe, A. y Smith, J. (2005). Measuring the impact of research on well-being: a survey of indicators of well-being. Ottawa, Canada: CSLS.

Solow, R. (1957). Technical change and the aggregate production function. Review of economics and statistics 39, 312-320.

Tatavarti, R., Sridevi, N. y Kothari, D. (2010). Assessing the quality of university research. Current Science 98(8), 1015-1019.

Thomson Reuters. (2010). Journals citation of Thomson Reuters. Recuperado el 4 de noviembre de 2010 en: http://thomsonreuters.com/products_services/science/science_products/a-z/journal_citation_reports

Tunzelmann, N. y Kraemer, E. (2003). Changes in research assessment practices in other countries since 1999: final report. England: HEFCE. Recuperado el 9 de agosto de 2010 en: http://www.grs.sunderland.ac.uk/grsstaff/Roberts2/changingpractices.pdf

Ugalde, J. y Jáuregui, G. (2010). Sistemas de evaluación de la Investigación en Ciencias Sociales y Humanidades: Reflexiones y Referencias. Notas de los XXII Cursos europeos. Donostia: Universidad del País Vasco. Recuperado el 9 de agosto de 2010 en: http://www.sc.ehu.es/scrwwwsu/2010/ProgramaWeb/J1.pdf

UNESCO. (2007). Proposed International Standard Nomenclature for Fields of Science and Technology. París, Francia: UNESCO. Recuperado el 20 de octubre de 2010 en: http://unesdoc.unesco.org/images/0000/000021/002126eb.pdf

Valenzuela, J. R. (2004). Evaluación de instituciones educativas. Distrito Federal, México: Trillas.

Valenzuela, J. R., Ramírez, M. S. y Alfaro, J. A. (2009). Construcción de indicadores institucionales para la mejora de la gestión y la calidad educativa. Revista Iberoamericana de Evaluación Educativa, 2(2), 59-81.

Wakelin, P. y Kiriacou, C. (2010). Widening participation from undergraduate to postgraduate research degrees. York, UK: ESRC-University of York.

Gestión Universitaria
ISSN  1852-1487

http://www.gestuniv.com.ar

Vol.:04
Nro.:03
Buenos Aires, 15-07-2012

Recibido el: 09-05-2012 ; Aprobado el: 14-05-2012

URL http://www.gestuniv.com.ar/gu_12/v4n3a1.htm