Sobre el ranking de universidades españolas

(No, no voy a hablar de Bolonia)


Voy a hablar del n-ésimo estudio que se ha publicado sobre la calidad de las universidades, con su correspondiente ranking, y en este caso sólo referido a universidades españolas (eso sí, tanto públicas como privadas). El estudio lo ha realizado el Instituto de Análisis Industrial y Financiero de la U. Complutense de Madrid.
Tan sólo hace un mes, la Fundación Conocimiento y Desarrollo realizó otro estudio en que se valoraba esencialmente lo mismo (calidad de la investigación y calidad docente).

Ni que decir tiene que la publicación de estos estudios tiene un morbo indudable, pues todo el mundo acude al ranking lo primero de todo, a ver cómo está su universidad (en la que estudió, en la que trabaja...) respecto a las demás. Tan sólo después de escandalizarse por la posición que el estudio le otorga a su universidad se acude a conocer los criterios de valoración, generalmente para denostarlos y terminar despreciando el estudio... Esta es la actuación habitual de los rectores cuando salen mal parados, je, je...


Lo cierto es que si uno compara la posición de, digamos, la U. Autónoma de Madrid, en "investigación", que es la que aparece como 1ª en el segundo estudio, resulta que en el primero aparece en 4ª posición. Y si nos vamos a la U. de Lleida, que es la 1ª en "calidad docente" para el segundo estudio, en el primero aparece como 8ª!. Y eso que ambos estudios están midiendo parámetros aparentemente similares...!!


¿Cuál es el problema?


Lo anterior ilustra claramente el problema de estos estudios: que si consultas 10, aparecen 10 rankings diferentes, y algunos de ellos se parecen entre sí como un huevo a una castaña. Esto, claramente, puede hacerles perder credibilidad, sobre todo si, como dice uno de los autores del primero que he enlazado, se pretende "que sirvan de orientación al futuro alumno".


En realidad, que aparezcan estas diferencias entra dentro de la lógica según la cual se hacen estos estudios, pues los factores evaluados suelen ser muy diferentes. Incluso cuando se evalúan, como en estos dos casos, factores parecidos, el peso y la importancia que los autores dan a unos y otros son muy distintos... el resultado de esta subjetividad no puede ser otro que el que algunas universidades aparezcan artificialmente perjudicadas, con el añadido de que en cada estudio serán universidades distintas las que aparezcan perjudicadas.

La primera crítica importante que se me ocurre es que una Universidad es un agregado de Escuelas y Facultades que poco tienen que ver unas con las otras. Por lo tanto, el estudio comparativo debería haberse hecho entre Facultades. Los autores reconocen este punto, pero aducen que no existen datos para comparar entre facultades. Bien, pues es hora de que la Conferencia de Rectores trabaje para elaborar y poner estos datos a disposición. A pesar de ello, los autores no han renunciado a comparar universidades completas, lo cual no deja de ser una comparación de churras con merinas. Porque ya me diréis qué tiene que ver una universidad politécnica con otra que enseñe principalmente letras. Desde luego que ambas pueden tener buena o mala calidad, pero ¿pueden ser medidas con los mismos parámetros? Ni los alumnos, ni la sociedad, buscan lo mismo y necesitan lo mismo de una universidad politécnica que forma ingenieros que de una universidad que forme filólogos. Y los parámetros de calidad no pueden ser los mismos. Luego volveré sobre este punto.


Por otro lado, y como los autores no son tontos, intentan soslayar este punto eligiendo parámetros lo más generales y objetivos posible, y que además sean medibles, claro. Esto tiene el problema, como creo que es el caso, de que al final no estés comparando nada realmente relevante, es decir, que los parámetros elegidos no sean verdaderamente representativos de la calidad de la universidad. También volveré sobre este punto.


Algunas paradojas del presente estudio


No conozco los detalles técnicos de elaboración del estudio, porque por alguna razón el pdf de El País no se descarga correctamente. Pero, en cualquier caso, hay dos aspectos que llaman la atención de un solo vistazo:

• El hecho de redondear a 100 al primero de la lista (U. Navarra) y comparar al resto contra él, produce un efecto visual de enorme diferencia de "calidad" entre dicha universidad y todas las demás. Buscado o no este efecto, está claro que semejante diferencia de calidad no puede ser real, e induce a error.


• Por el contrario, en el resto de universidades de la lista, las diferencias numéricas de calidad son bajísimas: entre la U. Córdoba que puntúa 62, y la U. Zaragoza, que puntúa 52 (siempre sobre 100) hay que bajar 17 posiciones. O visto de otro modo, entre la U. Zaragoza, que está en la posición 18, y la U. Cádiz, posición 34, apenas hay 5 puntos de "diferencia de calidad" entre ellas. En definitiva, el estudio no parece discriminar lo suficiente entre universidades.

Se puede aducir que el ranking numérico final es una media de dos factores, "Calidad docente" y "Calidad investigadora", en los que sí se aprecian mayores diferencias. Es cierto.

Pero aún en estos factores, podemos encontrar paradojas. Examinemos algunas de ellas:

Calidad docente

El factor "Calidad docente" mide parámetros como "recursos humanos", "medios informáticos", "libros por alumno", "rendimiento académico", "resultado de doctorados"...

Uno se pregunta si realmente estos parámetros (que como dije anteriormente está claro que se eligen porque son generales, objetivos y medibles), son unos buenos indicadores de la calidad docente. Particularmente pienso (aunque sé que se me discutirá este punto) que los medios informáticos tienen poca relación con la calidad docente, y en cualquier caso, podrían tener importancia en algunas facultades (escuelas técnicas, por ej.) pero mucho menos en otras, dependiendo de la titulación. No digamos ya, la dotación de libros de sus bibliotecas: posiblemente es mucho más relevante para las facultades de humanidades, de ciencias sociales o, en general, para las que basan gran parte de la formación del alumno en una buena selección de lecturas, que, por ej, para las ingenierías. Desde luego, uno no elige una escuela de ingeniería ni aquí ni en ninguna parte del mundo, por el número de libros de su biblioteca.

Para quien quiera discutir mi opinión en este punto, le pido que tenga en cuenta lo siguiente: una universidad que quiera aumentar de un año a otro artificialmente su posición en este ranking, lo podría hacer mediante una compra masiva de libros y de ordenadores... sin que tal cosa hubiera modificado lo más mínimo su calidad docente. Esto debería hacernos descartar tales parámetros como factor de medición, o al menos darles un peso muy minoritario.

Examinemos ahora eso del "rendimiento académico". Este parámetro es muy controvertido, pues perjudica claramente a las universidades politécnicas, que son las que tradicionalmente "destacan" por las bajas notas de sus alumnos y por un elevado abandono, siendo, paradójicamente, las que reciben a los alumnos con notas más brillantes del bachillerato. Se puede discutir, y yo lo discuto porque lo conozco bien, si tiene sentido el elevado número de suspensos que otorgan las escuelas técnicas, si esto responde a una alta exigencia o meramente a un factor "elitista" que tienen muchos profesores (que vendría a responder a la idea de "cuanto peor, mejor", cuanto más cueste aprobar, más prestigio para la escuela). Pero lo que es indiscutible, es que la "dureza" de los estudios, la dificultad intrínseca de la carrera, debe ser puesta en equivalencia de alguna manera en la comparación, pues de otro modo el parámetro "rendimiento académico" perjudicará claramente a las politécnicas, y así se puede ver en el presente ranking.

Calidad investigadora

Este factor mide parámetros como "nº tesis", "nº patentes", "proyectos de I+D", "recursos financieros por investigador"...

Estos factores sí parecen ser una medida más o menos representativa de la calidad investigadora de la universidad... pero sólo aparentemente. Primero, porque el nº de tesis puede ser muy alto, pero la naturaleza y la calidad de dichas tesis puede ser muy discutible. Quizá se tendría que medir dicha calidad buscando referencias internacionales, citas en otros estudios o en publicaciones relevantes, etc.

El nº de patentes es indudablemente un buen indicador y, de hecho, uno de los que más nos diferencia de las mejores universidades anglosajonas.

Sobre los "proyectos de I+D" tengo más dudas, pues se presta a la manipulación... habrá que ver qué considera cada universidad como proyecto de i+d, particularmente las de letras...

Sin entrar en la polémica de si es "mejor" o "más útil" investigar sobre "una nueva fuente de energía" que sobre "la evolución del idioma vascongado en tiempo de los romanos", lo que está claro es que un mayor número de tesis y proyectos del 2º tipo no debería otorgar a la universidad necesariamente una mayor calidad investigadora que a la que hace tesis y proyectos del 1er tipo, aunque sean menos... sencillamente, hay comparaciones que no tienen sentido.

Mi principal problema con el factor "investigación", de todas formas, es que su aportación a la calidad de la universidad no debe hacerse a expensas del alumno. Es decir, considero imprescindible que una buena universidad investigue, colabore con la empresa privada, transfiera conocimientos a la sociedad y se mantenga al día de lo que se hace en el mundo, pero esto no debe hacerse a costa de robarle dedicación al alumno. Si esta actividad, por muy importante que sea, no redunda en una ventaja educativa para el alumno, entonces esa universidad no puede estar en una buena posición en el ranking... esa universidad ha pasado a ser otra cosa, ha pasado a ser un "centro de investigación".

Este tipo de cuestiones, que sí son relevantes, quedan totalmente ocultos en la mayoría de los estudios, y desde luego en el que estamos examinando.

¿Cómo debería hacerse un benchmarking como éste?

Como podéis adivinar, la respuesta no es nada fácil. Además, si yo supiera la respuesta, cobraría por ella, que para eso soy consultor... Aportaré, eso sí, un par de ideas.

Un benchmark como éste no debiera diferir demasiado de cualquier otro que se haga, por ej., en la empresa privada, sobre cualquier aspecto en que te deseas comparar con tu competencia, con tu sector, con los mejores de tu campo... Y, como en la empresa privada (que es la que conozco), obtener un estudio de benckmarking verdaderamente relevante y útil para la mejora es muy difícil: estudios de este tipo existen muchos, pero la mayoría son meras comparaciones simplificadas de algunos aspectos, que no siguen una metodología rigurosa y que son utilizados obscenamente por los consultores para mostrar lo que el cliente quiere ver en ellos. Porque esto es lo fácil, lo rápido, y además da réditos, pues el cliente suele ser poco exigente, cuando debería ser el principal interesado en que el estudio fuera riguroso.

En el caso de un benchmark entre universidades la dificultad es mucho mayor: comienza en la propia definición de "calidad universitaria", que debe ser de algún modo consensuada entre todos los participantes, y también entre los grupos interesados (principalmente alumnos). Esto no es fácil, pero si no exigimos este primer paso, cualquier nuevo estudio comparativo será lo que son ahora: meras anécdotas sólo aptas para chascarrillos.

El siguiente paso, muy relacionado con el anterior, sería elegir parámetros de medición verdaderamente relevantes a la hora de medir la calidad. No sólo factores generales que sean fáciles de medir, sino que sean significativos. Para ello pueden usarse referencias internacionales, ver lo que convierte a las mejores universidades del mundo en lo que son, y tratar de medirlo en las nuestras. Esto también debe ser aceptado por los participantes.

Una vez que estemos de acuerdo en qué parámetros son significativos para medir la calidad, habría que introducir un concepto bien presente en la industria en todo benchmark que se precie: la homogeneización: necesitamos un mecanismo que permita hacer comparaciones, no comparar churras con merinas, como decía antes. ¿Cómo resuelve la industria esta dificultad?. De dos maneras:

• los peer groups: "grupo de pares". La comparación sólo puede hacerse dentro de un grupo homogéneo. En el caso de las universidades, la comparación debería hacerse por facultades, que es un peer group claro. Pero en caso de empeñarse en comparar universidades completas, ha de compararse dentro de grupos homogéneos, por ej: todas las universidades politécnicas, el conjunto de facultades de ciencias de las universidades que dispongan de ellas, idem de humanidades, etc (esta última clasificación admite más posibilidades y, por lo tanto, más discusión).
• los factores de puesta en equivalencia: adicional a la comparación dentro de tu grupo de pares, suele ser necesario introducir algún factor de homogeneización a los parámetros seleccionados, que de algún modo "iguale" la relevancia que tienen estos parámetros para unas y otras universidades. Si la comparación se hace "por facultades" este factor de puesta en equivalencia puede no ser necesario, pero si, como hace el estudio referido, la comparación es entre universidades completas y además no se usan peer groups, un factor de puesta en equivalencia es imprescindible. Y desde luego, no se me ocurre ninguno sencillo así, a vuela pluma. Pero debe introducirse un factor que "obvie" por ej, el hecho de que los estudios en una politécnica son más exigentes que en otras.

Públicas y privadas

Como habéis podido ver, el estudio compara indistintamente universidades públicas y privadas, lo cual me parece bien. Me llama la atención el comentario de la profesora de la Autónoma Carmen Pérez en el artículo enlazado, que se opone a ofrecer rankings conjuntos de centros públicos y privados porque "ofrecen productos diferentes, un profesor de la privada dedica más horas a las clases que uno de la pública, y menos a la investigación". Bien, ¿y?. ¿Qué es eso de que ofrecen productos diferentes? Afirmaciones como ésta me dejan patidifuso. A esta señora se le ve el plumero, y está reconociendo que la actividad investigadora y la docente no tienen nada que ver, y que una se hace a expensas de la otra. Pues bien, insisto en el tema: esto es intolerable. La actividad investigadora debe ir en beneficio, entre otros, del alumnado, y si no es así, la universidad debe ser penalizada en el ranking, sea pública o privada.

Por último: ¿sirven para algo estos estudios?

Como he defendido en este post, con la deficiente metodología que utilizan, estos estudios sirven básicamente para meterlos en un cajón. A los responsables de realizarlos se les debe exigir que se lo curren un poco más si quieren de verdad cumplir los objetivos: mejorar la universidad y ayudar al alumno a elegir. De momento, se tienen que conformar con una efímera aparición en la sección de educación de los periódicos.

Hasta que llegue ése momento, yo si fuera rector de una de estas universidades (algo harto difícil), sí trataría de sacar de este estudio la mejor información posible que me ayude a mejorar mi universidad: por ejemplo, las universidades politécnicas, que me han servido de ejemplo en mi exposición, pueden descartar la comparación con otras, pero pueden compararse entre sí, y preguntarse por qué la de Valencia y la de Cataluña aparecen por encima de la de Madrid, y entender si es por alguna razón de peso o sólo un tema asociado a la metodología seguida.

Y para finalizar, no olvidemos las propias conclusiones de los autores del estudio, que no sé si se basan en su propio estudio o no, pero sabemos que reflejan parte de los importantes problemas a corregir en la universidad española:

• Poca exigencia en el control de calidad de los centros
• Prevalencia de los intereses del profesorado frente a las necesidades de la sociedad o de la propia universidad
• Falta de autocrítica
• Universidades a la cola de las listas de calidad internacionales
• Procesos de selección de docentes e investigadores poco transparentes
• Valoración endogámica y poco seria de los trabajos académicos propios.