[Cvu] Relevancia académica

Mar Mayo 15 23:16:31 CDT 2018

Hola Sylvain

Muy interesante discusión. Es obvio que la clasificación de la actividad científica mediante “métricas” no es una ciencia exacta, pese a lo que creen los burócratas y (desafortunadamente) muchos colegas. Cualquier tipo de métricas tendrá múltiples fallas y estará sujeto a subjetividad, modas, “cuatazagos”, arbitrariedades burocráticas. El principal mérito del sistema que describes es la aparente sencillez y el ahorro de tiempo. 

Sin embargo, no es tan sencillo como parece, habría que resolver el gigantesco problema de determinar los valores k1, k2, k3, etc. ¿Cómo y quién las va a determinar? Esto sería un verdadero campo minado. Estos valores deberán de depender de la disciplina: la producción de artículos en matemáticas puras y en física de materiales o biotecnolgía es muy distinta, el número de citas depende de la demografía de las disciplinas (los factores de impacto de las revistas también). Además, está la cuestión de la moda y el hecho de que para dada disciplina estas k’s podrían ser funciones del tiempo, no constantes absolutas. 

Todos los indicadores tienen valor y marcan algo. El problema es cuando alguno de esos indicadores se vuelve un parámetro absoluto y se usa para promover o decapitar carreras académicas. Ejemplo: ¿porque el SNI y casi todas las universidades hacen un fetiche absoluto de la dirección de tesis doctorales? ¿acaso no se contribuye igual o más a la “formación de recursos” con dar muchos cursos en primeros semestres de licenciatura o al escribir un libro de texto con difusión internacional?  

Las burocracias aborrecen los cambios. Siendo realista, se que las burocracias de la  evaluación de la ciencia en México no van a cambiar sus métricas, pero no me importa tanto que cambien o mantengan el tipo de métrica que usan, sino que el ser clasificado (con la métrica que sea) deje de implicar el caer en un laberinto de torpeza digital y pérdida de tiempo, como lo es el CVU. Aunque la labor de Luis y otros colegas (y la apertura de mente de algunos académicos en conacyt) ha mostrado que los cambios positivos en este aspecto son posibles. 

Sobre las modificaciones que se podrían implementar en las métricas, lo principal sería que dejaran de hacer de ciertos indicadores totems absolutos y que hubiera más transparencia. Otra humilde sugerencia (que se que no le van a hacer caso) es que ya es hora de introducir un nivel 2.5 entre el II y el III. No hay justificación para que siga existiendo este salto gigante de ingresos y “prestigio” y privilegios entre el nivel II y el III.  Además, cada vez las comisiones evaluadoras ponen más restricciones al pasaje del nivel II al III (lo que además hacen en una forma discrecional que depende de las comisiones).  La discrecionalidad es necesaria en la evaluación, pero es un problema grave cuando se abusa de ella y cuando las decisiones discrecionales implican una diferencia tan grande en los ingresos de los evaluados.  Un nivel 2.5 ayudaría mucho a resolver esto.         

Dr Roberto Allan Sussman Livovsky
Instituto de Ciencias Nucleares
Universidad Nacional Autónoma de México, ICN-UNAM
sussman en nucleares.unam.mx

On May 15, 2018, at 8:23 PM, Sylvain Bernes <sylvain_bernes en hotmail.com> wrote:

> Hola a todos los que siguen esta discusión.
> 
> Para el día del Maestro, además de enviarles felicitaciones, me permito citar el siguiente tweet, por si no lo conocen:
> 
> "I’ve been on a number of search committees. I don’t remember anybody looking at anybody’s papers. Number and IF [impact factor] of pubs are what counts"
> Terry McGlynn (realscientists) (21 October 2015, 4:12 p.m. Tweet.)
> 
> Esto me hace pensar que el CVU actual no sirve de mucho si se usa para fines de evaluación. (Nota importante: si tienen prisa, y/o si no les interesa el tema, pueden omitir lo que sigue y cerrar este mensaje).
> 
> Siguiendo la lógica del Dr. McGlynn [1, 2], el CV de un investigador cabe en un solo renglón de una hoja de Excel:
> 
> N/L/C1/C2/Fi/P/T/Cg/Pf/E
> 
> donde:
> 
> N = Número de artículos.
> L = Número de libros. [3] 
> C1 = Número de citas a los N artículos y L libros (tomado de una fuente confiable e imparcial).
> C2 = C1 menos las auto-citas.
> Fi = Promedio aritmético de los factores de impacto (FI) de las revistas donde aparecen los N artículos (se toma el FI del año anterior al año de publicación [4]).
> P = Número de patentes (cualquier patente, incluyendo las que tienen una probabilidad nula de venderse. Después de todo, una patente tiene más valor que cualquier artículo).
> T = Número de Tesis (no importa que Ud. sea Director, Asesor, Co-asesor, Asesor externo, Asesor técnico, Co-co-asesor, Tutor, etc. A final de cuenta, la Tesis es del alumno).
> Cg = Número de participaciones en Congresos (lo de la participación significa que el investigador estaba presente en algún lugar entre la playa y la sala de conferencias [5]).
> Pf = Número de proyectos financiados (no importa que sea como responsable técnico, co-líder, colaborador, co-colaborador, participante... el proyecto es de todos).
> E = Número de clases impartidas en cualquier nivel de Enseñanza (excluyendo las clases con 0 alumnos, no hay que exagerar [6]).
> 
> Este tipo de CVU es excelente para la evaluación, simplemente porque no se necesita evaluadores: el SNI podría, por ejemplo, establecer una fórmula para calcular el nivel donde ubicar a cada uno: 
> 
> k = k(N, L, C1, C2, Fi, P, T, Cg, Pf, E).w,  donde w es un factor de escala para tener 0 < k < 1 [7, 8].
> 
> Y luego:
> 
> si k < k1 --> sin nivel
> si k1 < k < k2  --> nivel C
> si k2 < k < k3 --> nivel 1
> si k3 < k < k4 --> nivel 2
> si k4 < k < k5 --> nivel 3
> si k5 < k < 1 --> nivel E [9]
> 
> Las ventajas son múltiples. El ahorro económico es obvio: supongo que un script de veinte líneas en Python realiza el cálculo; la transparencia es total, ya que cada investigador puede calcular su índice k; se acaban las interminables discusiones de pasillo acerca de lo injusto que son los evaluadores del SNI, discusiones que tanto daño hacen a nuestra pobre productividad académica; se acaba elestrés para los investigadores cuando se aproxima el 02 de septiembre, fecha de publicación de la evaluación [10], ya que los resultados están conocidos antes de aplicar a la convocatoria (dicho de otra manera, se puede eliminar la convocatoria); el INEGI se pone feliz al tener una simple lista de índices k para clasificar a la planta académica del país con un sólo clic; se simplifica la entrega del PremioNacional de Ciencias y Artes: basta identificar la persona con el mayor índice k (es muy poco probable un empate técnico si la función k está bien diseñada, y si se evalúa con, digamos, 8 decimales), etc.
> 
> En fin, lo que quiero decir, es que podríamos pensar que lo que funciona para los esquemas de estímulos de las Instituciones de Educación Superior (aka puntitis) debería de funcionar también para los sistemas como el SNI, el SNCA, el PNPC, etc. El drama es que... no es cierto. La evaluación basada en métricas con fines de clasificación es una completa ilusión. No tengo otro argumento que una anécdota personal: del punto de vista académico, lo que más me impactó durante los últimos 35 años, no fue un artículo, no fue una conferencia, no fue un libro, no fue una Tesis, no fue un proyecto, no fue un investigador, no fue un laboratorio, no fue un Premio Nobel o cosas por el estilo. Fue la primera clase de un curso de Maestría titulado "Química General", con un syllabus que se veía bastante seco (básicamente, era fisicoquímica de soluciones, termodinámica clásica, y termodinámica estadística; el curso duraba un año). El Maestro, Prof. Gilbert Hervé, dedicó la primera hora en explicar que el universo visible es concebible solamente bajo la hipótesis de dos clases de partículas elementales que deben coexistir (son los fermiones y los bosones). Lo único que tenía era un pizarrón; nada de notas, proyector de acetatos, PowerPoint, computadoras y todas estas cosas por lo general inútiles. Fue tan inteligente, tan luminoso, tan bien preparado, tan profundo, y tan fantásticamente interesante, que cualquier intento de "evaluación" de esta clase hubiera sido una broma. Iba mucho más allá de lo "evaluable". 
> 
> Lo más relevante para evaluar un investigador no cabe en la función k, no cabe en su CVU, y la verdad, prefiero que sea así. Ahora, si el CVU sirve para otras cosas, pues, adelante. No me molesta jugar a ser un pequeño Akaki Akákievich tres o cuatro días al año, y capturar lo que los funcionarios piden. Basta saber usar las teclas Ctrl-C/Ctrl-V.
> 
> 
> Notas
> 
> [1] Descubrí el tweet en un interesante artículo sobre la posible existencia de una selección natural de la Ciencia de baja calidad: http://dx.doi.org/10.1098/rsos.160384
> 
> [2] No es complicado verificar experimentalmente la validez de lo mencionado por Terry McGlynn: en cualquier junta de su Instituto o Facultad, a manera de juego pueden distribuir a cada uno de sus colegas una hoja de papel, y pedir que escriban 1) su nombre y 2) el título de un artículo publicado durante los 6 meses anteriores por un miembro del Instituto/Facultad, con la restricción de que sea un artículo donde no son autor o co-autor. Prohibido usar celulares u otros medios electrónicos. Luego se recopilan las hojas, y se cuenta el número de veces donde aparece un título correcto en el inciso 2). No lo hagan, el resultado es conocido.
> 
> [3] Variable indispensable para evitar recibir regaños por parte de nuestros colegas de humanidades, y para enfatizar el hecho de que un buen proyecto de Antropología social es mucho más relevante que un mal proyecto de Cromodinámica cuántica. 
> 
> [4] Existen decenas de factores de impacto, pero se puede usar los valores publicados por Clarivate Analytics, muchos los conocen de memoria hasta una precisión de tres decimales. 
> 
> [5] Tratar de poner criterios más estrictos para definir las variables como Cg es contraproducente; un póster que nadie verá tiene el mismo "valor" que una charla que los asistentes habrán olvidado el día siguiente (en el mejor de los casos). Además, es muy fácil transformar la charla de un domingo en la mañana delante un público de dos personas (se equivocaron de salón) en un congreso local organizado en la Universidad de Chicontepec por la esposa del conferencista, en una "Conferencia Magistral de Apertura por Invitación del Congreso Internacional Al Que Todos Fueron". Sospecho que nuestros queridos colegas del SNCA hacen un poco lo mismo: un espectáculo de dos payasos bien groseros en la Alameda Central puede reportarse como una "Ópera de Ruptura Artística presentada en Bellas Artes con localidades agotadas durante 1000 representaciones". No será factualmente falso.
> 
> [6] El concepto de clases sin alumnos existe. Se llama "Educación a (muy larga) distancia", "Cursos por correspondencia", "Cursos en línea", MOOC, o como sea. No pretendo que sea una forma de enseñanza mala, todo lo contrario. Sin embargo, el salón de clase se queda literalmente vacío, y el Maestro puede dedicar 0 horas a la enseñanza de sus 0 alumnos, nadie se dará cuenta, ni siquiera los 0 alumnos. Es posible evitar este tipo de problema en el cálculo de la función k usando variables funcionales. En el caso de E, podría ser E = H.a, donde "H" es el número de horas pizarrón por año, y "a" es el número de alumnos atendidos por año (con perdón, no son "horas pizarrón" sino "unidades de aprendizaje", y ya no se "atienden" a los alumnos, se "tutorean").
> 
> [7] Nótese que las variables de la función son números positivos y adimensionales. Eso facilita las cosas, y permite ver k como una probabilidad. La función debe ser asintótica en su límite superior k = 1, pero no en su límite inferior k = 0, para evitar situaciones caóticas, por ejemplo si de repente todo el país intenta ingresar al SNI.
> 
> [8] La idea del Dr. McGlynn es más sencilla todavía. Según su experiencia, basta una función de dos variables, k = k(N, Fi), sin factor de escala w.
> 
> [9] Por supuesto, k1 < k2 < k3 < k4 < k5. Los valores para k1, k2,..., k5 se publican cada año en el Diario Oficial de la Federación, y pueden ajustarse al presupuesto disponible. Si por una razón u otra el presupuesto es menor a lo que esperado, se puede ajustar el factor de escala w. No se puede imaginar un parámetro más democrático que el factor w. Si todo el presupuesto desaparece, no es nada grave: se pone w = 0.
> 
> [10] El estrés es obviamente para todos los investigadores, no solamente para los que aplicaron en un año dado. Cada uno checa quien subió, quien bajó de nivel, quien entró, quién salió del sistema, y se desespera si sus colegas suben de nivel: ¡Aaaaaah! No se vale, ¡¡¡solo produce basura y lo subieron de nivel!!! (uso el término "basura" porque recientemente se aplicó efectivamente a mi propia producción, así que supongo que otros lo usan, aunque en voz baja, cada 02 de Septiembre). 
> 
> 
> Saludos
> S.
> 
> ______________________________________________
> Sylvain Bernès
> (+52)(222) 229 5500 Ext. 2037 & 2039
> Instituto de Física Luis Rivera Terrazas, BUAP
> Edificio 1IF2 (aka 110-B), Lab. 102
> 72570 Puebla, Mexico
> 
> Co-editor IUCrData
> 
> Eso tomará 2:42 de tu vida (habla bien rápido)
> 
> <Outlook-1473719503.jpg>
> ______________________________________________
> 
> _______________________________________________
> Mensaje público enviado a la lista Cvu
> Cvu en em.fis.unam.mx
> http://em.fis.unam.mx/cgi-bin/mailman/listinfo/cvu

------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://em.fis.unam.mx/pipermail/cvu/attachments/20180515/cde6466d/attachment-0001.html>