[Cvu] Relevancia académica

[karo]

Hola Sylvain y Roberto, y todos,

Propuesta para eliminar la naturaleza subjetiva, costoso y conflictiva 
de las evaluaciones.

Basándome en las críticas válidas de Roberto Sussman sobre la sugerencia 
de Sylvain Bernes y otros (incluyéndome a mí) de la necesidad de un 
esquema de evaluación más objetivo y automatizado para eliminar la 
naturaleza subjetiva, costoso en tiempo y dinero y generador de 
conflictos de las evaluaciones actuales.

Permítanme comenzar con una serie de postulados en los que se basa la 
siguiente propuesta. La defensa de estos se presenta a continuación y, 
por supuesto, está abierto a discusión.

1) Aparte del deseo de obtener un nivel de vida razonable, para el 
científico sincero, el salario no es una motivación para hacer una mejor 
ciencia.

2) La actual dispersión salarial entre los científicos en México es 
demasiado grande y no representa ciencia eficiente por dinero.

3) La diversidad de talentos de las personas que operan en una 
institución científica compleja es un buen rasgo.

4) En la actualidad, demasiado de nuestro tiempo como científicos en las 
instituciones está dedicado a la burocracia y las evaluaciones 
distintas.

5) El presente esquema de evaluación se considera universalmente como 
una promoción subjetiva, consumidora de recursos y, lo peor de todo, de 
denominador común.

Sugerencia para la evaluación salarial:
Una lista similar de números A, B, C, D, ... como lo sugirió Sylvain, 
pero los incluiría o sustituiría;
1) índice h normalizado por área,
2) edad del investigador,
3) número de hijos,
4) número de comisiones institucionales.

Tres conjuntos diferentes de pesos a_i, b_i, c_i, d_i, e_i, f_i, ... (i 
= 1,3), uno para cada clase científica.

Clases científicas:
1) Investigador, 2) Profesor, 3) Administrador

Cálculo de tres valores para cada cientifico:
Puntuación k_i = F (a_i * A, b_i * B, c_i * C, ...) (i = 1,3)

Los pesos se normalizan para dar valores uniformes entre 0 y 1 para 
todos los científicos en el instituto.

Para cada científico, se calculan tres valores, uno para cada clase 
cientifica. La mayor de las tres puntuaciones, kb, es la evaluación 
anual asignada al científico.

E.g.
kb < X  ; Titular A, PRIDEA, SNI I
X < kb <= Y ;  Titular B, PRIDE B, SNI II
Y < kb <= Z ; Titular C, PRIDE C, SNI III
, etc.

Recomendaciones para ir junto con el esquema de evaluación salarial 
propuesto:
1) Las diferencias entre los salarios netos (incluyendo PRIDE, SNI, 
etc.) no deberían ser más del 30%.

2) Evite la inclinación a utilizar los tres valores de k_i en la 
evaluación, ya que esto dañaría la diversidad institucional. Sin 
embargo, las valores mínimas, km, en cada categoría podrían establecerse 
y solo aplicarse si las tres clases no están adecuadamente 
representadas.

3) Todos los científicos deberían recibir una cantidad grande e igual de 
dinero (mucho más grande que el actual) para computadoras, gastos de 
viaje, invitados, publicaciones, insumos experimentales, etc., 
independientemente de su evaluación salarial. No implica burocracia 
adjunta; se supone que el científico es lo suficientemente maduro como 
para gastar su dinero sabiamente.

4) Las subvenciones para proyectos costosos, aparatos experimentales, 
supercomputadoras, colaboración internacional, etc. solo deberían 
otorgarse después de una defensa (presentación escrita y oral / visual) 
del proyecto ante un panel de expertos internacionales y el público (es 
decir, comunidad de científicos) que evaluarán la propuesta y se les 
paga bien por su tiempo. El panel se elige específicamente para cada 
proyecto propuesto. Rara vez se llamará a un miembro del panel más de 
una vez.

Justificación de los postulados anteriores:

1) La principal motivación de un científico sincero es el reconocimiento 
de la contribución al conocimiento humano colectivo o el reconocimiento 
de la contribución a la educación de la próxima generación de 
científicos, o al reconocimiento de la contribución para mejorar la 
administración y el funcionamiento de una institución. Por lo tanto, una 
institución puede reducir de manera segura las diferencias salariales 
sin preocuparse por la motivación. Un esquema salarial fuertemente 
ligado a la "productividad" (medido por números) no produce buena 
ciencia, sino producción de tortillas en la cadena de montaje, división 
de un solo trabajo en muchas, y la aceptación mutua de intelectuales 
alejados para la autoría de los trabajos.

2) Los sueldos son, por mucho, los mayores gastos de un Instituto, por 
lo tanto, el dinero gastado en salarios debe gastarse de la manera más 
inteligente. Del mismo modo que muchos estudios de sociedades han 
mostrado que con  una distribución muy desigual del ingreso, el interés 
por la participación en la sociedad (o Instituto) es escaso. También hay 
un buen argumento para afirmar que los jóvenes científicos requieren más 
dinero que los científicos establecidos porque son menos estables y 
recién comienzan un proyecto familiar o doméstico.

3) Los ecosistemas complejos dependen de la diversidad para aumentar la 
estabilidad y la productividad. Existe una división natural del trabajo 
en cualquier sistema complejo. Hombres y mujeres se complementan entre 
sí a través de la división del trabajo. Un buen educador complementa a 
un buen investigador y un buen administrador en una universidad. 
Intentar obligar a todos a un único denominador común ha demostrado en 
las empresas ser contraproducente. Por lo tanto, es importante que las 
evaluaciones permitan al menos tres clases científicas de científicos.

4) Una fórmula simple que permitiría a cualquier científico calcular su 
puntaje y, por lo tanto, sentirse más cómodo con el resultado oficial 
evitaría mucha animosidad entre los científicos y reduciría el tiempo y 
el dinero gastados en evaluaciones subjetivas. Por lo tanto, un esquema 
simple como el propuesto por Sylvain pero aumentado para incluir tres 
categorías distintas con diferentes pesos para cada contribución, y el 
mejor puntaje de las tres categorías asignadas como la evaluación del 
científico. Por ejemplo, no habría necesidad de que un científico se 
preocupe por postularse para una promoción determinada, será automático.

5) Aunque hay investigadores audaces que afirman ser expertos en todos 
los campos de la ciencia e insisten en que pueden proporcionar una 
evaluación objetiva de la contribución científica de cualquier colega 
simplemente estudiando su CV, esto obviamente no tiene sentido y abre la 
puerta a animosidad y la formación de grupos políticos conflictivos 
dentro de un Instituto. Nuestras evaluaciones actuales de tiempo finito 
se basan, más que cualquier otra cosa, en la relación interpersonal y 
política y la afinidad de la clase científica del científico que se 
evalúa con la clase científica del evaluador.

Un saludo a todos, Karo.

On 2018-05-15 23:16, Roberto A Sussman wrote:
> Hola Sylvain
> 
> Muy interesante discusión. Es obvio que la clasificación de la
> actividad científica mediante “métricas” no es una ciencia
> exacta, pese a lo que creen los burócratas y (desafortunadamente)
> muchos colegas. Cualquier tipo de métricas tendrá múltiples fallas
> y estará sujeto a subjetividad, modas, “cuatazagos”,
> arbitrariedades burocráticas. El principal mérito del sistema que
> describes es la aparente sencillez y el ahorro de tiempo.
> 
> Sin embargo, no es tan sencillo como parece, habría que resolver el
> gigantesco problema de determinar los valores k1, k2, k3, etc. ¿Cómo
> y quién las va a determinar? Esto sería un verdadero campo minado.
> Estos valores deberán de depender de la disciplina: la producción de
> artículos en matemáticas puras y en física de materiales o
> biotecnolgía es muy distinta, el número de citas depende de la
> demografía de las disciplinas (los factores de impacto de las
> revistas también). Además, está la cuestión de la moda y el hecho
> de que para dada disciplina estas k’s podrían ser funciones del
> tiempo, no constantes absolutas.
> 
> Todos los indicadores tienen valor y marcan algo. El problema es
> cuando alguno de esos indicadores se vuelve un parámetro absoluto y
> se usa para promover o decapitar carreras académicas. Ejemplo:
> ¿porque el SNI y casi todas las universidades hacen un fetiche
> absoluto de la dirección de tesis doctorales? ¿acaso no se
> contribuye igual o más a la “formación de recursos” con dar
> muchos cursos en primeros semestres de licenciatura o al escribir un
> libro de texto con difusión internacional?
> 
> Las burocracias aborrecen los cambios. Siendo realista, se que las
> burocracias de la  evaluación de la ciencia en México no van a
> cambiar sus métricas, pero no me importa tanto que cambien o
> mantengan el tipo de métrica que usan, sino que el ser clasificado
> (con la métrica que sea) deje de implicar el caer en un laberinto de
> torpeza digital y pérdida de tiempo, como lo es el CVU. Aunque la
> labor de Luis y otros colegas (y la apertura de mente de algunos
> académicos en conacyt) ha mostrado que los cambios positivos en este
> aspecto son posibles.
> 
> Sobre las modificaciones que se podrían implementar en las métricas,
> lo principal sería que dejaran de hacer de ciertos indicadores totems
> absolutos y que hubiera más transparencia. Otra humilde sugerencia
> (que se que no le van a hacer caso) es que ya es hora de introducir un
> nivel 2.5 entre el II y el III. No hay justificación para que siga
> existiendo este salto gigante de ingresos y “prestigio” y
> privilegios entre el nivel II y el III.  Además, cada vez las
> comisiones evaluadoras ponen más restricciones al pasaje del nivel II
> al III (lo que además hacen en una forma discrecional que depende de
> las comisiones).  La discrecionalidad es necesaria en la evaluación,
> pero es un problema grave cuando se abusa de ella y cuando las
> decisiones discrecionales implican una diferencia tan grande en los
> ingresos de los evaluados.  Un nivel 2.5 ayudaría mucho a resolver
> esto.
> 
>  Dr Roberto Allan Sussman Livovsky
> Instituto de Ciencias Nucleares
> Universidad Nacional Autónoma de México, ICN-UNAM
> sussman en nucleares.unam.mx
> 
> On May 15, 2018, at 8:23 PM, Sylvain Bernes
> <sylvain_bernes en hotmail.com> wrote:
> 
>> Hola a todos los que siguen esta discusión.
>> 
>> Para el día del Maestro, además de enviarles felicitaciones, me
>> permito citar el siguiente _tweet_, por si no lo conocen:
>> 
>> "I’VE BEEN ON A NUMBER OF SEARCH COMMITTEES. I DON’T REMEMBER
>> ANYBODY LOOKING AT ANYBODY’S PAPERS. NUMBER AND IF [IMPACT FACTOR]
>> OF PUBS ARE WHAT COUNTS"
>> 
>> Terry McGlynn [1] (realscientists) (21 October 2015, 4:12 p.m.
>> Tweet.)
>> 
>> Esto me hace pensar que el CVU actual no sirve de mucho si se usa
>> para fines de evaluación. (NOTA IMPORTANTE: si tienen prisa, y/o si
>> no les interesa el tema, pueden omitir lo que sigue y cerrar este
>> mensaje).
>> 
>> Siguiendo la lógica del Dr. McGlynn [1, 2], el CV de un
>> investigador cabe en un solo renglón de una hoja de _Excel_:
>> 
>> N/L/C1/C2/Fi/P/T/Cg/Pf/E
>> 
>> donde:
>> 
>> N = Número de artículos.
>> L = Número de libros. [3]
>> C1 = Número de citas a los N artículos y L libros (tomado de una
>> fuente confiable e imparcial).
>> C2 = C1 menos las auto-citas.
>> Fi = Promedio aritmético de los factores de impacto (FI) de las
>> revistas donde aparecen los N artículos (se toma el FI del año
>> anterior al año de publicación [4]).
>> P = Número de patentes (cualquier patente, incluyendo las que
>> tienen una probabilidad nula de venderse. Después de todo, una
>> patente tiene más valor que cualquier artículo).
>> T = Número de Tesis (no importa que Ud. sea Director, Asesor,
>> Co-asesor, Asesor externo, Asesor técnico, Co-co-asesor, Tutor,
>> _etc_. A final de cuenta, la Tesis es del alumno).
>> Cg = Número de participaciones en Congresos (lo de la
>> _participación_ significa que el investigador estaba presente en
>> algún lugar entre la playa y la sala de conferencias [5]).
>> Pf = Número de proyectos financiados (no importa que sea como
>> responsable técnico, co-líder, colaborador, co-colaborador,
>> participante... el proyecto es de todos).
>> E = Número de clases impartidas en cualquier nivel de Enseñanza
>> (excluyendo las clases con 0 alumnos, no hay que exagerar [6]).
>> 
>> Este tipo de CVU es excelente para la evaluación, simplemente
>> porque no se necesita evaluadores: el SNI podría, por ejemplo,
>> establecer una fórmula para calcular el nivel donde ubicar a cada
>> uno:
>> 
>> k = k(N, L, C1, C2, Fi, P, T, Cg, Pf, E).w,  donde w es un factor de
>> escala para tener 0 < k < 1 [7, 8].
>> 
>> Y luego:
>> 
>> si k < k1 --> sin nivel
>> si k1 < k < k2  --> nivel C
>> si k2 < k < k3 --> nivel 1
>> si k3 < k < k4 --> nivel 2
>> si k4 < k < k5 --> nivel 3
>> si k5 < k < 1 --> nivel E [9]
>> 
>> Las ventajas son múltiples. El ahorro económico es obvio: supongo
>> que un _script_ de veinte líneas en Python realiza el cálculo; la
>> transparencia es total, ya que cada investigador puede calcular su
>> índice k; se acaban las interminables discusiones de pasillo acerca
>> de lo injusto que son los evaluadores del SNI, discusiones que tanto
>> daño hacen a nuestra pobre productividad académica; se acaba
>> elestrés para los investigadores cuando se aproxima el 02 de
>> septiembre, fecha de publicación de la evaluación [10], ya que los
>> resultados están conocidos _antes_ de aplicar a la convocatoria
>> (dicho de otra manera, se puede eliminar la convocatoria); el INEGI
>> se pone feliz al tener una simple lista de índices k para
>> clasificar a la planta académica del país con un sólo _clic_; se
>> simplifica la entrega del Premio [2]Nacional de Ciencias y Artes:
>> basta identificar la persona con el mayor índice k (es muy poco
>> probable un empate técnico si la función k está bien diseñada, y
>> si se evalúa con, digamos, 8 decimales), _etc_.
>> 
>> En fin, lo que quiero decir, es que podríamos pensar que lo que
>> funciona para los esquemas de estímulos de las Instituciones de
>> Educación Superior (_aka puntitis [3]_) debería de funcionar
>> también para los sistemas como el SNI, el SNCA [4], el PNPC, _etc_.
>> El drama es que... no es cierto. La evaluación basada en métricas
>> con fines de clasificación es una completa ilusión. No tengo otro
>> argumento que una anécdota personal: del punto de vista académico,
>> lo que más me _impactó_ durante los últimos 35 años, no fue un
>> artículo, no fue una conferencia, no fue un libro, no fue una
>> Tesis, no fue un proyecto, no fue un investigador, no fue un
>> laboratorio, no fue un Premio Nobel o cosas por el estilo. Fue la
>> primera clase de un curso de Maestría titulado "Química General",
>> con un syllabus que se veía bastante seco (básicamente, era
>> fisicoquímica de soluciones, termodinámica clásica, y
>> termodinámica estadística; el curso duraba un año). El Maestro,
>> Prof. Gilbert Hervé, dedicó la primera hora en explicar que el
>> universo visible es concebible solamente bajo la hipótesis de dos
>> clases de partículas elementales que deben coexistir (son los
>> fermiones y los bosones). Lo único que tenía era un pizarrón;
>> nada de notas, proyector de acetatos, PowerPoint, computadoras y
>> todas estas cosas por lo general inútiles. Fue tan inteligente, tan
>> luminoso, tan bien preparado, tan profundo, y tan fantásticamente
>> interesante, que cualquier intento de "evaluación" de esta clase
>> hubiera sido una broma. Iba mucho más allá de lo "evaluable".
>> 
>> Lo más relevante para evaluar un investigador no cabe en la
>> función k, no cabe en su CVU, y la verdad, prefiero que sea así.
>> Ahora, si el CVU sirve para otras cosas, pues, adelante. No me
>> molesta jugar a ser un pequeño Akaki Akákievich [5] tres o cuatro
>> días al año, y capturar lo que los funcionarios piden. Basta saber
>> usar las teclas Ctrl-C/Ctrl-V.
>> 
>> NOTAS
>> 
>> [1] Descubrí el _tweet_ en un interesante artículo [6] sobre la
>> posible existencia de una selección natural de la Ciencia de baja
>> calidad: http://dx.doi.org/10.1098/rsos.160384 [6]
>> 
>> [2] No es complicado verificar experimentalmente la validez de lo
>> mencionado por Terry McGlynn: en cualquier junta de su Instituto o
>> Facultad, a manera de juego pueden distribuir a cada uno de sus
>> colegas una hoja de papel, y pedir que escriban 1) su nombre y 2) el
>> título de un artículo publicado durante los 6 meses anteriores por
>> un miembro del Instituto/Facultad, con la restricción de que sea un
>> artículo donde no son autor o co-autor. Prohibido usar celulares u
>> otros medios electrónicos. Luego se recopilan las hojas, y se
>> cuenta el número de veces donde aparece un título correcto en el
>> inciso 2). No lo hagan, el resultado es conocido.
>> 
>> [3] Variable indispensable para evitar recibir regaños por parte de
>> nuestros colegas de humanidades, y para enfatizar el hecho de que un
>> buen proyecto de Antropología social es mucho más relevante que un
>> mal proyecto de Cromodinámica cuántica.
>> 
>> [4] Existen decenas de factores de impacto, pero se puede usar los
>> valores publicados por _Clarivate Analytics_, muchos los conocen de
>> memoria hasta una precisión de tres decimales.
>> 
>> [5] Tratar de poner criterios más estrictos para definir las
>> variables como Cg es contraproducente; un póster que nadie verá
>> tiene el mismo "valor" que una charla que los asistentes habrán
>> olvidado el día siguiente (en el mejor de los casos). Además, es
>> muy fácil transformar la charla de un domingo en la mañana delante
>> un público de dos personas (se equivocaron de salón) en un
>> congreso local organizado en la Universidad de Chicontepec por la
>> esposa del conferencista, en una "Conferencia Magistral de Apertura
>> por Invitación del Congreso Internacional Al Que Todos Fueron".
>> Sospecho que nuestros queridos colegas del SNCA hacen un poco lo
>> mismo: un espectáculo de dos payasos bien groseros en la Alameda
>> Central puede reportarse como una "Ópera de Ruptura Artística
>> presentada en Bellas Artes con localidades agotadas durante 1000
>> representaciones". No será factualmente falso.
>> 
>> [6] El concepto de clases sin alumnos existe. Se llama "Educación a
>> (muy larga) distancia [7]", "Cursos por correspondencia", "Cursos en
>> línea [8]", MOOC, o como sea. No pretendo que sea una forma de
>> enseñanza mala, todo lo contrario. Sin embargo, el salón de clase
>> se queda literalmente vacío, y el Maestro puede dedicar 0 horas a
>> la enseñanza de sus 0 alumnos, nadie se dará cuenta, ni siquiera
>> los 0 alumnos. Es posible evitar este tipo de problema en el
>> cálculo de la función k usando variables funcionales. En el caso
>> de E, podría ser E = H.a, donde "H" es el número de horas
>> pizarrón por año, y "a" es el número de alumnos atendidos por
>> año (con perdón, no son "horas pizarrón" sino "unidades de
>> aprendizaje", y ya no se "atienden" a los alumnos, se "tutorean").
>> 
>> [7] Nótese que las variables de la función son números positivos
>> y adimensionales. Eso facilita las cosas, y permite ver k como una
>> probabilidad. La función debe ser asintótica en su límite
>> superior k = 1, pero no en su límite inferior k = 0, para evitar
>> situaciones caóticas, por ejemplo si de repente todo el país
>> intenta ingresar al SNI.
>> 
>> [8] La idea del Dr. McGlynn es más sencilla todavía. Según su
>> experiencia, basta una función de dos variables, k = k(N, Fi), sin
>> factor de escala w.
>> 
>> [9] Por supuesto, k1 < k2 < k3 < k4 < k5. Los valores para k1,
>> k2,..., k5 se publican cada año en el Diario Oficial de la
>> Federación, y pueden ajustarse al presupuesto disponible. Si por
>> una razón u otra el presupuesto es menor a lo que esperado, se
>> puede ajustar el factor de escala w. No se puede imaginar un
>> parámetro más democrático que el factor w. Si _todo_ el
>> presupuesto desaparece, no es nada grave: se pone w = 0.
>> 
>> [10] El estrés es obviamente para _todos_ los investigadores, no
>> solamente para los que aplicaron en un año dado. Cada uno checa
>> quien subió, quien bajó de nivel, quien entró, quién salió del
>> sistema, y se desespera si sus colegas suben de nivel: ¡_Aaaaaah!
>> No se vale_, ¡¡¡_solo produce basura y lo subieron de nivel_!!!
>> (uso el término "_basura_" porque recientemente se aplicó
>> efectivamente a mi propia producción, así que supongo que otros lo
>> usan, aunque en voz baja, cada 02 de Septiembre).
>> 
>> Saludos
>> S.
>> 
>> ______________________________________________
>> SYLVAIN BERNÈS
>> (+52)(222) 229 5500 Ext. 2037 & 2039
>> Instituto de Física Luis Rivera Terrazas [9], BUAP
>> Edificio 1IF2 (aka 110-B), Lab. 102
>> 72570 Puebla, Mexico
>> 
>> Co-editor IUCrData [10]
>> 
>> Eso [11] tomará 2:42 de tu vida (habla bien rápido)
>> 
>> <Outlook-1473719503.jpg>
>> 
>> ______________________________________________
>> 
>> _______________________________________________
>> Mensaje público enviado a la lista Cvu
>> Cvu en em.fis.unam.mx
>> http://em.fis.unam.mx/cgi-bin/mailman/listinfo/cvu
> 
> 
> 
> Links:
> ------
> [1] http://leaflitter.org/front-page/people/
> [2]
> https://es.wikipedia.org/wiki/Premio_Nacional_de_Ciencias_y_Artes_(M%C3%A9xico)
> [3] http://www.jornada.unam.mx/2017/06/08/opinion/a03a1cie
> [4] 
> http://fonca.cultura.gob.mx/programa/sistema-nacional-de-creadores-de-arte/
> [5] https://es.wikipedia.org/wiki/El_capote
> [6] http://dx.doi.org/10.1098/rsos.160384
> [7] https://es.wikipedia.org/wiki/Educaci%C3%B3n_a_distancia
> [8] http://www.dineroenimagen.com/2016-02-15/68784
> [9] http://www.ifuap.buap.mx/
> [10] http://iucrdata.iucr.org/
> [11] https://www.youtube.com/watch?v=WpYkxSSpQ4g
> _______________________________________________
> Mensaje público enviado a la lista Cvu
> Cvu en em.fis.unam.mx
> http://em.fis.unam.mx/cgi-bin/mailman/listinfo/cvu