Algunos comentarios acerca de la publicación y la evaluación de la investigación en ciencias

experimentales. ¿Son estos criterios aplicables a las matemáticas?

Roberto Sánchez Delgado IVIC; Centro de Química

La evaluación del trabajo científico es sin duda un tema de gran importancia, no sólo para quienes hacen ciencia, sino además para quienes la administran y quienes la financian. El objetivo mínimo de este tipo de evaluación es - o al menos debería ser - el aseguramiento de la difusión adecuada y de la calidad de los trabajos, el juicio justo acerca del nivel profesional de quienes lo realizaron, y el buen uso del dinero invertido en la ejecución de las investigaciones.

Esta proposición sencilla del por qué o para qué evaluar los trabajos de investigación o los investigadores nos coloca inmediatamente frente a un problema de extrema complejidad, ya que, para empezar, resulta casi imposible concebir un sistema que no conlleve algún elemento de subjetividad. Además, una evaluación sensata debe incluir, entre otras cosas, aspectos de la temática propia de la disciplina considerada, el entorno en que se desarrolla la investigación y las políticas (o falta de políticas) que la hayan impulsado (o inhibido) en los tiempos inmediatamente precedentes al proceso mismo de la evaluación.

Uno de los pocos aspectos en que existe un cierto acuerdo generalizado es en evaluar la producción de los investigadores tomando como base los trabajos publicados en revistas especializadas. Si bien se han levantado voces aún contra este principio mínimo de exigencia, puede afirmarse que tal criterio posee una validez casi universal, matizado, claro está, en cada lugar y en cada momento. La base fundamental de este enfoque es a su vez el llamado principio de evaluación por pares, es decir, que se confía en los editores y en los árbitros de esas revistas como especialistas capaces de juzgar objetivamente los méritos del trabajo considerado.

Más allá de estos principios básicos, comienzan de nuevo los problemas conceptuales en el seno de cualquier comisión evaluadora: ¿Qué significa realmente el número de publicaciones en la carrera de un investigador? ¿Es cualquier revista aceptable? ¿Hay revistas mejores que otras? ¿Quién o quiénes deben realmente recibir el crédito por un trabajo publicado? ¿Ha sido leído y citado este trabajo? ¿El número de citas significa algo? ¿El número y y el orden de los autores es un parámetro importante? Es mejor un trabajo de 50 páginas impresas que otro de una o dos páginas? ¿Podemos en Venezuela acoger los criterios del Institute for Scientific Information (ISI) que se usan en muchos otros países? ¿Pueden todas las disciplinas científicas evaluarse de la misma manera?...

Todas estas interrogantes y muchas otras han aparecido durante años, por ejemplo, en las Comisiones del PPI, en la Comisión Clasificadora del IVIC y en los Comités o Jurados para el otorgamiento de premios científicos en los que me ha tocado participar.

Una interrogante adicional, de interés específico para esta reunión es si el trabajo matemático y los investigadores matemáticos pueden ser evaluados utilizando los mismos parámetros que un trabajo o un investigador en ciencias experimentales. Por lo tanto, me referiré brevemente a una visión propia de lo que puede considerarse válido en la evaluación de la investigación experimental, especialmente en química y en biología, que son los campos que me han ocupado durante los últimos años.

La primera consideración de importancia es que en ciencias experimentales hoy en día es prácticamente imposible realizar descubrimientos de importancia en el estilo del sabio solitario de laboratorio. Muchos de los temas de investigación más importantes en la actualidad se ubican en áreas multidisciplinarias o en las fronteras entre dos o más campos (la química biológica, las ciencias de los materiales, la biotecnología, la catálisis) y las técnicas de experimentación son variadas, costosas, y en ocasiones, muy especializadas. Sin embargo es casi siempre indispensable una amplia base de conocimientos difícilmente acumulable por una sola persona, así como el uso de una combinación adecuada de técnicas para llegar resultados satisfactorios. Esto ha hecho cada vez más frecuente la integración de equipos amplios, ya sea dentro de un mismo laboratorio, o mediante asociaciones de más de un grupo de investigación en distintas instituciones. Mientras más delicado (y con frecuencia más importante) sea el problema a resolver, más personas deben participar, cada grupo aportando su experiencia en algún aspecto preciso; dentro de cada grupo suelen localizarse las personas que ejecutan los experimentos específicos, alrededor del responsable que coordina la planificación y la interpretación del trabajo. Por ejemplo, es típico que varios estudiantes o asistentes de investigación trabajen en distintos aspectos de un mismo problema, y luego los resultados producidos por todos ellos son ensamblados por el investigador principal en un solo artículo o una serie de artículos, donde aparecerán como autores todos aquellos que hayan hecho aportes más allá del simple apoyo técnico. Si, como se mencionó anteriormente, existe una cooperación interinstitucional, el número de autores de un artículo puede ser de cuatro a seis, caso muy frecuente hoy en día, hasta más de 60 (ver por ejemplo Human Molecular Genetics, 1998, 7, 1185-1192, 63 autores para 8 páginas !!). Algo parecido ocurre en algunas investigaciones en física, donde los experimentos pueden llegar a ser extremadamente complejos y requerir de instalaciones especiales como los grandes aceleradores de partículas. Claramente, no es tarea fácil el asignar desde fuera la importancia de la contribución de cada persona en trabajos de esta naturaleza, pero existen algunos elementos que se mencionarán más adelante, que ayudan a evaluar estos casos.

Sin embargo, este tipo de situación parece muy rara en el trabajo matemático, donde la resolución de un problema preciso es la tarea fundamental de cada persona, y la delegación de funciones no es la norma. En los casos de trabajos con más de un autor (rara vez más de dos) ello parece provenir de la discusión e intercambio de ideas entre dos investigadores que están trabajando sobre el mismo problema o problemas muy cercanos, más que de una estructura organizada de grupo de investigación. Puede entonces ser más clara la asignación de responsabilidades o de méritos al evaluar publicaciones en matemáticas.

Otra diferencia importante que se nota con frecuencia tiene que ver con la urgencia en la publicación, relacionada con la necesidad o el deseo de los investigadores en ciencias experimentales en dejar sentada su prioridad (cuando no su propiedad) sobre el trabajo en cuestión e incluso sobre el área misma de investigación. Ello a su vez esta ligado a las posibles aplicaciones de los descubrimientos, hasta los más básicos, hacia la química industrial, la biotecnología, la óptica, la electrónica, etc. Tal urgencia por publicar se refleja, por ejemplo, en la redacción de comunicaciones preliminares muy cortas con suficientes datos pero no necesariamente trabajos terminados (por ejemplo el Journal of the American Chemical Society establece un máximo de 2000 palabras o dos páginas impresas). Estas comunicaciones son consideradas como los artículos de mayor importancia, reciben prioridad editorial y de publicación, y son objeto de requisitos de calidad e impacto superiores a los exigidos por la misma revista a los artículos completos. En ciencias biológicas, los artículos de mayor prestigio son los publicados en revistas como Nature o Science, que también exigen una gran brevedad, aunque usualmente los biólogos tienden a tomar muy en cuenta la extensión de un trabajo como criterio de mérito. Adicionalmente, por las mismas razones, se tiende a mantener una gran confidencialidad acerca del trabajo en progreso, al menos hasta el momento cuando una comunicación preliminar ha sido aceptada en alguna revista. Esto es frecuente en los medios académicos y obligatorio cuando la investigación tiene un propósito claro de aplicación con posibilidades comerciales, lo que además introduce la necesidad de alguna forma de protección, como por ejemplo a manera de patentes. Este es ya un tema aparte que no se tratará aquí para mantener la brevedad.

En resumen, la tendencia actual es hacia la publicación acelerada y múltiple, ya que al concluir un trabajo es necesario combinar y presentar de manera consolidada resultados que pueden haber sido publicados de manera parcial con anterioridad y por lo tanto no haber sido interpretados de manera global. Esta es una práctica aceptada y no representa ninguna violación de normas éticas, aunque por supuesto se presta a manipulaciones por investigadores que pretendan “inflar” sus expedientes con el simple parámetro de número de publicaciones, por lo que cualquier grupo evaluador debe mantenerse alerta para detectar tales casos de repeticiones innecesarias de publicaciones.

Los problemas en investigación matemática no parecen estar sometidos a tales urgencias, y de hecho, existen problemas clásicos que tardan decenas de años y hasta más de un siglo en ser resueltos. Además, la travesía de un nuevo desarrollo matemático hacia una aplicación con posibilidades de beneficios comerciales puede ser mucho más lenta que las mencionadas en el caso de las ciencias experimentales. Ello se traduce probablemente en un ritmo de publicación más lento por parte de los matemáticos y en un tratamiento más completo del problema antes de someter su solución a publicación, lo cual puede asociarse también a una mayor extensión de los artículos, aunque por supuesto hay ejemplos de trabajos particularmente elegantes por lo simples y breves. Además, la idea de los “preprints” que parece gozar de popularidad, o al menos de aceptación entre matemáticos, es decir, hacer circular un manuscrito entre colegas previamente a la publicación, con el fin de recibir comentarios y críticas que ayuden en la elaboración de la versión final de un trabajo, aunque conceptualmente correcto, es casi impensable en química o biología actualmente, pues aparte de las razones ya expuestas para la confidencialidad, el ritmo de avance de estas ciencias es tal, que un método como el de los ”preprints” podría producir retrasos que hicieran el trabajo obsoleto antes de llegar a publicarse.

Otro elemento que resulta interesante considerar en este contexto es la frecuente discusión de la publicación nacional vs. la internacional. Con cierta frecuencia se argumenta que ciertos temas de investigación son más adecuados para ser divulgados en alguna revista local que en una internacional (por ejemplo, estudios sobre contaminación de ríos en Venezuela, análisis de crudos extraídos localmente, estudios sobre enfermedades parasitarias endémicas en el país). Personalmente no compartimos esa visión, puesto que un trabajo de investigación en cualquiera de esos temas que haya sido realizado con métodos modernos y con un nivel adecuado es perfectamente aceptable para las revistas internacionales de mayor prestigio, pero la discusión se presenta con frecuencia y todas las posiciones al respecto tienen algo de razón. Sin embargo, las matemáticas no admiten tal diferenciación entre problemas de interés nacional o internacional, lo que elimina al menos ese nivel de discusión a la hora de evaluar un expediente.

Otro elemento un tanto diferente, aunque relacionado, es la otra eterna discusión (a nuestro juicio estéril) acerca de la importancia relativa de la ciencia básica y la aplicada; los químicos podemos parecer a algunos totalmente irrelevantes si nos dedicamos a estudiar distribuciones electrónicas en moléculas exóticas en lugar de ayudar a PDVSA a producir combustibles aceptables para los mercados internacionales, o los biólogos que investigan la transmisión de información a través de centros distantes en las membranas celulares, en lugar de producir un tratamiento contra las diarreas infantiles. Las matemáticas son percibidas de manera natural como una ciencia básica, por lo cual no se exige a los matemáticos con igual frecuencia o vehemencia el que sus resultados “sirvan para algo”, a pesar de que grandes avances de naturaleza muy concreta y práctica se hayan dado como consecuencia de desarrollos matemáticos. Por lo tanto, en este punto, el investigador matemático goza de una ligera ventaja, ya que se le permite una mayor libertad para escoger sus temas de investigación, aunque no faltan por supuesto quienes lo consideran, por esas mismas razones, totalmente irrelevante e incluso fácilmente prescindible.

Para concluir, a continuación se enumeran algunos de los criterios que más frecuentemente se usan para evaluar un expediente de un investigador en ciencias experimentales, con algunos comentarios adicionales:

1. Número de publicaciones: para que tenga sentido, debe analizarse en conjunto con los demás factores mencionados más abajo, y preferiblemente en comparación con otros investigadores de áreas afines que trabajen en condiciones similares.

2. Calidad de la revista: usualmente se sigue el criterio de su inclusión en el Science Citation Index (SCI) y de su ubicación en cuanto al factor de impacto. En química y en biología, estos “ranking” generalmente coinciden con nuestra idea intuitiva de la calidad relativa de las revistas más conocidas.

3. Número de autores y orden de aparición: además de lo ya expuesto acerca del número de autores, debe mencionarse que existen diversos criterios para establecer la responsabilidad de cada autor. En ciencias biomédicas el orden de aparición refleja casi siempre un orden de jerarquía dentro del grupo de investigación, mientras que en química el orden es menos importante pero se señala con asteriscos los nombres de los responsables del trabajo. Adicionalmente, en una evaluación exhaustiva debe ser posible distinguir por el tema del artículo, el autor o autores que generaron el proyecto de los que contribuyeron a él en un grado menor.

4. Número de citaciones: parámetro también tomado del SCI, refleja en cierta medida el impacto del artículo o de la persona. Debe tomarse en cuenta que existe un tiempo muerto entre la aparición del artículo y la de las citaciones, lo que afectaría principalmente a los más jóvenes, si se analiza fuera del contexto global.

5. Opinión de expertos: esta es quizá una de las mejores formas de evaluar la calidad de los trabajos publicados, siempre que estén disponibles los expertos a ser consultados. En Venezuela, la comunidad científica no es muy numerosa, lo cual dificulta la interpretación de informes de expertos que con frecuencia son, para bien o para mal, cercanos a la persona evaluada. Una posible solución para esto es la consulta a expertos en el extranjero, lo cual sin embargo puede hacer el proceso bastante más lento.

6. Pertinencia del trabajo: este es un criterio extremadamente delicado de manejar, ya que es posiblemente el más subjetivo y/o cambiante, y por lo tanto debe aplicarse sólo en base a políticas claras y bien conocidas. Debido a su importancia creciente dentro y fuera de Venezuela, este tema merece ser discutido ampliamente pues parece inevitable que su uso sea cada vez mayor en la evaluación de proyectos, de resultados y de personas.

7. Otros criterios: adicionalmente a lo anterior, puede ser útil considerar, siempre en visión de conjunto, otros elementos como por ejemplo participación en Congresos (especialmente como Conferencista Invitado o Plenario), Comités Editoriales de Revistas, y otras actividades que reflejen el impacto de la persona en la comunidad científica internacional.

Regresando al caso específico de las matemáticas, parecería que todos los elementos frecuentemente utilizados para evaluar científicos experimentalistas, pueden, en principio, ser aplicados a los investigadores matemáticos, siempre y cuando sean adaptados al contexto propio de esta disciplina.

Aunque existen opiniones (y algunos estudios en norteamerica) que apuntan a un número sólo ligeramente inferior de publicaciones de los matemáticos con respecto a los físicos y los químicos, en Venezuela se nota en promedio una diferencia más marcada en cuanto a este parámetro, y la razón para ello no parece estar clara, aunque algunos de los elementos arriba expuestos podrían explicar esta situación. Por otra parte, la opinión de varios de los más destacados matemáticos del país es que ese promedio del número de publicaciones de los matemáticos de Venezuela es normal y adecuado. Relacionado con esto, en la evolución profesional de los investigadores, se nota un ritmo mucho más acelerado de producción de publicaciones en los químicos, biólogos o físicos que en los matemáticos.

Los criterios referentes a calidad de revistas no son diferentes, pero sí lo relativo a citaciones que también son más escasas para los matemáticos, lo cual asociamos de nuevo a un menor número de publicaciones, y también al estilo mismo de los artículos que se publican y de la manera como se lleva a cabo la investigación. Esto último se refleja también en lo ya comentado acerca del número de autores, que en el caso de los matemáticos resulta más sencillo de evaluar.

La opinión de expertos se convierte en el caso matemático en una de las herramientas más poderosas de evaluación, pero sufre del problema del escaso número de investigadores en cada área particular, por lo que debe insistirse en recurrir cada vez con mayor frecuencia a expertos en el extranjero, incluyendo los editores de las revistas importantes. Los otros factores que hemos mencionado son también aplicables a la evaluación de los matemáticos.

Finalmente, en cuanto a la “pertinencia” del trabajo, parecería que es un factor secundario en este caso, siempre que, como esperamos, se acepte como principio básico la pertinencia de las matemáticas como disciplina fundamental del conocimiento humano.

En conclusión, consideramos que existen algunos elementos de evaluación comunes a cualquier disciplina científica y otros que deben ser definidos o adaptados para cada disciplina. La ciencia venezolana ha estado dominada por las ciencias experimentales, y en particular por las ciencias biomédicas, lo que le ha proporcionado ciertos paradigmas no siempre adecuados para evaluar otras disciplinas como las matemáticas, o en otro sentido las ingenierías o las ciencias sociales. Es importante, por lo tanto, ir desarrollando criterios que permitan evaluar cada especialidad en un contexto sensato y con criterios de excelencia a niveles comparables.

Una de las claves para que cualquier evaluación tenga sentido es el considerar la labor de la persona evaluada en su conjunto, sin aferrarse necesariamente a un parámetro o pequeño grupo de parámetros, pues resulta muy difícil concebir un buen investigador cuya evaluación arroje resultados negativos en todos o casi todos los parámetros o un mal investigador que obtenga buenas calificaciones en todos los parámetros.