Contexto de los métodos de evaluación de la recuperación de documentos

   La comunidad internacional, interesada en la optimización de los sistemas de recuperación de la información (RI), ha desarrollado a lo largo de los años una serie de metodologías extremadamente exhaustivas para la completa evaluación de la recuperación de documentos en dichos sistemas.

   El exponente más conocido de esta serie de metodologías de evaluación de la recuperación son las conferencias TREC (Text Retrieval Conferences) promovidas con carácter anual por el NIST (National Institute of Standard and Technology) de los Estados Unidos.

   La introducción de métodos de evaluación de la recuperación a gran escala como TREC ha creado grandes focos de interés en esta tecnología lo cual ha acelerado la investigación y el progreso es sus diversos campos.

   Otros foros de evaluación con relevancia internacional en el estudio y evaluación de los sistemas RI son:

Las conferencias TREC (Text REtrieval Conferences)

   Las conferencias o foros de evaluación TREC se han convertido en el foro de intercambio científico y de evaluación más prestigioso del campo de la recuperación de información. Evaluación de la recuperación de documentos TREC

Con carácter anual desde 1991, TREC reúne a creadores de diferentes sistemas y realizan evaluaciones de los resultados que éstos obtienen en diferentes pruebas, previamente estandarizadas y acordadas por todos. En la edición del año 2003 llegaron a participar 99 grupos de investigación de 22 países diferentes.

   Inicialmente, esta evaluación nació con la idea de resolver uno de los mayores problemas de las evaluaciones de los sistemas de RI: las mismas suelen llevarse a cabo sobre pequeñas colecciones de documentos, y sus resultados resultan de difícil extrapolación. En 1991, para subsanar este problema, DARPA (Defense Advanced Research Projects Agency) propuso poner en marcha los experimentos TREC en el NIST para propiciar que los investigadores en recuperación de información probaran sus sistemas en una gran colección de documentos.

   La motivación de estas conferencias o evaluaciones fue sintetizado en la consecución de los siguientes cinco objetivos:

  1. Aumento de la investigación en recuperación de información sobre grandes colecciones de documentos.
  2. Desarrollo de la comunicación entre los entornos académicos, industrial y gubernamentales a través de la realización de un foro abierto.
  3. Incremento de la transferencia de tecnología.
  4. Presentación del estado de la investigación y desarrollo en este campo de forma anual.
  5. Perfeccionamiento de las técnicas de evaluación.

   La primera conferencia o evaluación, TREC-1 (1992), ofreció como resultado principal la existencia de una amplia similitud entre los sistemas de recuperación de la información, que hacen uso de técnicas basadas en lenguaje natural y los basados en los modelos probabilístico o vectorial . En la conferencia TREC-2 (1993), se detectó una significativa mejoría de la recuperación de información con respecto a la anterior.

   Las siguientes conferencias o evaluaciones aportaron nuevas prestaciones a los experimentos, tales como:
  • Localización de información en varias bases de datos de forma simultánea.
  • Presencia de errores ortográficos con el fin de valorar el comportamiento de los sistemas de recuperación de la información ante ellos.
  • Recuperación de información en idiomas distintos del Inglés (se eligieron el Español y el Chino) para valorar los posibles cambios de comportamiento de los sistemas de recuperación de la información.
   Estas conferencias han aportado la evaluación de variadas modalidades de recuperación de información (desde el clásico modelo booleano a la búsqueda por cadenas de texto o las búsquedas basadas en diccionarios), y han demostrado hasta qué punto pueden alcanzarse resultados significativos de investigación a través de la cooperación entre investigadores en el ámbito mundial.

   De hecho, en palabras de Sparck Jones, "la comunidad investigadora debe estar muy agradecida a las evaluaciones TREC, en tanto que han revitalizado la investigación en recuperación de información y también ha demostrado la importancia de este campo de investigación en áreas afines, tales como el procesamiento del lenguaje natural y la inteligencia artificial."

Información recopilada por Israel González Fernández

Artículos relacionados con las evaluaciones TREC

Bibliografía y fuentes sobre métodos de evaluación