JUICIOS DE RELEVANCIA

Los juicios de relevancia representan una de las tareas más complejas en el proceso de evaluación que tiene lugar en las conferencias TREC, debido al volumen de los documentos actuales.Los juicios de relevancia son llevados a cabo por personas miembros de universidades, laboratorios y empresas.

Estos juicios pueden presentar inconvenientes, ya que las personas encargadas de juzgar los SRI, pueden discrepar en sus valoraciones.Además, muchos docuemntos relevantes podrían perderse en el proceso.

El procedimiento de los juicios de relevancia es el siguiente:

1. Desde el NIST se crean 50 topics que se remiten a los grupos participantes para que realicen sus queries o consultan a partir de un conjunto de documentos.
2. Cada grupo envía los 1000 primeros documentos recuperados de cada tema.
3. El NIST evaluará los 100 primeros docuemntos recuperados. Con estos 100 documentos se pueden obtener resultados confiables, aunque algunos docuemntos relevantes pueden perdese.
4. Una persona perteneciente al NIST se necarga de juzgar la calidad de los documentos recuperados por cada grupo para cada tema, estos son los juicios de relevancia o qrels.
5. Por último, a partir de los resultados obtenidos en los qrels, se evaluan los documentos obtenidos con el software TREC.