CLEF (CROSS LANGUAGE EVALUATION FORUM)

CLEF (acrónimo de Cross Language Evaluation Forum) es el foro europeo más importante para la evaluación de sistemas de recuperación multilingüe y multimedia. CLEF está financiado desde 2000 por la Unión Europea y está coordinado por el Istituto di Scienza e Tecnologie dell'Informazione, del Consiglio Nazionale delle Ricerche (CNR) en Italia.

Rivaliza a nivel mundial con TREC (Text Retrieval Conference) en Norteamérica y NTCIR (NII Test Collection for IR Systems) en Asia. A diferencia de TREC, que se centra en las técnicas de recuperación de información sobre el idioma inglés, y de NTCIR, centrado en los idiomas asiáticos como el japonés, chino y coreano, el objetivo de CLEF es la investigación en un gran número de idiomas (europeos y no europeos) y en las técnicas de recuperación cross-lingual, es decir, cuando el idioma de la consulta es diferente del de la colección de documentos en la que se busca. El objetivo final es promover y estimular el desarrollo de las tecnologías de recuperación de información en Europa para garantizar su competitividad en un ámbito mundial.

CLEF está dividido en diferentes áreas temáticas (tracks) que investigan diversos aspectos de la recuperación de información multilingüe, como la búsqueda de texto (noticias) (tarea ad-hoc), la búsqueda de información geográfica (GeoCLEF), la búsqueda de información en la web (WebCLEF), la recuperación de imágenes (ImageCLEF), los sistemas de búsqueda de respuestas (QA@CLEF), etc. Luego, cada track ofrece distintas tareas (tasks) sobre diferentes aspectos centrados en ese tema en concreto.

La organización de CLEF es en modo competición. Típicamente las tareas consisten en que los organizadores proporcionan a los participantes una vasta colección de objetos para indexar (noticias, páginas web, imágenes) y plantean una serie de objetivos de búsqueda (topics), consultas como "información sobre accidentes de tren en Africa", "imágenes de ultrasonido de un feto en la placenta" o "páginas de bibliografía sobre Miguel de Cervantes".

Así, los participantes construyen sus sistemas, ejecutan las búsquedas y envían sus resultados en un formato estandarizado. Por último, los organizadores realizan la evaluación y establecen un ránking de grupos en función de la precisión de su sistema. De esta forma, se pueden comparar las diferentes técnicas empleadas y analizar los resultados de forma colaborativa.

DAEDALUS participa en CLEF desde el año 2003 dentro del grupo de investigación MIRACLE (Multilingual Information RetrievAl for the CLEf campaign), que coordina. Aparte de DAEDALUS, el equipo está formado por investigadores de tres universidades madrileñas: la Universidad Politécnica de Madrid, la Universidad Carlos III de Madrid. y la Universidad Autónoma de Madrid.

Le invitamos a acceder a los diferentes artículos enviados por MIRACLE en las diferentes participaciones en CLEF. Si tiene cualquier pregunta o comentario, por favor, no dude en contactar con nosotros.

Más información en http://www.clef-campaign.org.