Recuperación difusa
# Recuperación difusa

Las técnicas de recuperación difusa están basadas en el Modelo Booleano Extendido y en la teoría de Conjuntos Difusos.

Hay dos modelos clásicos de recuperación difusa: Mínimo y Máximo Mixto (MMM - Mixed Min and Max) y el modelo de Paice. Ambos modelos no proveen una vía para la evaluación ponderada de las consultas, lo cual si es considerado por el algoritmo norma-P.

## Modelo Mixto Mínimo y Máximo (MMM)

En la teoría de conjuntos difusos, un elemento tiene un variado grado de pertenencia, digamos $d_A,$ a un conjunto A dado en vez de la opción de pertenencia tradicional (es un elemento/ no es un elemento). En el MMM cada término indexado tiene asociado un conjunto difuso. El peso de un documento con respecto a un término indexado A es medido por el grado de pertenencia del documento en el conjunto difuso asociado con A. El grado de pertenencia para la unión y la intersección está definido en la teoría de conjuntos difusos como sigue:

    $d_{A\cap B}=min(d_{A},d_{B})$
    $d_{A\cup B}=max(d_{A},d_{B})$

De acuerdo a esto, los documentos que deberían ser recuperados para una consulta de la forma A o B, deberían estar en el conjunto difuso asociado con la unión de los dos conjuntos A y B. Similarmente, los documentos que deberían ser recueprados para una consulta de la forma A y B, deben estar en el conjunto difuso asociado con la intersección de los dos conjuntos. Por ello, es posible definir la similitud de un documento para la consulta o como $max(d_A,$ $d_B)$ y la similitud de un documento con la consulta y como $min(d_A,$ $d_B).$

El modelo MMM intenta suavizar los operadores Booleanos al considerar la similitud consulta-documento como una combinación lineal del mínimo y máximo de los pesos de los documentos.

Dado un documento D con los pesos de los términos indexados $d_{A1},$ $d_{A2},$ ..., $d_{An}$ para los términos $A_1,$ $A_2,$ ..., $A_n,$ y las consultas:

$Q_o$ = $(A_1$ o $A_2$ o ... o $A_n)$ $Q_y$ = $(A_1$ y $A_2$ y ... y $A_n)$

la similitud documento-consulta en el modelo MMM se calcula como sigue:

$SlM(Q_o,$ D) = $C_{o1}$ * $max(d_{A1},$ $d_{A2},$ ..., $d_{An})$ + $C_{o2}$ * $min(d_{A1},$ $d_{A2},$ ..., $d_{An})$ $SlM(Q_y,$ D) = $C_{y1}$ * $min(d_{A1},$ $d_{A2},$ ..., $d_{An})$ + $C_{y2}$ * $max(d_{A1},$ $d_{A2}$ ..., $d_{An})$

donde $C_{o1},$ $C_{o2}$ son coeficientes "suaves" para el operador o, y $C_{y1},$ $C_{y2}$ son coeficientes suaves para el operador y. Puesto que queremos dar más importancia al máximo de los pesos de los documentos mientras consideremos una consulta o y mayor importancia al mínimo cuando consideremos una consulta y, generalmente tendremos $C_{o1}$ > $C_{o2}$ y $C_{y1}$ > $C_{y2}.$ Por simplicidad se asume generalmente $C_{o1}$ = 1 - $C_{o2}$ y $C_{y1}$ = 1 - $C_{y2}.$

Los experimentos de Lee y Fox indican que la mayor eficiencia usualmente ocurre con $C_{y1}$ en el rango [0.5, 0.8] y con $C_{o1}$ > 0.2. En general, el costo computacional de MMM es bajo, y la efectividad de recuperación es mucho mejor que con el Modelo Estándar Booleano.

## El modelo de Paice

El modelo de Paice es una extensión general para el modelo MMM. En comparación con el modelo MMM que considera solo los pesos mínimo y máximo para los términos indexados, el modelo de Paice incorpora todos los pesos de los términos cuando calcula la similitud:

    $S(D,Q)=\sum _{i=1}^{n}{\frac {r^{i-1}*w_{di}}{\sum _{j=1}^{n}r^{j-1}}}$

donde r es un coeficiente constante y $w_{di}$ es organizado en orden ascendente para consultas y, y en orden descendente para consultas o. Cuando n = 2 el modelo Paice muestra el mismo comportamiento que el modelo MMM.

Los experimentos de Lee y Fox han mostrado que estableciendo r en 1.0 para las consultas y, y en 0.7 para las consultas o proporcionan una buena efectividad en la recuperación. El costo computacional para este modelo es mayor que para el modelo MMM. Esto es porque el modelo MMM solo necesita la determinación del mínimo o máximo de un conjunto de pesos de términos cada vez que una cláusula y u o es considerada, lo cual se puede hacer en O(n). El modelo Paice requiere que los pesos de los términos sean ordenados en orden ascendente o descendente, dependiendo si es considerada una cláusula y o una cláusula o. Esto requiere como míninmo

    un algoritmo de ordenación O(n log n). También es necesario
    un buen trato en los cálculos de punto flotante.

## Mejoramientos en el modelo Estándar Booleano

Lee y Fox compararon el modelo Estándar Booleano con los modelos MMM y Paice con tres colecciones de prueba: CISI, CACM, y INSPEC. Estos son los resultados reportados para el mejoramiento del promedio de la precisión media:

| | CISI | CACM | INSPEC |
| - | - | - | - |
| MMM | 68% | 109% | 195% |
| Paice | 77% | 104% | 206% |

Estos son mejoras muy buenas sobre el modelo Estándar. MMM es muy cercano a los resultados de Paice y noma-P, lo cual indica que puede ser una técnica muy buena, y es la más eficiente de las tres.

## Trabajo reciente

Recientemente Kang et al. ha inventado un sistema de recuperación difusa indexado por identificación de conceptos.

Si miramos en documentos sobre un aproximamiento puro de Tf-idf, incluso eliminando los stop words, habrán palabras más relevantes con el tópico del documento que otras y tendrán el mismo peso porque tienen la misma frecuencia de términos. Si tomamos en cuenta la intención del usuario sobre una consulta podemos mejorar el peso de los términos de un documento. Cada término puede identificarse como un concepto en una cierta cadena léxica que traduce la importancia de ese concepto para ese documento. Reportaron mejoras sobre Paice y norma-P sobre la precisión promedio y el recobrado de los 5 mejores documentos recuperados.

Zadrozny revisó el modelo de recuperación de información difusa. Adicionalmente extendió el modelo Booleano extendido difuso:

* asumiendo términos lingüísticos como pesos importantes de las palabras claves también en los documentos
* tomando en cuenta la concerniente incertidumbre en la representación de documentos y consultas
* interpretando los términos lingüísticos en la representación de los documentos y consultas así como su emparejamiento en los términos de la lógica difusa de Zadeh (cálculos de declaraciones lingüísticas)
* localizando algunos aspectos pragmáticos del modelo propuesto, notablemente las técnicas de indexado de documentos y consultas

El modelo propuesto hace posible capturar imprecisión e incertidumbre concerniente a la representación y recuperación de información textual.

