Valores faltantes
# Valores faltantes

En estadística, los datos faltantes o valores faltantes ocurren cuando no se almacena un valor de datos para la variable en una observación. Los valores faltantes son una ocurrencia común y pueden tener un efecto significativo en las conclusiones que se pueden extraer de los datos.

Los valores faltantes pueden ocurrir debido a la falta de respuesta: no se proporciona información para uno o más elementos o para una unidad completa («sujeto»). Es más probable que algunos elementos generen una falta de respuesta que otros: por ejemplo, elementos sobre temas privados como los ingresos. El desgaste es un tipo de falta que puede ocurrir en estudios longitudinales, por ejemplo, estudiar el desarrollo donde una medición se repite después de un cierto período de tiempo. La pérdida ocurre cuando los participantes abandonan antes de que finalice la prueba y faltan una o más mediciones.

Los datos faltan a menudo en la investigación en economía, sociología y ciencias políticas porque los gobiernos o las entidades privadas deciden no proporcionar estadísticas críticas, o no lo hacen, o porque la información no está disponible. A veces, los valores faltantes son causados por el investigador; por ejemplo, cuando la recopilación de datos no se realiza correctamente o se cometen errores en la entrada de datos.

Estas formas de ausencia son de tipos diferentes, con impactos distintos en la validez de las conclusiones de la investigación: falta completamente al azar, falta al azar y falta no al azar. Los valores faltantes se pueden manejar de manera similar a los datos censurados .

## Tipos

Comprender las razones por las que faltan datos es importante para manejar correctamente los datos restantes. Si faltan valores completamente al azar, es probable que la muestra de datos siga siendo representativa de la población. Pero si los valores faltan sistemáticamente, puede que el análisis esté sesgado. Por ejemplo, en un estudio de la relación entre coeficiente intelectual (CI) e ingresos, si los participantes con un CI superior a la media tienden a omitir la pregunta «¿Cuál es su salario?», los análisis que no tienen en cuenta esta falta aleatoria (patrón MAR ( ver más abajo)) puede fallar falsamente al encontrar una asociación positiva entre el coeficiente intelectual y el salario. Debido a estos problemas, los especialistas en metodología aconsejan rutinariamente a los investigadores que diseñen estudios para minimizar la ocurrencia de valores faltantes. Se pueden utilizar modelos gráficos para describir en detalle el mecanismo de valores faltantes.

### Falta completamente al azar

Los valores en un conjunto de datos faltan totalmente al azar (MCAR) si los eventos que conducen a la falta de cualquier elemento de datos en particular son independientes tanto de las variables observables como de los parámetros de interés no observables, y ocurren totalmente al azar. Cuando los datos son MCAR, el análisis realizado sobre ellos es imparcial; sin embargo, los datos rara vez son MCAR.

En el caso de MCAR, la falta de datos no está relacionada con alguna variable de estudio: por lo tanto, los participantes con datos completamente observados son en efecto una muestra aleatoria de todos los participantes asignados a una intervención particular. Con MCAR, se supone que se conserva la asignación aleatoria de tratamientos, pero en la práctica suele ser una suposición poco realista.

### Falta al azar

La falta al azar (MAR) ocurre cuando la falta no es aleatoria, pero donde la falta puede explicarse completamente por variables donde hay información completa. Dado que MAR es una suposición que no es posible verificar estadísticamente, debemos confiar en su razonabilidad sustantiva. Un ejemplo es que los hombres son menos propensos a completar una encuesta sobre depresión, pero esto no tiene nada que ver con su nivel de depresión, después de tener en cuenta la masculinidad. Dependiendo del método de análisis, estos datos aún pueden inducir un sesgo de parámetros en los análisis debido al vacío contingente de las celdas (los hombres, la depresión muy alta pueden tener cero entradas). Sin embargo, si el parámetro se estima con verosimilitud máxima de información completa, MAR proporcionará estimaciones asintóticamente imparciales.

### Falta no al azar

La falta no aleatoria (MNAR) (también conocida como falta de respuesta no identificable) son datos que no son ni MAR ni MCAR (es decir, el valor de la variable faltante está relacionado con la razón por la que falta). Para ampliar el ejemplo anterior, esto ocurriría si los hombres no rellenaran una encuesta sobre depresión debido a su nivel de depresión.

Samuelson y Spirer (1992) discutieron sobre cómo los datos faltantes y/o distorsionados sobre demografía, cumplimiento de la ley y salud podrían ser indicadores de patrones de violaciones de los derechos humanos. Dieron varios ejemplos bastante bien documentados.

## Técnicas para tratar con valores faltantes

Los valores faltantes reducen la representatividad de la muestra y, por lo tanto, pueden distorsionar las inferencias sobre la población. En términos generales, existen tres enfoques principales para manejar los valores faltantes: (1) Imputación: donde introducen datos en lugar de los valores faltantes, (2) omisión: donde las muestras con datos no válidos se descartan de análisis posteriores y (3) análisis: mediante la aplicación directa de métodos no afectados por los valores perdidos. Una revisión sistemática que abordó la prevención y el manejo de valores faltantes para la investigación de resultados centrada en el paciente identificó 10 estándares necesarios para la prevención y el manejo de valores faltantes. Estos incluyen estándares para el diseño del estudio, la realización del estudio, el análisis y la presentación de informes.

En alguna aplicación práctica, los experimentadores pueden controlar el nivel de pérdida y evitar valores faltantes antes de recopilar los datos. Por ejemplo, en los cuestionarios informáticos, a menudo no es posible omitir una pregunta. Una pregunta tiene que ser respondida, de lo contrario no se puede continuar con la siguiente. Por lo tanto, los valores faltantes debidos al participante se eliminan con este tipo de cuestionario, aunque es posible que el consejo de ética que supervisa la investigación no permita este método. En la investigación de encuestas, es común hacer muchos esfuerzos para contactar a cada individuo en la muestra, a menudo enviando cartas para tratar de persuadir a quines han decidido no participar para que cambien de opinión. $^{:161–187}Sin$ embargo, tales técnicas pueden ayudar o perjudicar en términos de reducir los efectos inferenciales negativos de los datos faltantes, porque es probable que el tipo de personas que están dispuestas a ser persuadidas para participar después de negarse inicialmente o no estar en casa sean significativamente diferentes de los tipos de personas que aún se negarán o permanecerán inalcanzables después de un esfuerzo adicional. $^{:188–198}$

En situaciones en las que es probable que se produzcan valores faltantes, a menudo se recomienda al investigador que planifique el uso de métodos de análisis de datos que sean resistentes a la falta de datos o valores. Un análisis es sólido cuando estamos seguros de que las violaciones de leves a moderadas de los supuestos clave de la técnica producirán poco o ningún sesgo o distorsión en las conclusiones extraídas sobre la población.

### imputación

Algunas técnicas de análisis de datos no son resistentes a la falta y requieren «completar» o imputar los valores faltantes. Rubin (1987) argumentó que repetir la imputación aunque sea unas pocas veces (5 o menos) mejora enormemente la calidad de la estimación. Para muchos propósitos prácticos, 2 o 3 imputaciones capturan la mayor parte de la eficiencia relativa que podría capturarse con un número mayor de imputaciones. Sin embargo, un número demasiado pequeño de imputaciones puede conducir a una pérdida sustancial de poder estadístico y algunos académicos ahora recomiendan de 20 a 100 o más. Cualquier análisis de datos de imputación múltiple debe repetirse para cada uno de los conjuntos de datos imputados y, en algunos casos, las estadísticas relevantes deben combinarse de una manera relativamente complicada. La imputación múltiple no se realiza en disciplinas específicas, ya que existe falta de formación o conceptos erróneos sobre las mismas. Se han utilizado métodos como la eliminación por lista para imputar datos, pero se ha descubierto que introducen un sesgo adicional. Hay una guía para principiantes que proporciona instrucciones paso a paso sobre cómo imputar datos.

El algoritmo de maximización de expectativas es un método con el que se estiman (imputan) los valores de las estadísticas que se calcularían si hubiese disponible un conjunto de datos completo, teniendo en cuenta el patrón de valores faltantes. En este método, los valores de los elementos de datos faltantes individuales generalmente no se imputan.

**Interpolación**

En el campo matemático del análisis numérico, la interpolación es un método para construir puntos nuevos de datos dentro del rango de un conjunto discreto de puntos de datos conocidos.

En la comparación de dos muestras pareadas con valores faltantes, una prueba estadística que utiliza todos los datos disponibles sin necesidad de imputación es la prueba t de muestras parcialmente superpuestas. Esto es válido bajo normalidad y asumiendo MCAR

### Eliminación parcial

Los métodos que involucran la reducción de los datos disponibles a un conjunto de datos que no tiene valores faltantes incluyen:

* Eliminación por listas /eliminación por mayúsculas y minúsculas
* Eliminación por pares

Métodos que tienen plenamente en cuenta toda la información disponible, sin la distorsión resultante de utilizar los valores imputados como si realmente se observaran:

* Métodos generativos:
   * El algoritmo de maximización de expectativas
   * estimación de verosimilitud máxima de información completa
* Métodos discriminatorios:
   * Clasificación del margen máximo de datos con características ausentes

También se pueden utilizar métodos de identificación parcial .

## Técnicas basadas en modelos

Las técnicas basadas en modelos, que a menudo utilizan gráficos, ofrecen herramientas adicionales para probar los tipos de valores faltantes (MCAR, MAR, MNAR) y para estimar parámetros en condiciones de valores faltantes. Por ejemplo, una prueba para refutar MAR/MCAR dice lo siguiente:

Para cualquiera de las tres variables X, Y y Z donde Z se observa completamente y X e Y se observan parcialmente, los datos deben satisfacer: $X\perp \!\!\!\perp R_{y}|(R_{x},Z)$ .

En palabras, la porción observada de X debería ser independiente del estado de ausencia de Y, condicionado a cada valor de Z. El incumplimiento de esta condición indica que el problema pertenece a la categoría MNAR.

(Observación: estas pruebas son necesarias para el MAR basado en variables, que es una variación ligera del MAR basado en eventos. )

Cuando los valores caen en la categoría MNAR, hay técnicas disponibles para estimar de manera consistente los parámetros cuando ciertas condiciones se mantienen en el modelo. Por ejemplo, si Y explica el motivo de la ausencia de X e Y tiene valores faltantes, la distribución de probabilidad conjunta de X y Y aún se puede estimar si la ausencia de Y es aleatoria. La estimación en este caso será:

    ${\begin{aligned}P(X,Y)&=P(X|Y)P(Y)\\&=P(X|Y,R_{x}=0,R_{y}=0)P(Y|R_{y}=0)\end{aligned}}$

dónde $R_{x}=0$ y $R_{y}=0$ denotan las porciones observadas de sus variables respectivas.

Estructuras de modelos diferentes pueden producir estimandos diferentes y procedimientos distintos de estimación siempre que sea posible una estimación consistente. El estimador anterior requiere estimar primero $P(X|Y)$ a partir de datos completos y multiplicándolos por $P(Y)$ estimado a partir de casos en los que se observa Y independientemente del estado de X . Además, para obtener una estimación consistente es crucial que el primer término sea $P(X|Y)$ Opuesto a $P(Y|X)$ .

En muchos casos, las técnicas basadas en modelos permiten que la estructura del modelo se someta a pruebas de refutación. Cualquier modelo que implique la independencia entre una variable X parcialmente observada y el indicador de ausencia de otra variable Y (es decir, $R_{y}$ ), condicionado a $R_{x}$ puede someterse a la siguiente prueba de refutación: $X\perp \!\!\!\perp R_{y}|R_{x}=0$ .

Finalmente, los estimados que surgen de estas técnicas se derivan en forma cerrada y no requieren procedimientos iterativos como la maximización de expectativas que son susceptibles de locales óptimos.

Cuando la probabilidad de que falte depende del tiempo aparece una clase especial de problemas. Por ejemplo, en las bases de datos de trauma, la probabilidad de perder datos sobre el resultado del trauma depende del día posterior al trauma. En estos casos se aplican varios modelos de cadenas de Markov no estacionarios.

