Asimilación de datos
# Asimilación de datos

La asimilación de datos es una disciplina matemática que trata de combinar de forma óptima la teoría (normalmente en forma de modelo numérico) con las observaciones. Los objetivos pueden ser diversos: por ejemplo, determinar la estimación óptima del estado de un sistema, determinar las condiciones iniciales de un modelo numérico de previsión, interpolar datos de observación dispersos utilizando conocimientos (por ejemplo, físicos) del sistema observado, establecer parámetros numéricos basados en el entrenamiento de un modelo a partir de datos observados. En función del objetivo, pueden utilizarse distintos métodos de solución. La asimilación de datos se distingue de otras formas de aprendizaje automático, análisis de imágenes y métodos estadísticos en que utiliza un modelo dinámico del sistema analizado.

La asimilación de datos se desarrolló inicialmente en el campo de la predicción meteorológica numérica. Los modelos numéricos de predicción meteorológica son ecuaciones que describen el comportamiento dinámico de la atmósfera, normalmente codificadas en un programa informático. Para poder utilizar estos modelos en la elaboración de previsiones, es necesario que las condiciones iniciales del modelo se asemejen mucho al estado actual de la atmósfera. La simple inserción de mediciones puntuales en los modelos numéricos no ofrece una solución satisfactoria. Las mediciones del mundo real contienen errores debidos tanto a la calidad del instrumento como a la precisión con que se conoce la posición de la medición. Estos errores pueden provocar inestabilidades en los modelos que eliminen cualquier nivel de precisión en una previsión. Así pues, se necesitaban métodos más sofisticados para inicializar un modelo utilizando todos los datos disponibles y asegurándose al mismo tiempo de mantener la estabilidad del modelo numérico. Esos datos suelen incluir las mediciones, así como una previsión anterior válida en el mismo momento en que se realizan las mediciones. Si se aplica de forma iterativa, este proceso empieza a acumular información de observaciones anteriores en todas las previsiones posteriores.

Dado que la asimilación de datos surgió del campo de la predicción numérica del clima, al principio se popularizó entre las geociencias. De hecho, una de las publicaciones más citadas de todas las geociencias es una aplicación de la asimilación de datos para reconstruir la historia observada de la atmósfera.

## Detalles del proceso de asimilación de datos

Tradicionalmente, la asimilación de datos se ha aplicado a sistemas dinámicos caóticos que resultan demasiado difíciles de predecir con métodos de extrapolación simples. La causa de esta dificultad es que pequeños cambios en las condiciones iniciales pueden provocar grandes cambios en la precisión de la predicción. Esto se conoce a veces como el efecto mariposa: la dependencia sensible de las condiciones iniciales en la que un pequeño cambio en un estado de un sistema no lineal determinista puede dar lugar a grandes diferencias en un estado posterior.

En cualquier momento de actualización, la asimilación de datos suele tomar una previsión (también conocida como primera conjetura o información de fondo) y le aplica una corrección basada en un conjunto de datos observados y errores estimados que están presentes tanto en las observaciones como en la propia previsión. La diferencia entre la previsión y las observaciones en ese momento se denomina desviación o innovación (ya que aporta nueva información al proceso de asimilación de datos). Se aplica un factor de ponderación a la innovación para determinar en qué medida debe corregirse la previsión en función de la nueva información procedente de las observaciones. La mejor estimación del estado del sistema basada en la corrección de la previsión determinada por un factor de ponderación multiplicado por la innovación se denomina análisis. En una dimensión, calcular el análisis puede ser tan sencillo como formar una media ponderada de un valor previsto y uno observado. En dimensiones múltiples, el problema se complica. Gran parte del trabajo de asimilación de datos se centra en estimar adecuadamente el factor de ponderación apropiado basándose en un conocimiento intrincado de los errores del sistema.

Las mediciones suelen realizarse sobre un sistema del mundo real, en lugar de sobre la representación incompleta del modelo de ese sistema, por lo que se necesita una función especial denominada operador de observación (normalmente representada por h para un operador no lineal o H para su linealización) para asignar la variable modelada a una forma que pueda compararse directamente con la observación.

## La asimilación de datos como estimación estadística

Una de las perspectivas filosóficas matemáticas más comunes es considerar la asimilación de datos como un problema de estimación bayesiana. Desde esta perspectiva, la etapa de análisis es una aplicación del teorema de Bayes y el procedimiento general de asimilación es un ejemplo de estimación bayesiana recursiva. Sin embargo, el análisis probabilístico suele simplificarse a una forma computacionalmente factible. El avance de la distribución de probabilidad en el tiempo se realizaría exactamente en el caso general mediante la ecuación de Fokker-Planck, pero eso no es factible para los sistemas de alta dimensión; por lo tanto, en su lugar se utilizan diversas aproximaciones que operan sobre representaciones simplificadas de las distribuciones de probabilidad. A menudo, las distribuciones de probabilidad se suponen gaussianas para poder representarlas mediante su media y su covarianza, lo que da lugar al filtro de Kalman.

Muchos métodos representan las distribuciones de probabilidad sólo por la media e introducen alguna covarianza precalculada. Un ejemplo de método directo (o secuencial) para calcularla se denomina interpolación estadística óptima, o simplemente interpolación óptima (IO). Un enfoque alternativo consiste en resolver iterativamente una función de coste que resuelva un problema idéntico. Son los llamados métodos variacionales, como 3D-Var y 4D-Var. Los algoritmos de minimización típicos son el método del gradiente conjugado o el método del residuo mínimo generalizado. El filtro de Kalman es un método secuencial que utiliza un enfoque Monte Carlo para estimar tanto la media como la covarianza de una distribución de probabilidad gaussiana mediante un ensemble de simulaciones. Más recientemente, se han popularizado las combinaciones híbridas de enfoques de conjunto y métodos variacionales (por ejemplo, se utilizan para previsiones operativas tanto en el Centro Europeo de Previsiones Meteorológicas a Plazo Medio (ECMWF) como en los Centros Nacionales de Predicción Ambiental (NCEP) de la NOAA).

## Aplicaciones de predicción meteorológica

En las aplicaciones de predicción numérica del tiempo, la asimilación de datos es más conocida como método para combinar observaciones de variables meteorológicas, como la temperatura y la presión atmosférica, con previsiones previas a fin de inicializar modelos numéricos de previsión.

### Por qué es necesario

La atmósfera es un fluido. La idea de la predicción meteorológica numérica es tomar muestras del estado del fluido en un momento dado y utilizar las ecuaciones de la dinámica de fluidos y la termodinámica para estimar el estado del fluido en algún momento futuro. El proceso de introducir datos de observación en el modelo para generar condiciones iniciales se denomina inicialización. En tierra, se utilizan mapas del terreno con una resolución global de hasta 1 kilómetro para modelizar las circulaciones atmosféricas en regiones de topografía accidentada, con el fin de representar mejor características como los vientos descendentes, las ondas de montaña y la nubosidad asociada que afecta a la radiación solar entrante. Las principales aportaciones de los servicios meteorológicos de cada país son las observaciones realizadas desde dispositivos (llamados radiosondas) instalados en globos meteorológicos que miden diversos parámetros atmosféricos y los transmiten a un receptor fijo, así como desde satélites meteorológicos. La Organización Meteorológica Mundial actúa para normalizar la instrumentación, las prácticas de observación y el calendario de estas observaciones en todo el mundo. Las estaciones informan cada hora en informes METAR o cada seis horas en informes SYNOP.Estas observaciones están espaciadas irregularmente, por lo que se procesan mediante métodos de asimilación de datos y de análisis objetivo, que realizan un control de calidad y obtienen valores en lugares utilizables por los algoritmos matemáticos del modelo. Algunos modelos globales utilizan diferencias finitas, en las que el mundo se representa como puntos discretos en una cuadrícula de latitud y longitud espaciada regularmente; otros modelos utilizan métodos espectrales que resuelven una serie de longitudes de onda. A continuación, los datos se utilizan en el modelo como punto de partida para una previsión.

Para recopilar datos de observación que puedan utilizarse en modelos numéricos se emplean diversos métodos. Los sitios lanzan radiosondas en globos meteorológicos que se elevan a través de la troposfera y hasta bien entrada la estratosfera. La información de los satélites meteorológicos se utiliza cuando no se dispone de las fuentes de datos tradicionales. El comercio proporciona informes de los pilotos a lo largo de las rutas aéreas e informes de los buques a lo largo de las rutas marítimas. Los proyectos de investigación utilizan aviones de reconocimiento para volar dentro y alrededor de los sistemas meteorológicos de interés, como los ciclones tropicales. Los aviones de reconocimiento también vuelan sobre los océanos abiertos durante la estación fría hacia sistemas que causan una incertidumbre significativa en la orientación de las previsiones, o que se espera que tengan un gran impacto de tres a siete días en el futuro sobre el continente aguas abajo. El hielo marino comenzó a inicializarse en los modelos de previsión en 1971. Los esfuerzos para incluir la temperatura de la superficie del mar en la inicialización de los modelos comenzaron en 1972 debido a su papel en la modulación del tiempo en latitudes más altas del Pacífico.

### Historia

En 1922, Lewis Fry Richardson publicó el primer intento de previsión meteorológica numérica. Utilizando una variación hidrostática de las ecuaciones primitivas de Bjerknes, Richardson elaboró a mano una previsión de 6 horas para el estado de la atmósfera en dos puntos de Europa central, lo que le llevó al menos seis semanas. Su previsión calculaba que el cambio en la presión superficial sería de 145 milibares (4,3 inHg), un valor irreal incorrecto en dos órdenes de magnitud. El gran error se debió a un desequilibrio en los campos de presión y velocidad del viento utilizados como condiciones iniciales en su análisis, lo que indica la necesidad de un esquema de asimilación de datos.

Al principio se utilizaba el "análisis subjetivo", en el que los meteorólogos ajustaban las previsiones de predicción numérica del tiempo (NWP) utilizando su experiencia operativa. Después se introdujo el "análisis objetivo" (por ejemplo, el algoritmo de Cressman) para la asimilación automática de datos. Estos métodos objetivos utilizaban enfoques de interpolación simples, por lo que eran métodos 3DDA (asimilación de datos tridimensionales).

Posteriormente, se desarrollaron métodos 4DDA (asimilación de datos en cuatro dimensiones), denominados "nudging" (teoría del empujón), como en el modelo MM5. Se basan en la sencilla idea de la relajación newtoniana (el 2º axioma de Newton). Introducen en la parte derecha de las ecuaciones dinámicas del modelo un término proporcional a la diferencia entre la variable meteorológica calculada y el valor observado. Este término, que tiene signo negativo, mantiene el vector de estado calculado más cerca de las observaciones. El Nudging puede interpretarse como una variante del filtro de Kalman-Bucy (una versión en tiempo continuo del filtro de Kalman) con la matriz de ganancia prescrita en lugar de obtenida a partir de covarianzas.

L. Gandin (1963) introdujo el método de "interpolación estadística" (o "interpolación óptima"), que desarrolló ideas anteriores de Kolmogorov. Se trata de un método 3DDA y es un tipo de análisis de regresión que utiliza información sobre las distribuciones espaciales de las funciones de covarianza de los errores del campo "primera suposición" (previsión anterior) y el "campo verdadero". Estas funciones nunca se conocen. Sin embargo, se han asumido diferentes aproximaciones.

El algoritmo de interpolación óptima es la versión reducida del algoritmo de filtrado de Kalman (KF) y en él las matrices de covarianza no se calculan a partir de las ecuaciones dinámicas, sino que están predeterminadas de antemano.

Los intentos de introducir los algoritmos KF como herramienta 4DDA para modelos NWP llegaron más tarde. Sin embargo, esto fue (y sigue siendo) una tarea difícil porque la versión completa requiere la solución del enorme número de ecuaciones adicionales (~N*N~10**12, donde N=Nx*Ny*Nz es el tamaño del vector de estado, Nx~100, Ny~100, Nz~100 - las dimensiones de la malla computacional). Para superar esta dificultad, se han desarrollado filtros de Kalman aproximados o subóptimos. Entre ellos se encuentran el filtro de conjuntos de Kalman (EnKF) y los filtros Kalman de rango reducido (RRSQRT).

Otro avance significativo en el desarrollo de los métodos 4DDA fue la utilización de la teoría del control óptimo (enfoque variacional) en los trabajos de Le Dimet y Talagrand (1986), basados en los trabajos previos de J.-L. Lions y G. Marchuk, siendo este último el primero en aplicar dicha teoría en la modelización medioambiental. La ventaja significativa de los enfoques variacionales es que los campos meteorológicos satisfacen las ecuaciones dinámicas del modelo NWP y, al mismo tiempo, minimizan el funcional que caracteriza su diferencia respecto a las observaciones. De este modo, se resuelve el problema de la minimización restringida. Los métodos variacionales 3DDA fueron desarrollados por primera vez por Sasaki (1958).

Como demostró Lorenc (1986), todos los métodos 4DDA mencionados anteriormente son equivalentes en algún límite, es decir, bajo ciertas suposiciones minimizan la misma función de coste. Sin embargo, en aplicaciones prácticas estas suposiciones nunca se cumplen, los diferentes métodos funcionan de forma diferente y, en general, no está claro qué enfoque (filtrado de Kalman o variacional) es mejor. Las cuestiones fundamentales también se plantean en la aplicación de las técnicas avanzadas de DA, como la convergencia del método computacional al mínimo global de la función que debe minimizarse. Por ejemplo, la función de coste o el conjunto en el que se busca la solución pueden no ser convexos. El método 4DDA que actualmente tiene más éxito es el 4D-Var incremental híbrido, en el que se utiliza un conjunto para aumentar las covarianzas de error de fondo climatológicas al principio de la ventana temporal de asimilación de datos, pero las covarianzas de error de fondo evolucionan durante la ventana temporal mediante una versión simplificada del modelo de previsión NWP. Este método de asimilación de datos se utiliza de forma operativa en centros de previsión como el Met Office.

### Función de costes

El proceso de creación del análisis en la asimilación de datos suele implicar la minimización de una función de coste. Una función de coste típica sería la suma de las desviaciones al cuadrado de los valores de análisis respecto a las observaciones ponderada por la precisión de las observaciones, más la suma de las desviaciones al cuadrado de los campos de previsión y los campos analizados ponderada por la precisión de la previsión. Esto tiene el efecto de garantizar que el análisis no se aleja demasiado de las observaciones y previsiones que se sabe que suelen ser fiables.

**3D-Var**

$J(\mathbf {x} )=(\mathbf {x} -\mathbf {x} _{b})^{\mathrm {T} }\mathbf {B} ^{-1}(\mathbf {x} -\mathbf {x} _{b})+(\mathbf {y} -{\mathit {H}}[\mathbf {x} ])^{\mathrm {T} }\mathbf {R} ^{-1}(\mathbf {y} -{\mathit {H}}[\mathbf {x} ]),$

Donde $\mathbf {B}$ denota la covarianza del error de fondo, $\mathbf {R}$ la covarianza del error de observación.

$\nabla J(\mathbf {x} )=2\mathbf {B} ^{-1}(\mathbf {x} -\mathbf {x} _{b})-2{\mathit {H}}^{T}\mathbf {R} ^{-1}(\mathbf {y} -{\mathit {H}}[\mathbf {x} ])$

**4D-Var**

$J(\mathbf {x} )=(\mathbf {x} -\mathbf {x} _{b})^{\mathrm {T} }\mathbf {B} ^{-1}(\mathbf {x} -\mathbf {x} _{b})+\sum _{i=0}^{n}(\mathbf {y} _{i}-{\mathit {H}}_{i}[\mathbf {x} _{i}])^{\mathrm {T} }\mathbf {R} _{i}^{-1}(\mathbf {y} _{i}-{\mathit {H}}_{i}[\mathbf {x} _{i}])$

siempre que ${\mathit {H}}$ es un operador lineal (matriz).

### Evolución futura

Entre los factores que impulsan el rápido desarrollo de los métodos de asimilación de datos para los modelos de NWP figuran los siguientes:

* En la actualidad, la utilización de las observaciones ofrece mejoras prometedoras en la capacidad de predicción a diversas escalas espaciales (de global a muy local) y temporales.
* El número de diferentes tipos de observaciones disponibles (sodares, radares, satélite) está creciendo rápidamente.

## Otras aplicaciones

### Control de las transferencias de agua y energía

La asimilación de datos se ha utilizado, en las décadas de 1980 y 1990, en varios proyectos HAPEX (Experimento Piloto Hidrológico y Atmosférico) para el seguimiento de las transferencias de energía entre el suelo, la vegetación y la atmósfera. Por ejemplo:

* HAPEX-MobilHy, HAPEX-Sahel,
* el experimento "Alpilles-ReSeDA" (Asimilación de datos de teledetección), un proyecto europeo del programa FP4-ENV que tuvo lugar en la región de Alpilles, al sureste de Francia (1996-97). El diagrama de flujo (derecha), extraído del informe final de ese proyecto, muestra cómo inferir variables de interés como el estado del dosel, los flujos radiativos, el presupuesto ambiental, la producción en cantidad y calidad, a partir de datos de teledetección e información auxiliar. En ese diagrama, las pequeñas flechas azules y verdes indican la forma directa en que se ejecutan realmente los modelos.

### Otras aplicaciones de predicción

En la actualidad, los métodos de asimilación de datos también se utilizan en otros problemas de previsión medioambiental, por ejemplo, en la previsión hidrológica. Las redes bayesianas también pueden utilizarse en un enfoque de asimilación de datos para evaluar riesgos naturales como los corrimientos de tierras.

Dada la abundancia de datos de naves espaciales para otros planetas del sistema solar, la asimilación de datos se aplica ahora también más allá de la Tierra para obtener reanálisis del estado atmosférico de planetas extraterrestres. Marte es el único planeta extraterrestre al que se ha aplicado hasta ahora la asimilación de datos. Los datos espaciales disponibles incluyen, en particular, las recuperaciones de temperatura y espesores ópticos de polvo/agua/hielo del Espectrómetro de Emisión Térmica a bordo del Mars Global Surveyor de la NASA y del Mars Climate Sounder a bordo del Mars Reconnaissance Orbiter de la NASA. Se han aplicado dos métodos de asimilación de datos a estos conjuntos de datos: un esquema de Corrección de Análisis y dos esquemas de Filtro Kalman Ensemble, ambos utilizando un modelo de circulación global de la atmósfera marciana como modelo de avance. El conjunto de datos Mars Analysis Correction Data Assimilation (MACDA) está a disposición del público en el British Atmospheric Data Centre (Centro Británico de Datos Atmosféricos).

La asimilación de datos forma parte del reto de cualquier problema de previsión.

La asimilación de datos sesgados es un reto importante. El desarrollo de métodos para hacer frente a los sesgos será de especial utilidad. Si hay varios instrumentos que observan la misma variable, puede ser instructivo compararlos mediante funciones de distribución de probabilidad.

Los modelos numéricos de previsión son cada vez de mayor resolución debido al aumento de la potencia de cálculo, con modelos atmosféricos operativos que funcionan ahora con resoluciones horizontales del orden de 1 km (por ejemplo, en el Servicio Meteorológico Nacional alemán, el Deutscher Wetterdienst (DWD) y Met Office en el Reino Unido). Este aumento de las resoluciones horizontales está empezando a permitir resolver características más caóticas de los modelos no lineales, por ejemplo, resolver la convección a escala de malla, o las nubes, en los modelos atmosféricos. Esta creciente no linealidad en los modelos y en los operadores de observación plantea un nuevo problema en la asimilación de datos. Los métodos de asimilación de datos existentes, como muchas variantes de los filtros de conjunto de Kalman y los métodos variacionales, bien establecidos con modelos lineales o casi lineales, se están evaluando con modelos no lineales.

Se están desarrollando muchos métodos nuevos, por ejemplo, filtros de partículas para problemas de alta dimensión y métodos híbridos de asimilación de datos.

Otros usos son la estimación de trayectorias para el programa Apolo, el GPS y la química atmosférica.

