Basic Linear Algebra Subprograms
# Basic Linear Algebra Subprograms

Basic Linear Algebra Subprograms (BLAS), en español Subprogramas Básicos de Álgebra Lineal, es una especificación que define un conjunto de rutinas de bajo nivel para realizar operaciones comunes de álgebra lineal tales como la suma de vectores, multiplicación escalar, producto escalar, combinaciones lineales y multiplicación de matrices. Son las rutinas estándar de facto de bajo nivel para bibliotecas de álgebra lineal, con bindings para C (interfaz CBLAS) y Fortran (interfaz BLAS). Aunque la especificación de BLAS es general, las implementaciones particulares están a menudo optimizadas para conseguir mayor aceleración en una máquina o arquitectura particular, de forma que su uso puede conllevar un incremento sustancial del rendimiento. Las implementaciones de BLAS se pueden aprovechar de la existencia de hardware especial de punto flotante, tales como registros vectoriales o instrucciones SIMD.

Tuvo origen como biblioteca de Fortran en 1979 y su interfaz fue estandarizada por el Foro Técnico BLAS (BLAST), cuyo último informe sobre BLAS se puede encontrar en el sitio web de netlib. Esta biblioteca se conoce como la implementación de referencia y es de dominio público (a veces se la conoce de manera confusa como la biblioteca BLAS), aunque no está optimizada en velocidad.

La mayoría de las bibliotecas que ofrecen rutinas de álgebra lineal se ajustan a la interfaz BLAS, lo que permite a los usuarios de la biblioteca desarrollar programas independientes de la biblioteca BLAS que se esté utilizando. Ejemplos de bibliotecas BLAS incluyen: AMD Core Math Library (ACML), Arm Performance Libraries, ATLAS, Intel Math Kernel Library (MKL) y OpenBLAS. ACML ya no es compatible con su productor. ATLAS es una biblioteca portátil que se optimiza automáticamente para una arquitectura arbitraria. MKL es una biblioteca de proveedor de software gratuito y propietaria optimizada para x86 y x86-64 con un énfasis en el rendimiento de los procesadores Intel. OpenBLAS es una biblioteca de código abierto que está optimizada manualmente para muchas de las arquitecturas populares. Los benchmark de LINPACK se basan en gran medida en la gemm rutina BLAS para sus mediciones de rendimiento.

Muchas aplicaciones de software numérico utilizan bibliotecas compatibles con BLAS para realizar cálculos de álgebra lineal, como Armadillo, LAPACK, LINPACK, GNU Octave, Mathematica, MATLAB, NumPy, R y Julia.

## Antecedentes

Con el advenimiento de la programación numérica, las bibliotecas de subrutinas sofisticadas se volvieron útiles. Estas bibliotecas contendrían subrutinas para operaciones matemáticas comunes de alto nivel, como búsqueda de raíces, inversión de matrices y resolución de sistemas de ecuaciones. El idioma elegido fue FORTRAN. La biblioteca de programación numérica más destacada fue el Scientific Subroutine Package (SSP) de IBM. Estas bibliotecas de subrutinas permitieron a los programadores concentrarse en sus problemas específicos y evitar volver a implementar algoritmos conocidos. Las rutinas de la biblioteca también serían mejores que las implementaciones promedio; Los algoritmos matriciales, por ejemplo, pueden usar pivoteo completo para obtener una mejor precisión numérica. Las rutinas de la biblioteca también tendrían rutinas más eficientes. Por ejemplo, una biblioteca puede incluir un programa para resolver una matriz triangular superior. Las bibliotecas incluirían versiones de precisión simple y doble precisión de algunos algoritmos.

Inicialmente, estas subrutinas usaban bucles codificados de forma rígida para sus operaciones de bajo nivel. Por ejemplo, si una subrutina necesita realizar una multiplicación de matrices, entonces la subrutina tendría tres bucles anidados. Los programas de álgebra lineal tienen muchas operaciones comunes de bajo nivel (las llamadas operaciones "kernel", no relacionadas con los sistemas operativos). Entre 1973 y 1977, se identificaron varias de estas operaciones del núcleo. Estas operaciones del kernel se convirtieron en subrutinas definidas que las bibliotecas matemáticas podían llamar. Las llamadas al núcleo tenían ventajas sobre los bucles codificados de forma rígida: la rutina de la biblioteca sería más legible, habría menos posibilidades de errores y la implementación del núcleo podría optimizarse para la velocidad. Una especificación para estas operaciones del núcleo usando escalares y vectores, las subrutinas de álgebra lineal básica de nivel 1 (BLAS), se publicó en 1979. BLAS se utilizó para implementar la biblioteca de subrutinas de álgebra lineal LINPACK.

La abstracción BLAS permite la personalización para un alto rendimiento. Por ejemplo, LINPACK es una biblioteca de propósito general que se puede usar en muchas máquinas diferentes sin modificaciones. LINPACK podría usar una versión genérica de BLAS. Para obtener rendimiento, diferentes máquinas pueden usar versiones personalizadas de BLAS. A medida que las arquitecturas informáticas se volvieron más sofisticadas, aparecieron las máquinas vectoriales. BLAS para una máquina vectorial podría utilizar las operaciones vectoriales rápidas de la máquina.

Otras funciones de la máquina estuvieron disponibles y también podrían explotarse. En consecuencia, BLAS se aumentó de 1984 a 1986 con operaciones de kernel de nivel 2 que se referían a operaciones de matriz de vectores. La jerarquía de la memoria también se reconoció como algo para explotar. Muchas computadoras tienen una memoria caché que es mucho más rápida que la memoria principal; mantener las manipulaciones de la matriz localizadas permite un mejor uso de la caché. En 1987 y 1988, se identificaron BLAS de nivel 3 para realizar operaciones matriz-matriz. El BLAS de nivel 3 fomentó los algoritmos de bloques particionados. La biblioteca LAPACK utiliza BLAS de nivel 3.

El BLAS original se refería solo a vectores y matrices densamente almacenados. Se han abordado otras extensiones de BLAS, como para matrices dispersas.

### ATLAS

El Automatically Tuned Linear Algebra Software (ATLAS), en español: software de álgebra lineal sintonizado automáticamente, busca una implementación BLAS con mayor rendimiento. ATLAS define muchas operaciones BLAS en términos de algunas rutinas centrales y luego intenta adaptar automáticamente las rutinas centrales para tener un buen rendimiento. Se realiza una búsqueda para elegir buenos tamaños de bloque. Los tamaños de los bloques pueden depender del tamaño y la arquitectura de la memoria caché de la computadora. También se realizan pruebas para ver si la copia de matrices y vectores mejora el rendimiento. Por ejemplo, puede ser ventajoso copiar argumentos para que estén alineados en la línea de caché para que las rutinas proporcionadas por el usuario puedan utilizar instrucciones SIMD.

## Funcionalidad

La funcionalidad BLAS se clasifica en tres conjuntos de rutinas llamadas "niveles", que corresponden tanto al orden cronológico de definición y publicación, como al grado del polinomio en las complejidades de los algoritmos; Las operaciones de BLAS de nivel 1 generalmente toman tiempo lineal, O(n), operaciones de nivel 2 tiempo cuadrático y operaciones de nivel 3 tiempo cúbico. Las implementaciones modernas de BLAS suelen proporcionar los tres niveles.

### Nivel 1

Este nivel consta de todas las rutinas descritas en la presentación original de BLAS (1979), que definía solo operaciones vectoriales en matrices escalonadas : productos escalares, normas vectoriales, una adición vectorial generalizada de la forma

    ${\boldsymbol {y}}\leftarrow \alpha {\boldsymbol {x}}+{\boldsymbol {y}}$

(llamado "axpy") y muchos otras operaciones.

### Nivel 2

Este nivel contiene operaciones matriz-vector que incluyen, entre otras cosas, una multiplicación matriz-vector generalizada (gemv):

    ${\boldsymbol {y}}\leftarrow \alpha {\boldsymbol {A}}{\boldsymbol {x}}+\beta {\boldsymbol {y}}$

así como un solucionador de x en la ecuación lineal

    ${\boldsymbol {T}}{\boldsymbol {x}}={\boldsymbol {y}}$

siendo T triangular. El diseño del BLAS de nivel 2 se inició en 1984 y los resultados se publicaron en 1988. Las subrutinas de nivel 2 están especialmente destinadas a mejorar el rendimiento de los programas que utilizan BLAS en procesadores vectoriales, donde los BLAS de nivel 1 son subóptimos "porque ocultan la naturaleza matricial-vector de las operaciones del compilador".

### Nivel 3

Este nivel, publicado formalmente en 1990, contiene operaciones matriz-matriz, incluida una " multiplicación general de matrices " (gemm), de la forma

    ${\boldsymbol {C}}\leftarrow \alpha {\boldsymbol {A}}{\boldsymbol {B}}+\beta {\boldsymbol {C}}$

donde A y B se pueden transponer opcionalmente o conjugar hermitian dentro de la rutina y las tres matrices pueden ser escalonadas. La multiplicación de matrices ordinaria A B se puede realizar estableciendo α en uno y C en una matriz de todos ceros del tamaño apropiado.

También se incluyen en el Nivel 3 rutinas para resolver

    ${\boldsymbol {B}}\leftarrow \alpha {\boldsymbol {T}}^{-1}{\boldsymbol {B}}$

donde T es una matriz triangular, entre otras funcionalidades.

Debido a la ubicuidad de las multiplicaciones de matrices en muchas aplicaciones científicas, incluida la implementación del resto del BLAS de nivel 3, y debido a que existen algoritmos más rápidos más allá de la repetición obvia de la multiplicación de matrices y vectores, gemm es un objetivo principal de optimización para Implementadores BLAS. Por ejemplo, al descomponer uno o ambos de A, B en matrices de bloques, gemm se puede implementar de forma recursiva. Esta es una de las motivaciones para incluir el parámetro β, para que se puedan acumular los resultados de los bloques anteriores. Tenga en cuenta que esta descomposición requiere el caso especial β = 1 que optimizan muchas implementaciones, eliminando así una multiplicación por cada valor de C Esta descomposición permite una mejor localidad de referencia tanto en el espacio como en el tiempo de los datos utilizados en el producto. Esto, a su vez, aprovecha la caché del sistema. Para sistemas con más de un nivel de caché, el bloqueo se puede aplicar una segunda vez al orden en que se utilizan los bloques en el cálculo. Ambos niveles de optimización se utilizan en implementaciones como ATLAS. Más recientemente, las implementaciones de Kazushige Goto han demostrado que el bloqueo solo para la caché L2, combinado con una cuidadosa amortización de la copia a la memoria contigua para reducir las fallas de TLB, es superior a ATLAS. Una implementación altamente ajustada basada en estas ideas es parte de GotoBLAS, OpenBLAS y BLIS.

Una variación común de gemm es gemm3m, que calcula un producto complejo usando "tres multiplicaciones de matrices reales y cinco adiciones de matrices reales en lugar de las cuatro multiplicaciones de matrices reales convencionales y dos adiciones de matrices reales", un algoritmo similar al algoritmo de Strassen descrito por primera vez por Peter. Ungar.

## Implementaciones

### Accelerate

    Marco de Apple para macOS e iOS, que incluye versiones optimizadas de BLAS y LAPACK.

### ACML

    La biblioteca AMD Core Math, compatible con las CPU AMD Athlon y Opteron en Linux y Windows.

### C++ AMP BLAS

    La biblioteca C++ AMP BLAS es una implementación de código abierto de BLAS para la extensión de lenguaje AMP de Microsoft para Visual C++.

### ATLAS

    Software de álgebra lineal optimizado automáticamente, una implementación de código abierto de las API de BLAS para C y Fortran 77.

### BLIS

    Marco de software de creación de instancias de bibliotecas similar a BLAS para una rápida creación de instancias. Basado en GotoBLAS.

### cuBLAS

    BLAS optimizado para tarjetas GPU basadas en NVIDIA, que requieren pocas llamadas adicionales a la biblioteca.

### NVBLAS

    BLAS optimizado para tarjetas GPU basadas en NVIDIA, que proporciona solo funciones de nivel 3, pero como reemplazo directo directo para otras bibliotecas BLAS.

### clBLAS

    Una implementación OpenCL de BLAS por AMD. Parte de las bibliotecas informáticas de AMD.

### clBLAST

    Una implementación OpenCL ajustada de BLAS.

### Eigen BLAS

    Una biblioteca Fortran 77 y C BLAS implementada sobre la biblioteca Eigen con licencia MPL, que admite arquitecturas x86, x86 64, ARM (NEON) y PowerPC.

### ESSL

    Biblioteca de subrutinas científicas y de ingeniería de IBM, que admite la arquitectura PowerPC en AIX y Linux.

### GotoBLAS

    Implementación de BLAS con licencia BSD de Kazushige Goto, ajustada en particular para Intel Nehalem / Atom, VIA Nanoprocessor, AMD Opteron.

### Biblioteca científica GNU

    Implementación multiplataforma de muchas rutinas numéricas. Contiene una interfaz CBLAS.

### HP MLIB

    Biblioteca matemática de HP compatible con arquitectura IA-64, PA-RISC, x86 y Opteron en HPUX y Linux.

### Intel MKL

    Intel Math Kernel Library, compatible con x86 de 32 y 64 bits, disponible de forma gratuita en Intel. Incluye optimizaciones para CPU Intel Pentium, Core e Intel Xeon e Intel Xeon Phi ; soporte para Linux, Windows y macOS.

### MathKeisan

    NEC bibliotecas matemáticas, apoyando arquitectura NEC SX bajo SUPER-UX e Itanium bajo Linux.

### Netlib BLAS

    La implementación de referencia oficial en Netlib, escrita en Fortran 77.

### Netlib CBLAS

    Interfaz C de referencia al BLAS. También es posible (y popular) llamar al Fortran BLAS de C.

### OpenBLAS

    BLAS optimizado basado en GotoBLAS, compatible con procesadores x86, x86-64, MIPS y ARM.

### PDLIB / SX

    NEC Mathematical Library 's de Dominio Público para el NEC SX-4 del sistema.

### SCSL

    La biblioteca de software de computación científica de SGI contiene implementaciones BLAS y LAPACK para las estaciones de trabajo Irix de SGI.

### Sun Performance Library

    BLAS y LAPACK optimizados para arquitecturas SPARC, Core y AMD64 en Solaris 8, 9 y 10, así como en Linux.

### uBLAS

    Una biblioteca genérica de clases de plantillas de C++ que proporciona la funcionalidad BLAS. Parte de la biblioteca de Boost. Proporciona enlaces a muchas bibliotecas aceleradas por hardware en una notación unificadora. Además, uBLAS se centra en la corrección de los algoritmos que utilizan funciones avanzadas de C++.

### Bibliotecas que utilizan BLAS

**Armadillo**


    Biblioteca de álgebra lineal C++ que apunta a un buen equilibrio entre velocidad y facilidad de uso. Emplea clases de plantilla y tiene enlaces opcionales a BLAS / ATLAS y LAPACK. Está patrocinado por NICTA (en Australia) y tiene una licencia gratuita.

**LAPACK**


    Biblioteca de álgebra lineal de nivel superior construida sobre BLAS. Como BLAS, existe una implementación de referencia, pero existen muchas alternativas como libFlame y MKL.

**Mir**


    Biblioteca numérica genérica acelerada por LLVM para ciencia y aprendizaje automático escrita en D. Proporciona subprogramas genéricos de álgebra lineal (GLAS). Puede construirse sobre una implementación CBLAS.

## Bibliotecas similares (no compatibles con BLAS)

### Elemental

    Elemental es un software de código abierto para optimización y álgebra lineal densa y dispersa en memoria distribuida.

### HASEM

    Biblioteca de plantillas de C++, que puede resolver ecuaciones lineales y calcular valores propios. Tiene licencia BSD.

### LAMA

    La biblioteca para aplicaciones matemáticas aceleradas (LAMA) es una biblioteca de plantillas C++ para escribir solucionadores numéricos dirigidos a varios tipos de hardware (por ejemplo, GPU a través de CUDA u OpenCL) en sistemas de memoria distribuida, ocultando la programación específica del hardware al desarrollador del programa

### MTL4

    Matrix Template Library versión 4 es una biblioteca de plantillas C++ genérica que proporciona una funcionalidad BLAS densa y escasa. MTL4 establece una interfaz intuitiva (similar a MATLAB) y una amplia aplicabilidad gracias a la programación genérica.

## BLAS para matrices dispersas

Se han sugerido varias extensiones de BLAS para manejar matrices dispersas a lo largo de la historia de la biblioteca; un pequeño conjunto de rutinas de kernel de matriz dispersa se estandarizó finalmente en 2002.

