Big data analytics
# Big data analytics

Big data analytics è il processo di raccolta e analisi di grandi volumi di dati (big data) per estrarre informazioni nascoste. Associati a sofisticate analisi di business, i big data hanno il potenziale di dare alle imprese intuizioni sulle condizioni di mercato, sul comportamento dei clienti, rendendo l’attività decisionale più efficace e veloce rispetto alla concorrenza, discostandosi dalle tradizionali soluzioni di business intelligence perché operano su grandi volumi di dati e richiedono pertanto un’elaborazione più lenta e meno efficiente. Oggi sono fornite diverse tecnologie e tecniche di analisi per scoprire patterns nascosti e connessioni tra i dati.

Tale processo di analisi permette di operare un’analisi predittiva, ovvero permette di conoscere anticipatamente cosa accadrà: ciò diventa possibile poiché se abbiamo un modello e abbiamo dati storici a sufficienza possiamo determinare cosa succederà in un futuro prossimo (una tendenza) con basi o fondamenti statistici. Sulla base di queste previsioni è possibile poi intervenire sul futuro mediante un'analisi prescrittiva, ovvero si vanno a cercare le condizioni affinché un certo evento accada.

Quindi i big data rappresentano il nuovo strumento che rende "misurabile" la società: spingono verso una nuova scienza dei dati, in grado di misurare e, in prospettiva, prevedere crisi economiche, epidemie, diffusione di opinioni, distribuzione delle risorse economiche, bisogni di mobilità.

## Storia

Per molti anni si è parlato di Big Data, ma solo recentemente molte organizzazioni hanno compreso la loro importanza. Catturare l’innumerevole mole di dati, che viene condivisa ogni giorno nel proprio business, permette ad un’azienda di analizzare ed estrarre informazioni significative e talvolta vitali per le proprie decisioni.

Inizialmente, prima ancora che il termine “Big Data” venisse usato, le attività commerciali erano basate su semplici analisi numeriche per scoprire informazioni e andamenti nascosti. Oggi invece le informazioni sono recuperate da enormi volumi di dati, dove l’analisi, ormai diventata veloce, permette di anticipare le scelte future in modo più accurato. Negli ultimi, il ricorso ai Big Data Analytics prevede progettualità e metodologie sempre più complesse e avanzate (analisi predittive e real time, ricorso a data lake o modelli integrati di archiviazione dati, team dedicati alla gestione della data science) in grado di impattare su tutti i processi di un'organizzazione: comunicazioni personalizzate, ottimizzazione dei processi produttivi, gestione delle emergenze, etc...

## Descrizione

### Definizione e caratteristiche

Si tratta di un processo di Business Intelligence adattato ai Big Data. Sono, quindi, necessari strumenti automatici che possano aiutare i manager ed i responsabili dell'azienda a prendere le decisioni giuste per massimizzare i profitti ed evitare gli sprechi dovuti a scelte sbagliate, soprattutto negli ultimi anni in cui la crisi economica lascia ancora meno margini per gli errori.

La presenza di dati non strutturati, rende necessario un diverso approccio nell’analisi che differisce dai tradizionali sistemi di gestione delle basi di dati. In questo contesto bisogna disporre di architetture software predisposte alla gestione di grossi volumi di dati, capaci di elaborazioni parallele su sistemi cluster. Tecnologie emergenti come Hadoop, MapReduce e NoSQL databases.

I principali obiettivi della Big Data analytics sono:

* Ridurre i costi: sono introdotte nuove tecnologie per ridurre i costi di gestione e analisi di grandi volumi di dati.
* Velocità: le analisi condotte devono essere capaci di produrre un risultato in breve tempo, oggi si fa sempre più riferimento ad analisi real time.
* Precisione: potendo disporre di grosse quantità di dati possono essere condotte analisi più accurate.

Attraverso questi obiettivi è possibile anticipare il futuro con la conoscenza dei dati raccolti nel passato ed individuare nuove opportunità di guadagno.

### Differenze con la business intelligence

La crescente maturità del concetto dei Big Data mette in evidenza le differenze con la Business Intelligence, in materia di dati e del loro utilizzo:

* la Business Intelligence utilizza la statistica descrittiva con dati ad alta densità di informazione per misurare cose, rilevare tendenze, ecc., utilizza cioè dataset limitati, dati puliti e modelli semplici per scoprire cosa è successo e perché è successo;
* i Big Data utilizzano la statistica inferenziale e concetti di identificazione di sistemi non lineari per dedurre leggi (regressioni, relazioni non lineari ed effetti causali) da grandi insiemi di dati, e per rivelare rapporti e dipendenze ed effettuare previsioni di risultati e comportamenti, in altre parole utilizzano dataset eterogenei (non correlati tra loro), dati raw e modelli predittivi complessi.

L'autore Jonathan Koomey, autore della Legge di Koomey, ha raccomandato una serie di buone pratiche per comprendere i dati quantitativi. Questi includono:

* Verificare la presenza di anomalie nei dati grezzi prima di eseguire un'analisi;
* Eseguire nuovamente calcoli importanti, come la verifica di colonne di dati basate su formule;
* Confermare che i totali principali sono la somma dei subtotali;
* Controlla le relazioni tra i numeri che dovrebbero essere correlati in modo prevedibile, come i rapporti nel tempo;
* Normalizzare i numeri per facilitare i confronti, come analizzare gli importi per persona o relativi al PIL o come valore dell'indice relativo a un anno base;
* Suddividi i problemi in parti componenti analizzando i fattori che hanno portato ai risultati, come l'analisi DuPont del rendimento del capitale.

Per le variabili in esame, gli analisti in genere ottengono per esse statistiche descrittive, come media (media), mediana e deviazione standard. Possono anche analizzare la distribuzione delle variabili chiave per vedere come i singoli valori si raggruppano attorno alla media.

