Descrivi cos'è un web crawler.
Un web crawler, anche conosciuto come spider, è un programma che visita automaticamente i siti web e raccoglie informazioni sul contenuto trovato su di essi. Esso esamina il contenuto di una pagina, seguendo i link ad altre pagine, al fine di raccogliere informazioni su una varietà di argomenti. I dati raccolti vengono poi utilizzati da motori di ricerca, fornitori di contenuti e altre applicazioni.