Crovie werd gesticht door families (crofters) die van het land waren verhuisd om plaats te maken voor de schapen van de landeigenaren. Hier exploiteerden ze vissersboten voor de plaatselijke verhuurder en kregen geleidelijk hun eigen vaartuig. De visserij ging in de 20ste eeuw achteruit, maar stopte met de storm van 1953
, die een aantal gebouwen wegspoelde en de bewoners dwong om te vluchten. Sindsdien zijn de meeste gebouwen omgebouwd tot vakantiehuizen.