Ashley aloitti kilpailun vuonna 1966, kun hän kävi kurssin Jim Russell Racing Schoolissa. Hän oli nopea, mutta melko epäsäännöllinen, ja pian ansaitsi lempinimen "Crashley". Hän saavutti Formula 5000 -sarjan vuonna 1972 ja oli johtava juoksija vuonna 1973. Hän teki debyyttinsä Formula 1:ssä vuonna 1974 ja ajoi lyhyesti Williams-joukkueessa seuraavana vuonna. Hänen onnensa paheni 1970-luvun puolivälissä Formula 1:ssä. Hän joutui kahden ikävän onnettomuuden uhriksi radalla, jota Formula 1 ei enää käyttänyt. Vuonna 1975, Saksan Grand Prixissä
Nürburgringillä, jossa hän törmäsi vaikeaan Pflanzgartenin osaan ja mursi molemmat nilkkansa, ja Mosport Parkissa Kanadan Grand Prix -kilpailun harjoittelussa vuonna 1977 hän meni kuopan yli, käänsi Heskethinsä, hyppäsi esteestä ja törmäsi televisiotorniin. Hän ei enää koskaan kilpaillut Formula 1:ssä.