Ashley mulai balapan pada tahun 1966 ketika ia mengambil kursus di Jim Russell Racing School. Dia cepat tapi agak tidak menentu, dan segera mendapatkan julukan "Crashley". Dia mencapai Formula 5000 pada tahun 1972 dan menjadi juara pertama pada tahun 1973. Dia memulai debutnya di Formula Satu pada tahun 1974, dan sebentar mengendarai untuk tim Williams pada tahun berikutnya. Keberuntungannya semakin buruk pada pertengahan tahun 1970-an di Formula Satu. Dia menjadi korban dua kecelakaan buruk di sirkuit yang tidak lagi digunakan oleh Formula Satu segera setelah kedua kecelakaan itu. Selama tahun 1975, di Grand Prix Jerman
di Nürburgring di mana selama latihan, ia menabrak parah pada bagian Pflanzgarten yang rumit dan mematahkan kedua pergelangan kakinya, dan selama latihan untuk Grand Prix Kanada di Mosport Park pada tahun 1977, ia pergi di atas benjolan, membalikkan Hesketh-nya, melompati penghalang dan menabrak menara televisi. Dia tidak pernah balapan di Formula Satu lagi.