Tarmey Ardwickben született, Manchesterben, Lancashire-ben. Röviddel a születése után a családjával Bradfordba költözött, ahol szintén iskolázott. Miután édesapja, William 1944-ben meghalt, miközben mentőautót vezetett az Arnhem-i csatában,
A második világháború alatt az anyja, Lilian újraházasodott Robert Cleworth-hez. Tarmey a Bradford Memorial School-ban és a Queens Street School-ban tanult (ami később a Philips Park Középiskola lett). Miután befejezte az iskolát, a mostohaapja tanítványa lett, aki aszfaltfelhőző volt. Évekig az építőiparban is dolgozott.