Sillitoe opustil školu ve věku 14 let, když neuspěl přijímací zkoušku do základní školy. Následující čtyři roky pracoval v továrně v Raleigh, trávil svůj volný čas čtením a byl "sériovým milovníkem místních dívek". V roce 1942 vstoupil do leteckého výcvikového sboru, poté do královského letectva, i když příliš pozdě, aby sloužil ve druhé světové válce. Během krizové situace sloužil jako bezdrátový operátor v Malajsii.
- Ne, ne. Po návratu do Británie plánoval vstoupit do Royal Canadian Air Force, když bylo zjištěno, že má tuberkulózu. Strávil 16 měsíců v nemocnici RAF.