A turné mellett a Sire Records és a Beggars Banquet Records az Egyesült Királyságban négy kislemezt adtak ki, hogy segítsenek az album promóciójában, remélve, hogy több rádiós adást kapnak. Az "Animal Boy" első kislemeze az volt, hogy "My Brain Is Hanging Upside Down (Bonzo Goes to Bitburg)", amit a Beggars Banquet kiadott 1985 júniusában. A "Go Home Anne" volt a B-oldal, melyet Ed Stasium készített és Lemmy Kilmister, a Motörhead énekese keverte. Számos magyarázat volt arra, hogy miért nem adták ki az Egyesült Államokban: a Sire Records termékmenedzsere elmagyarázta, hogy ez mind a "pénzügyi, mind a politikai" döntés volt, míg az anyavállalat, a Warner Bros. Records azt állította, hogy "Ez egyszerűen nem volt elég jó lemez". A kislemez borítóján Reagan elnök beszédet mond a Bergen-Belsen koncentrációs táborban, mielőtt Bitburgba ment volna, de a képet később eltávolították. A brit "Melody Maker" újság azt állította, hogy eltávolították, mert a zenekar nyomást kapott a "Morális többségtől, a
Alamo hazafias ligája és az SS".