I can bet you that your response is somewhere along the lines of, "I'm expected to not wear pj's in public" or "I don't want people to think I am a slob."
Aposto que vocês devem responder algo como: "Não devo usar pijama em público" ou "Não quero que pensem que sou desleixado".