I can bet you that your response is somewhere along the lines of, "I'm expected to not wear pj's in public" or "I don't want people to think I am a slob."
Je peux vous parier que votre réponse est plus ou moins : « On n'attend pas de moi que je porte un pyjama en public » ou « Je ne veux pas que les autres pensent que je suis négligé.»