Passy er alinn upp í fjölskyldu herforingja og segir í sjálfsævisögu sinni að hann hafi "getur auðveldlega verið dreginn að hernaðarhyggjunni". Í staðinn knúðu sögurnar um hryllingi Frakka í Algíríu hann til að íhuga áhrif stríðsins á mannkynið. Árin af ofbeldisfullri óánægju í Ítalíu og Póllandi
, og Austurríki og Prússíu leiddu til krafna um sambandsríki Evrópu frá áberandi frjálshyggjumönnum og sósíalistum: Pierre-Joseph Proudhon, Émile de Girardin, Passy og Michel Chevalier voru allir talsmenn þessarar hugmyndar. Árið 1859 fordæmdi Passy þá hugmynd að hernaðaraðgerðir gætu verið lausn á pólitískum málum og lagði í staðinn til að Evrópa ætti að hafa "varandi þing til að hafa yfirumsjón með almennum hagsmunum mannkynsins" og alþjóðlegt lögreglulið.