Ljúktu eftirfarandi setningu: Passy er alinn upp í fjölskyldu herþjónna og segir í ævisögu sinni að hann "mætti auðveldlega hafa verið dreginn að hernaðarhyggjunni". Í staðinn knúðu sögurnar um hryllingi Frakka í Algíríu hann til að íhuga áhrif stríðsins á mannkynið. Árin af ofbeldisfullri óánægju í Ítalíu,
Pólland, Austurríki og Prússland leiddu til krafna um sambandsríki Evrópu frá áberandi frjálshyggjumönnum og sósíalistum: Pierre-Joseph Proudhon, Émile de Girardin, Passy og Michel Chevalier voru allir talsmenn þessarar hugmyndar. Árið 1859 fordæmdi Passy þá hugmynd að hernaðaraðgerðir gætu verið lausn á pólitískum málum og lagði í staðinn til að Evrópa ætti að hafa "varandi þing til að hafa yfirumsjón með almennum hagsmunum mannkynsins" og alþjóðlegt lögreglulið.