Passy er alinn upp í fjölskyldu herforingja og segir í sjálfsævisögu sinni að hann hafi "getur auðveldlega verið dreginn að hernaðarhyggjunni". Í stađinn sögurnar um hryllingi franska landnámsins í Alsír.
knúđi hann til ađ hugsa um áhrif stríđsins á mannkyni. Margir framsækir frjálshyggjumenn og sósíalistar kölluðu eftir sameiningu Evrópu í Ítalíu, Póllandi, Austurríki og Prússíu. Pierre-Joseph Proudhon, Émile de Girardin, Passy og Michel Chevalier voru allir talsmenn þessarar hugsjónar. Árið 1859 fordæmdi Passy þá hugmynd að hernaðaraðgerðir gætu verið lausn á pólitískum málum og lagði í staðinn til að Evrópa ætti að hafa "varandi þing til að hafa yfirumsjón með almennum hagsmunum mannkynsins" og alþjóðlegt lögreglulið.