Passy on kasvanut sotilasveteraanien perheessä. Hän kertoi omaelämäkerrassaan, että "häntä olisi voinut helposti vetää militarismiin". Sen sijaan tarinoita Ranskan Algerin valloituksen kauhuista.
Se sai hänet miettimään, millaisia vaikutuksia sodalla oli ihmiskuntaan. Vuosikaudet kestänyt väkivaltainen tyytymättömyys Italiassa, Puolassa, Itävallassa ja Preusssassa johti huomattavien liberaalien ja sosialistien vetoomuksiin Euroopan liittovaltioksi: Pierre-Joseph Proudhon, Émile de Girardin, Passy ja Michel Chevalier olivat kaikki tämän ajatuksen kannattajia. Vuonna 1859 Passy tuomitsi ajatuksen siitä, että sotilaallinen toiminta voisi olla ratkaisu poliittisiin kysymyksiin, ja ehdotti sen sijaan, että Euroopalla pitäisi olla "pysyvä kongressi ihmiskunnan yleisten etujen valvomiseksi" ja kansainvälinen poliisivoima.