Passy on kasvanut sotilasveteraanien perheessä. Hän kertoi omaelämäkerrassaan, että "häntä olisi voinut helposti vetää militarismiin". Sen sijaan Algerin Ranskan valloituksen kauhujutut saivat hänet pohtimaan, millaisia vaikutuksia sodalla oli ihmiskuntaan. Vuosien väkivaltainen tyytymättömyys Italiassa, Puolassa
Pierre-Joseph Proudhon, Émile de Girardin, Passy ja Michel Chevalier olivat kaikki tämän ajatuksen kannattajia. Vuonna 1859 Passy tuomitsi ajatuksen siitä, että sotilaallinen toiminta voisi olla ratkaisu poliittisiin kysymyksiin, ja ehdotti sen sijaan, että Euroopalla pitäisi olla "pysyvä kongressi ihmiskunnan yleisten etujen valvomiseksi" ja kansainvälinen poliisivoima.