Passy savo autobiografijoje rašė, kad užaugęs kariškių veteranų šeimoje, jis "gali būti lengvai patrauktas prie militarizmo". Vietoj to, pasakojimai apie Prancūzijos užkariavimo Alžyre siaubą
paskatino jį apsvarstyti, kokią įtaką karas padarė žmonijai. Ilgus metus Italijoje, Lenkijoje, Austrijoje ir Prūsijoje vyravęs smurtinis nepasitenkinimas paskatino žinomus liberalus ir socialistus raginti sukurti Europos federaciją. Šią idėją palaikė Pierre-Joseph Proudhon, Émile de Girardin, Passy ir Michel Chevalier. 1859 m. Passy pasmerkė idėją, kad kariniai veiksmai gali būti politinių klausimų sprendimas, o vietoj to pasiūlė, kad Europoje turėtų būti "pastovus kongresas, prižiūrintis bendrus žmonijos interesus" ir tarptautinė policijos pajėgos.