Passy savo autobiografijoje rašė, kad užaugęs kariškių veteranų šeimoje, jis "gali būti lengvai patrauktas prie militarizmo". O pasakojimai apie Prancūzijos užkariavimo Alžyre siaubą paskatino jį pagalvoti apie tai, kaip karas paveikė žmoniją. Smurtiniai nepasitenkinimo metai Italijoje, Lenkijoje
, Austrija ir Prūsija paskatino žinomų liberalų ir socialistų raginimus sukurti Europos federaciją: Pierre-Joseph Proudhon, Émile de Girardin, Passy ir Michel Chevalier buvo šios idėjos gynėjai. 1859 m. Passy pasmerkė idėją, kad kariniai veiksmai gali būti politinių klausimų sprendimas, o vietoj to pasiūlė, kad Europoje turėtų būti "pastovus kongresas, prižiūrintis bendrus žmonijos interesus" ir tarptautinė policijos pajėgos.