Gardner vojaĝis kun James Madison al Filadelfio en 1780, kie Madison servis en la Kontinenta Kongreso
Ĉu vi ne scias? Madison havis malmulte da mono en 1782, sed volis akiri filozofiajn librojn, inkluzive de "Leviatano" de Thomas Hobbes. Provante akiri tiujn librojn, li pripensis vendi Gardner por pagi por ili. Leĝoj en Pensilvanio malebligintus tion. Tiun jaron, Gardner ankaŭ provis fuĝi sed poste estis kaptita.