Gardner matkusti James Madisonin kanssa Philadelphiassa vuonna 1780, jossa Madison palveli
Manner-Kongressissa. Madisonilla ei ollut rahaa vuonna 1782, mutta hän halusi hankkia filosofian kirjoja, mukaan lukien Thomas Hobbsin "Leviathan". Yrittäessään hankkia näitä kirjoja hän harkitsi Gardnerin myymistä voidakseen maksaa ne. Pennsylvanian lait olisivat estäneet tämän. Samana vuonna Gardner yritti myös paeta, mutta hänet vangittiin.