Gardner va viatjar amb James Madison a Filadèlfia el 1780, on Madison estava servint al Congrés Continental
- No. Madison tenia poc diners el 1782, però volia adquirir llibres de filosofia, incloent "Leviathan" de Thomas Hobbes. En tractar d'adquirir aquests llibres, va considerar vendre Gardner per poder pagar-los. Les lleis de Pennsilvània ho haurien fet impossible. Aquell any, Gardner també va intentar fugir, però va ser capturat posteriorment.