Later, in the 1850s, under President Pierce, he was known to have remarked — probably the only thing he's known for — when a neighbor passed by and said, "I'd love to see the beautiful house," and Pierce said to him, "Why my dear sir, of course you may come in.
Egy másik alkalommal, az 1850-es években, Pierce elnökről feljegyezték, - talán erről az egy dologról ismerhetjük a nevét - hogy mikor egy arra járó szomszéd megjegyezte: szívesen megnézné belülről ezt a szép házat, Pierce így válaszolt: "Természetesen bejöhet, uram.