Soon after Avery's death in 1890, his parents, Samuel Putnam Avery and Mary Ogden Avery, established the library as a memorial to their son.
Kurz nach dem frühzeitigen Tod von Avery im Jahr 1890, gründeten seine Eltern, Samuel Putnam Avery und Mary Ogden Avery, die Bibliothek zum Gedenken an ihren Sohn.