Ta sündis Bostonis ning jäi varakult orvuks. Tema ema suri varsti pärast seda, kui isa oli pere hüljanud. Edgar võeti John ja Frances Allani pere tiiva alla, kuigi ametlikult teda ei adopteeritud. Ta õppis mõnda aega Virginia ülikoolis, kuid lahkus rahapuuduse tõttu pärast esimest semestrit. Poe astus West Pointi sõjaväeakadeemiasse, kuid sinnagi ei jäänud ta pidama. 6. märtsil 1831 heideti Poe West Pointist välja. Pärast seda ebaõnnestumist otsustas Poe Allanite juurest lahkuda. Oma kirjanikuteed alustas ta tagasihoidlikult, avaldades 1827. aastal anonüümse luulekogumiku "Tamerlane and Other Poems". Autoriks oli märgitud vaid "üks Bostonlane".