O seu pai era un escriba ben pagado para o Banco de Inglaterra, gañando preto de £150 ao ano. O avó paterno de Browning era un propietario de escravos en Saint Kitts, Indias Occidentais, pero o pai de Browning era un abolicionista. O pai de Browning fora enviado a Jamaica para traballar nunha plantación de azucre, pero debido a un escravo, que agora forma parte do condado de Southwark no sur de Londres. A súa nai foi unha filla de un escritor alemán que tiña unha capela independente de Lock's Fields, York Street, Walworth, o único fillo de Sarah Anna (née Wiedemann) e Robert Browning.
16 anos