He was the son of Alfred Iverson Sr., United States Senator for Georgia and a fierce proponent of secession, and Caroline Goode Holt.
Han var søn af Alfred Iverson, Sr., Senator for Georgia og en ivrig fortaler for udtræden af Unionen og Caroline Goode Holt.