A infancia de Floyd pasou na plantación familiar, Fairfield, no condado de Camden. Ao medrar, seguiu os pasos do seu pai, servindo como capitán das tropas de Xeorxia na Segunda Guerra Seminole.
e entrar no servizo público como xerife do condado. Despois da Segunda Guerra Seminole, Floyd mudouse a St. Augustine, Florida e foi empregado como debuxante antes de pasar a xestionar unha plantación no condado de St. John, Florida.