Kaulbars naceu en Mödders na Gobernación de Estonia, fillo do barón Hermann Wilhelm von Kaulbars e Alexandrine Emilie e tiña un irmán maior, Nikolai Reinhold Friedrich. Alexander e Nikolai creceron en San Petersburgo e eran de fe luterana. Viña dun nobre alemán báltico de orixe pomeraniana. A familia era de nobreza sueca. Tanto o seu pai como o seu irmán ascenderon ao rango de xenerais no Exército Imperial Ruso. Foi educado na Escola de Cabalería Nikolaev. A súa primeira experiencia en combate foi en 1861, mentres servía co rexemento de garda de Egersky na supresión do levantamento polaco.
- Non.