Ljúka eftirfarandi setningu: Kaulbars fæddist í Mödders í ríkisstjórn Estlands til Hermanns Wilhelm von Kaulbars og Alexandrine Emilie og hafði eldri bróður, Nikolai Reinhold Friedrich. Alexander og Nikolai ólust upp í Pétursborg og voru lútherskra trúarbræðra. Hann kom frá baltískum þýskum höfðingjum af pómerska uppruna. Fjölskyldan var af sænsku höfðingjaætt. Bæði faðir hans og bróðir hans náðu yfirstjóra í rússneska keisarahernum. Hann hlaut menntun í Nikolaev riddaraskólanum. Fyrsta reynsla hans í bardaga var árið 1861, meðan hann þjónaði með Egersky vörður Regiment í að bæla upp
Pólska uppreisnin.