Kamilisha sentensi ifuatayo: Kaulbars alizaliwa katika Mödders katika Governorate ya Estonia kwa Baron Hermann Wilhelm von Kaulbars na Alexandrine Emilie na alikuwa na kaka mkubwa, Nikolai Reinhold Friedrich. Alexander na Nikolai walilelewa huko St. Petersburg na walikuwa na imani ya Kilutheri. Alitoka kwa mtu mashuhuri wa Ujerumani ya Baltiki mwenye asili ya Pomerania. Familia hiyo ilikuwa ya watu mashuhuri wa Sweden. Baba yake na ndugu yake wote wawili walipata cheo cha jenerali katika Jeshi la Urusi la Kifalme. Alipata elimu katika shule ya wapanda farasi ya Nikolaev. Uzoefu wake wa kwanza katika mapigano ilikuwa katika 1861, wakati kutumika na Egersky Walinzi Regiment katika kukandamiza
Mapinduzi ya Poland.