Kaulbarsas gimė Mödderse, Estijos gubernatorijoje, barono Hermano Vilhelmo von Kaulbarso ir Aleksandrinos Emilijos šeimoje, turėjo vyresnį brolį Nikolajų Reinholdą Friedrichą. Aleksandras ir Nikolajus užaugo Sankt Peterburge ir buvo liuteronai. Jis kilęs iš baltų vokiečių kilmingųjų, kilusių iš Pomerijos. Šeima buvo iš švedų kilmingumo. Tiek jo tėvas, tiek brolis pasiekė generolo laipsnį Rusijos imperijos armijoje. Mokėsi Nikolajevo kavalerijos mokykloje. Jo pirmoji patirtis mūšyje buvo 1861 m., kai jis tarnavo Egerskio gvardijų pulke, slopinant Lenkijos sukilimą.
- Taip.