Completa la següent frase: Kaulbars va néixer a Mödders, al Governorat d'Estònia, fill del baró Hermann Wilhelm von Kaulbars i Alexandrine Emilie i tenia un germà gran, Nikolai Reinhold Friedrich. Alexander i Nikolai van créixer a Sant Petersburg i eren de fe luterana. Va venir d'un noble alemany bàltic d'origen Pomerania. La família era de noblesa sueca. Tant el seu pare com el seu germà van ascendir al rang de generals de l'Exèrcit Imperial Rus. Va ser educat a l'Escola de Cavalleria Nikolaev. La seva primera experiència en combat va ser el 1861, mentre servia amb el Regiment de Guàrdies Egersky en la supressió de la
L'aixecament polonès.