Kaulbars syntyi Möddersissä, Viron kuvernöörivaltiossa, paron Hermann Wilhelm von Kaulbarsin ja Alexandrine Emilien lapseksi ja hänellä oli vanhempi veli Nikolai Reinhold Friedrich. Alexander ja Nikolai kasvoivat Pietarissa ja olivat luterilaisia. Hän oli Itämeren saksalainen aatelinen, jolla oli pommerilainen alkuperä. Perhe oli ruotsalaista aatelistoa. Sekä hänen isänsä että hänen veljensä nousivat kenraalin virkaan Venäjän keisarillisessa armeijassa. Hän opiskeli Nikolajevin ratsuväen koulussa. Hänen ensimmäinen taistelukokemuksensa oli vuonna 1861, kun hän palveli Egersky-vartioryhmässä Puolan kansannousun tukahduttamisessa.
- Mitä?