Alexei syntyi Tverin oblastin Lyubinin aateliseen Orlov-perheeseen, Grigory Ivanovich Orlovin, Novgorodin kuvernöörin ja Grigory Grigoryevich Orlovin veljen poika. Hän liittyi Preobrazhenskin rykmenttiin ja saavutti vuonna 1762 kersantin aseman. Hän erotti itsensä seitsemän vuoden sodassa ja haavoittui Zorndorfin taistelussa.
- Mitä? Häntä kuvailtiin yli kahden metrin pituisena jättiläisenä, joka oli kuuluisa kaksintaistelupelaaja ja jolla oli arpi poskessa. Arpi ansaitsi hänelle lempinimen "Arpakatsa".