It probably wasn't when you stayed the latest at work, or it wasn't when you came home from a road trip, it was probably when you had someone looking over your shoulder, watching your each and every move.
Seguramente no fue al quedarse trabajando hasta tarde, ni cuando regresaron de un viaje de negocios. Probablemente fue al tener alguien a sus espaldas controlándolos, supervisando cada uno de sus movimientos.