Después de una breve estancia en el Palazzo Vecchio en la Piazza della Signoria, Duke Cosimo Yo y su esposa, Eleonora de Toledo, adquirieron el palacio de la quiebra familia mercante Pitti en 1549 como residencia oficial de los Medici; fue ampliada y embellecida sustancialmente a lo largo de los siglos.
Eleonora de Toledo fue hija del duque Cosimo I.