Il nonno del compositore, Luigi IV, era protettore del poeta Bernardo Tasso, padre di Torquato. Il padre, Fabrizio, aveva al suo seguito uno stuolo di musici: Giovanni de Macque, probabilmente maestro di Carlo, dedicò al principe il suo "Secondo libro di madrigali in sei parti" nel 1589. Il compositore Giovan Leonardo Pocaterra offrì inoltre, nel 1585, a Carlo, il suo "Settimo libro dei madrigali" testimoniando nella prefazione di essere in "debito" con Fabrizio.