De Graffenried fæddist í París, sonur svissneska barónsins Leo de Graffenried og bandarísku eiginkonu hans, Irma Stern. Hann hóf keppnisferil sinn árið 1936 og keyrði eigin Maserati voiturette. Nokkrir af eftirminnilegustu árangrunum hans komu á heimabrautinni hans: Áskorunarsæta, steypt, götubrautin í Bremgarten nálægt Bern. Hann vann breska Grand Prix árið 1949, ári áður en heimsmeistaratitill FIA hófst. Á því fyrsta ári keppti de Graffenried í fjórum af sjö keppnum tímabilsins, með misjöfnum árangri. Hann hélt áfram að keyra í einstaka keppnum næstu sex árin, með besta endingu sína sem fjórða sæti á
Belgíska Grand Prix árið 1953.