Dufay testamendi kohaselt oli ta sündinud Beerselis Brüsseli lähedal. Kaudsete tõendite järgi oli ta väidetavasti Marie Du Fayt nimelise naise ja tundmatu preestri vallaslaps[1], kuigi see on tänaseni tõestamata.[2] Marie läks koos lapseeas pojaga elama Cambraisse oma sugulase juurde, kes oli sealses kirikus kanoonik. Dufay muusikalised anded avastati varakult ning kirik võimaldas talle põhjaliku muusikalise hariduse. Ta õppis 1409. aasta suvel Rogier de Hesdini käe all ning oli 1409-1412 kooripoiss. Nende aastate vältel õppis ta Nicolas Malini käe all. Tema andekus pidi olema muljetavaldav, sest talle anti 1411. aastal omaenda eksemplar Villedieu Alexanderi "Doctrinale"-st (ladina keele värssgrammatika), mis oli sellise vanuse kohta väga ebatavaline. 1414. aastal sai ta 16aastaselt kaplaniks Cambrai külje all asuvas St. Géry-s. Hiljem samal aastal läks ta arvatavasti Konstanzi kirikukogule ning naasis sealt 1418. aastal Cambraisse. 1418. aasta novembrist kuni 1420. aastani oli ta Cambrais alamdiakon.