Faðir hans, Kay, er hvítur Bandaríkjamaður sem var póstmaður hjá bandaríska póstþjónustunni. Faðir Cole yfirgaf síðar fjölskylduna á unglingsárum hans. Þegar Cole var átta mánaða gamall flutti móðir hans með honum og eldri bróður hans til Bandaríkjanna, til Fayetteville í Norður-Karólínu. Cole ólst upp í fjölþjóðlegu umhverfi, og þegar hann var spurður um hversu náið þjóðerni hans hefur áhrif á hann, sagði Cole: "Ég get auðkennt hvít fólk, því ég þekki móður mína, hennar hlið fjölskyldunnar, sem ég elska.
St. John's háskóli