Henry lapsepõlv möödus Rooside sõja keerises. Tema onu Jasper Tudor pooldas Lancastereid ning kuulutati seetõttu 1461. aastal, Edward IV troonile tõusmise järel lindpriiks. Nii põgenes ta koos noore Henryga Walesi ning varjas end seal tükk aega mägedes. 1468. aastal langes Henry aga kuninga kätte vangi, kuid teda koheldi küllaltki hästi. 1471. aastal vabastas korraks taas troonile saanud Henry VI ta vangistusest, kuid peagi langes troon taas Edward IV kätte. Henry ja ta onu põgenesid taas Walesi ning mõne aja pärast Bretagnesse, kus hertsog François II nad hästi vastu võttis.