A Rózsák háborúja alatt, Richard, York hercege elfoglalta a várat, és egyik fő erődítményévé tette. A Lancastriák 1459-ben elfoglalták Ludlow-t.
A Ludford-híd megbukott, de a yorkisták 1461-ben elfoglalták Angliát. A kastély a korona tulajdonává vált, Richard fia, IV. Edwardé lett a tulajdonos. A város Edward uralkodása alatt nőtte ki magát, és boroughként lett beépítve, és képviselőket kezdett küldeni a Parlamentbe. Edward 1472-ben megalapította a Wales és a Marche-i Tanácsot, Ludlow-ban, és elküldte a fiát, Wales hercegét, hogy ott éljen, mint a tanács névleges (csak fiatal fiú) vezetője. Ludlowban hallotta a fiatal herceg az apja haláláról szóló hírt 1483-ban, és ő maga is V. Edward angol királynak nyilvánították.