Fundada en 1849, Whittlesea fue un puesto militar creado para proteger a los colonos blancos durante la Guerra Fronteriza
de 1850 a 1853. La ciudad recibió su nombre por Whittlesea en Cambridgeshire, lugar de nacimiento de Sir Harry Smith (1787-1860), gobernador de la Colonia del Cabo de 1847 a 1852. Un oficial británico fortificó cinco casas durante la Guerra de Mlanjeni (1850 a 1853), cuando los Xhosas sitiaron el asentamiento. Uno de ellos, que ahora forma parte del complejo de oficinas de correos, aún está en pie. Entre 1948 y 1994, en el apogeo del régimen de apartheid en Sudáfrica, Whittlesea perteneció al antiguo Ciskei, un bantustán / patria establecido en 1961 bajo la Ley de Promoción del Autogobierno de 1959. Hasta 1994, no había una organización política formal en Whittlesea. El Departamento de Asuntos Internos facilitó las decisiones sobre el uso de la tierra, los servicios y las tarifas en los municipios a través de los administradores de los municipios. Después de las primeras elecciones democráticas de Sudáfrica, Whittlesea fue gobernada por un consejo. Hoy en día, la ciudad está bajo el Municipio Local de Enoch Mgijima, que cubre áreas como Tarkastad y Queenstown.