In 2001 he was part of the "no campaign" which successfully campaigned against the introduction of mayors in Birmingham, whilst in 2006 and 2007 his relationship with David Cameron was reportedly strained as Whitby was identified as an opponent of the Conservative policy of directly elected mayors running large cities in England.
2001 war er Teil einer Nein-Kampagne, welche sich erfolgreich gegen die Einführung von Bürgermeistern in Birmingham einsetzte, während 2006 und 2007 seine Beziehung zu David Cameron angespannt gewesen sei, da Whitby als Gegner der konservativen Politik der direkt gewählten Bürgermeister für die Leitung von großen Städten in England widersprach.