Cole ngalami musim sing frustasi ing musim 2003-04, nalika Rovers mlebu ing babak paling ngisor Liga Premier, dadi nomer 15. Dheweke nyetak 11 gol nanging hubungane karo manajer Graeme Souness tekan ngisor sawise Cole nglaporake dheweke menyang Asosiasi Pemain Sepakbola Profesional ("PFA") sing nuduh dheweke dianggep ora adil. Cole damel 37 gol ing 100 penampilan ing kabeh kompetisi Blackburn.