En 1857, Graham se opuso a la diplomacia de Lord Palmerston cuando bombardeó Cantón después de que las autoridades chinas se apoderaran de la "Flecha" de Lorcha.
"No es cierto. A pesar de la impopularidad de esta decisión, fue devuelto en las elecciones en Carlisle. Sin embargo, el grupo Peelite había sido derrotado, para toda intención que ya no era más. En 1859 volvió a disputar Carlisle, donde con su sobrino su elección conjunta fue en contra de la tendencia general y devolvió a dos candidatos liberales. Más tarde ese año, un grupo de 280 miembros afines, incluidos Graham y Lawson, se reunieron en Willis's Rooms para formar el Partido Liberal. Un sistema de dos partidos había regresado a la política británica.