En 1857, Graham opúxose á diplomacia de Lord Palmerston cando bombardeou Cantón despois de que as autoridades chinesas tomasen o Lorcha "Arrow"
" A pesar da impopularidade desta decisión, foi reelecto nas eleccións de Carlisle. Con todo, o partido Peelite fora derrotado, para todos os intentos xa non era máis. En 1859 volveu competir en Carlisle, onde xunto co seu sobriño a súa elección conxunta foi en contra da tendencia xeral e devolveu a dous candidatos liberais. Máis tarde ese ano un grupo de 280 membros de ideas afíns, incluíndo Graham e Lawson, reuníronse en Willis's Rooms para formar o Partido Liberal. Un sistema bipartidista volveu á política británica.