V roce 1857 Graham odmítl diplomatické pokyny lorda Palmerstona, když bombardoval Canton poté, co čínské úřady zabavily loď Lorcha "Arrow"
" Navzdory nepopularitě tohoto rozhodnutí byl ve volbách v Carlisle navrácen. Nicméně, Peelite strana byla rozptýlená, na všechny záměry, že to už nebylo. V roce 1859 znovu kandidoval na Carlisle, kde se svým synovcem jejich společná volba šla proti obecnému trendu a vrátila dva liberální kandidáty. Později téhož roku se skupina 280 podobně smýšlejících členů, včetně Grahama a Lawsona, setkala v Willisových pokojích a založila Liberální stranu. Do britské politiky se vrátil dvoustranný systém.