He continued to serve in the cabinet until Pitt's death in 1806—from 1801 to 1805 as Lord President of the Council and then as a Minister without Portfolio.
Er gehörte dem Kabinett bis zu Pitts Tod 1806 an – von 1801 bis 1805 als Lord President of the Council, danach als Minister ohne Geschäftsbereich.