When Castlereagh resigned from the government in October, unwilling to serve under the new Prime Minister, Spencer Perceval, Robinson resigned with him.
עם התפטרותו של קסלרי מהממשלה באוקטובר, עקב חוסר רצונו לשרת תחת ראש הממשלה החדש, ספנסר פרסיבל, התפטר רובינסון יחד אתו.