Gia đình Despenser, đặc biệt là Hugh Despenser trẻ, trở thành những người bạn thân và quân sư cho Edward, nhưng vào năm 1321, Lancaster và các nam tước chiếm trang viên của nhà Despenser và ép buộc nhà vua phải lưu đày họ. Để đáp lại, Edward đã lãnh đạo chiến dịch quân sự ngắn, bắt giữ và hành quyết Lancaster. Edward và nhà Despensers tăng cường quyền lực của họ, bãi bỏ cải cách 1311, hành quyết kẻ thù của họ và tịch thu nhiều tài sản. Nhận thấy không thể chiến thắng ở Scotland, Edward cuối cùng phải ký lệnh hưu chiến với Robert. Phản đối chế độ ngày càng hà khắc, nhân dịp Isabella được gửi đến Pháp để đàm phán hiệp ước hòa bình năm 1325, bà quay lưng lại với Edward và từ chối trở về. Isabella lập liên minh với Roger Mortimer đang bị lưu đày, và xâm lược Anh bằng một đội quân nhỏ năm 1326. Vương quyền của Edward sụp đổ và ông đào tẩu sang xứ Wales, để rồi bị bắt vào tháng 11 cùng năm. Edward buộc phải thoái vị vua vào tháng 1 năm 1327 và truyền ngôi cho người con trai 14 tuổi, Edward III, và ông mất ở Lâu đài Berkeley ngày 21 tháng 9, rất có thể là bị các hiệp sĩ của vương triều mới ám sát.