Edward dự định là Isabella và con trai họ trở về nước Anh, nhưng thay vào đó bà vẫn ở Pháp và không cho thấy là có ý định quy trở lại. Cho đến năm 1322, hôn nhân của Edward và Isabella dườnng như là mĩ mãn, nhưng vào thời điểm hoàng hậu xuất ngoại đến Pháp năm 1325, thì nó đã xấu đi. Isabella có vẻ rất ghét Hugh Despenser trẻ, ít nhất không phải vì lời gièm của những phụ nữ có địa vị cao. Isabella lúng túng vì bà đã đào thoát khỏi quân đội Scotland ba lần trong cuộc hôn nhân với Edward, và bà đổ lỗi cho Hugh về sự kiện lần cuối năm 1322. Khi Edward ký hiệp ước ngừng bắn mới đấy với Robert the Bruce, ông bị thiệt thòi một loạt các gia đình quý tộc nắm giữ đất đai thuộc Scotland, bao gồm nhà Beaumonts, những người thân thiết với Isabella. Hoàng hậu cũng giận dữ về chuyện gia trang và đất đai của bà bị cầm giữ năm 1324. Cuối cùng, Edward cướp đi những đứa con của bà và đặt họ dưới sự giám hộ của vợ Hugh Despenser.