Năm 74 TCN, Hán Chiêu Đế qua đời sau 13 năm cai trị, không có con nối dõi. Hoắc Quang lại chọn người cháu nội của Hán Vũ Đế, con trai Xương Ấp Ai vương là Lưu Hạ lên kế vị, nhưng Lưu Hạ lại là người dâm loạn vô đạo, khi về Trường An làm vua đã mang theo 200 thủ hạ, đến khi lên ngôi lại ăn chơi sa đọa, làm nhiều việc thất đức, không lo việc triều chính, quan hệ với các cung nữ của Hán Chiêu Đế, lấy xe của Thượng Quang hoàng thái hậu cho nô tỳ dùng, khiến các phép tắc trong triều bị đảo lộn. Chỉ trong 27 ngày, Lưu Hạ đã làm tất cả 1127 việc xấu. Hoắc Quang thấy vậy muốn phế đi, bèn dâng thư lên Thượng Quang hoàng thái hậu.