Sau khi chiếm được Bành Thành, Hán vương không chú ý phòng thủ, sa vào hưởng thụ. Hạng Vũ nghe tin, đem 3 vạn quân từ đất Tề trở về đánh Bành Thành, đại phá quân Hán. Cha ông là Thái công cùng vợ Lã Trĩ bị quân Sở bắt. Hán vương bị quân Sở vây bọc, may lúc đó có trận gió thổi cát bụi mù mịt, ông bèn nhân đó chạy thoát ra khỏi vòng vây. Ông được Hạ Hầu Anh đánh xe chạy trốn, bị quân Sở đuổi phía sau. Giữa đường gặp con trai Lưu Doanh cùng con gái. Sợ xe nặng đi chậm, Lưu Bang đẩy hai con nhỏ ra khỏi xe. Hạ Hầu Anh vội nhảy xuống bế lên. Lưu Bang thấy quân Sở đuổi gần lại đẩy con xuống. Cứ như vậy 5 lần nhưng Hạ Hầu Anh đều xuống cứu hai con ông, cuối cùng cả bốn người đi thoát.
Sau khi chiếm được Bành Thành, Hán vương không chú ý phòng thủ, sa vào hưởng thụ. Cứ như vậy 5 lần nhưng Hạ Hầu Anh đều xuống cứu hai con ông, cuối cùng cả bốn người đi thoát.