Ngày 26 tháng 12 năm 1997 tại Hội nghị Trung ương lần thứ 4 Ban Chấp hành Trung ương Đảng (khoá VIII), Lê Khả Phiêu được bầu giữ chức vụ Tổng Bí thư Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam, không lâu sau khi Đỗ Mười quyết định hưu trí. Cùng ngày, ông cũng là Bí thư Quân ủy Trung ương. Trong nhiệm kỳ Tổng bí thư ông thực hiện chiến dịch chống tham nhũng và xây dựng chỉnh đốn lại Đảng. Trong diễn văn khai mạc Hội nghị Trung ương 6 lần 2 (Khóa 8), Lê Khả Phiêu đã phân tích thực trạng của Đảng:“Sau gần ba năm kể từ Đại hội Đảng lần thứ 8 năm 1996 đến nay, chúng ta đã phải thi hành kỷ luật 60.000 đảng viên, trong đó, khai trừ 11.000, có 1.108 người bị xử tù… Nếu Đảng không thấy được những yếu kém ấy, không tập trung, không kiên quyết khắc phục và ngăn ngừa có hiệu quả, thì rất có thể Đảng sẽ ngày càng tự biến chất, xa rời bản chất cách mạng của Đảng. Có phải nếu như chúng ta không khắc phục được, không ngăn ngừa được những yếu kém nói trên, nhất là về tư tưởng chính trị, về đạo đức, lối sống cũng như về nguyên tắc tập trung dân chủ trong Đảng, nó sẽ đưa đến nguy cơ tự hủy mình hay không?”, với Nghị quyết số 10-NQ/TƯ, ra đời năm 1999 nói về “Một số vấn đề cơ bản và cấp bách trong công tác xây dựng đảng hiện nay”, Bộ Chính trị, Ban chấp hành Trung ương mà đứng đầu là chính bản thân ông khi đó đã “xới lại, củng cố lại” nền móng công tác xây dựng, chỉnh đốn Đảng, nghị quyết này sau đó được thông qua vào ngày 2 tháng 2 năm 1999. Trong giai đoạn này ông Phiêu luôn truyền đi những thông điệp cứng rắn, mạnh mẽ góp phần xây dựng Đảng ngày càng trong sạch, vững mạnh. Nhưng ông cũng mắc phải một số sai lầm và chỉ trích như việc hỗ trợ và cất nhắc những người cùng quê Thanh Hóa vào những vị trí quan trọng và không muốn cải tổ doanh nghiệp nhà nước dù vậy ông đã góp phần chỉ đạo tiếp tục hoàn thiện thể chế kinh tế thị trường định hướng xã hội chủ nghĩa, giai đoạn ông làm Tổng bí thư đã xảy ra bất ổn ở Tây Nguyên vào năm 2001.
Ngày 26 tháng 12 năm 1997 tại Hội nghị Trung ương lần thứ 4 Ban Chấp hành Trung ương Đảng (khoá VIII), Lê Khả Phiêu được bầu giữ chức vụ Tổng Bí thư Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam, không lâu sau khi Đỗ Mười quyết định hưu trí. Trong diễn văn khai mạc Hội nghị Trung ương 6 lần 2 (Khóa 8), Lê Khả Phiêu đã phân tích thực trạng của Đảng:“Sau gần ba năm kể từ Đại hội Đảng lần thứ 8 năm 1996 đến nay, chúng ta đã phải thi hành kỷ luật 60.000 đảng viên, trong đó, khai trừ 11.000, có 1.108 người bị xử tù… Nếu Đảng không thấy được những yếu kém ấy, không tập trung, không kiên quyết khắc phục và ngăn ngừa có hiệu quả, thì rất có thể Đảng sẽ ngày càng tự biến chất, xa rời bản chất cách mạng của Đảng.