Ngày 7 tháng 2 năm 1980, ông thôi giữ chức Bộ trưởng Bộ Quốc phòng nhưng vẫn tiếp tục giữ chức Ủy viên Bộ Chính trị (đến năm 1982) và Phó Thủ tướng phụ trách Khoa học - Kỹ thuật. Người thay thế ông ở Bộ Quốc phòng là Đại tướng Văn Tiến Dũng - Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam. Văn Tiến Dũng là một trong những lãnh đạo quân đội lâu năm nhất cùng thời với Võ Nguyên Giáp, và cũng là chỉ huy trực tiếp của Chiến dịch Mùa Xuân năm 1975.Từ cuối thập niên 1970, Việt Nam đứng trước nguy cơ bùng nổ dân số. Tư tưởng cho rằng phải sinh đẻ thật nhiều để bù đắp sự tổn thất về người trong chiến tranh vẫn tồn tại dù chiến tranh đã kết thúc, cùng với hàng triệu nam thanh niên xuất ngũ trở về lập gia đình đã khiến dân số Việt Nam tăng nhanh. Đây là một vấn đề nghiêm trọng với Việt Nam lúc bấy giờ. Lần đầu tiên, các chỉ tiêu về dân số được đưa vào Nghị quyết Đại hội đại biểu toàn quốc của Đảng năm 1981. Nhận thức rõ tầm quan trọng cùng với sự khó khăn, phức tạp của công tác này, năm 1984, Hội đồng Bộ trưởng quyết định thành lập Ủy ban quốc gia dân số và sinh đẻ có kế hoạch với mục tiêu kiểm soát mức sinh tại Việt Nam. Võ Nguyên Giáp khi đó là Phó Thủ tướng phụ trách Khoa học - Kỹ thuật được phân công kiêm nhiệm chức chủ tịch ủy ban này (cùng với 3 Bộ trưởng các Bộ và Tổ chức khác làm phó cho ông).Trong văn hóa Việt Nam khi đó, chuyện sinh đẻ bị coi là chuyện tế nhị của riêng phụ nữ, việc đàn ông tham gia phụ trách công tác này bị nhiều người Việt Nam khi đó coi là "mất thể diện". Cũng vì thế mà có những dư luận khi đó đồn thổi rằng các lãnh đạo khác "ghen tị" với tài năng và công lao của Võ Nguyên Giáp nên đã chuyển ông sang làm phụ trách ủy ban sinh đẻ có kế hoạch nhằm "hạ uy tín" ông. Lời đồn thổi đó lan truyền dai dẳng tới hàng chục năm sau, có người còn làm bài vè để châm biếm chuyện này. Nhưng thực ra những lời đồn thổi này là không có căn cứ. Dư luận khi ấy chỉ chú ý đến Tướng Giáp mà bỏ qua một loạt các thành viên quan trọng khác như 01 Phó Thủ tướng, 10 Bộ trưởng, lãnh đạo các ban ngành cũng tham gia ủy ban này. Ngoài ra, không chỉ Đại tướng Võ Nguyên Giáp mà cả hai Thủ tướng khác của Việt Nam là Phạm Văn Đồng và Võ Văn Kiệt cũng từng phụ trách công tác sinh đẻ kế hoạch này (Phạm Văn Đồng phụ trách giai đoạn 1961-1975, Võ Văn Kiệt phụ trách giai đoạn 1987-1991, ngay sau Võ Nguyên Giáp). Việc có tới 2 thủ tướng trực tiếp phụ trách cho thấy tầm quan trọng của công tác kế hoạch hóa gia đình khi đó.
Ngày 7 tháng 2 năm 1980, ông thôi giữ chức Bộ trưởng Bộ Quốc phòng nhưng vẫn tiếp tục giữ chức Ủy viên Bộ Chính trị (đến năm 1982) và Phó Thủ tướng phụ trách Khoa học - Kỹ thuật. Tư tưởng cho rằng phải sinh đẻ thật nhiều để bù đắp sự tổn thất về người trong chiến tranh vẫn tồn tại dù chiến tranh đã kết thúc, cùng với hàng triệu nam thanh niên xuất ngũ trở về lập gia đình đã khiến dân số Việt Nam tăng nhanh.