Foi casado com Edite Paraíso Pimenta da Veiga, com quem teve 4 filhos, entre eles Pimenta da Veiga, que foi deputado federal entre 1977 e 1988 (voltando para um curto período em 1999), prefeito de Belo Horizonte entre 1989 e 1990 e Ministro das Comunicações no segundo mandato de Fernando Henrique Cardoso.