17年7月、自衛隊による南スーダン国連平和維持活動(PKO)派遣部隊の日報を巡る問題の責任を取り、防衛相を辞任した。19年9月から党幹事長代行を務める。12月19日、福岡市のホテルニューオータニ博多で開かれた毎日・世論フォーラムで、約130人を前に「伝統と創造」をテーマに講演した。2020年度税制改正大綱で、自らが主導して盛り込まれた「寡婦(夫)控除」の「未婚の一人親」世帯への対象拡大に触れ、「自民党に欠けているのは『多様性』。伝統と国柄を守りつつ、変えるべきものは変え、多様性も認めることで、世界から尊敬される」と訴えた。一人親世帯への支援について、「伝統とか保守ではなく、憲法14条の法の下の平等から、差別する合理的な理由がないと思った」と強調した。防衛大臣を辞めてから、女性活躍の問題や未婚の一人親の税制に取り組んできた。税調では未婚の一人親の税制の問題を、女性の国会議員、自民党の国会議員とともに頑張り、成し遂げた。結婚して夫を亡くした人、それから結婚して離婚した人は所得税や住民税で寡婦控除という控除を受けられる。未婚の一人親、シングルマザー、シングルファーザーには実は控除はなかった。いうと、自民党の伝統的な家族観、保守的な考え方からして、結婚もしないで子供を産んで育てている人を援助したら、そういう人を増やすじゃないか。日本の麗しき伝統的な家族観に反する、と。私はおかしなことだと思った。一人で生んで一人で育てている人、どんなに大変かと。平等に支援できないのかと。伝統的家族とか、そんなことを持ち出す人って、結局は子育てしたこともないような、石頭のおじさんに違いないと思った。