Después de la guerra, Mackay estudió física en la Universidad de Cambridge con Ernest Rutherford antes de regresar a Australia y su antiguo trabajo como profesor en la Universidad de Sydney. De 1933 a 1940 fue director de la Escuela Cranbrook, Sydney. Permaneció en la milicia entre las guerras, y fue un general mayor cuando estalló la Segunda Guerra Mundial. Fue seleccionado para comandar la 6a División en 1940, y la condujo a través de las primeras batallas del Ejército australiano de la guerra. Cualquier duda sobre su capacidad pronto desapareció con el compromiso de la división con la Campaña del Desierto Occidental. Durante la Batalla de Bardia
En enero de 1941, la 6ta División capturó la ciudad fortificada junto con 36.000 prisioneros italianos. En la Batalla de Grecia, se convirtió en el único general australiano en enfrentarse a la "Waffen-SS" en batalla. Sufrió una serie de reveses en Grecia, pero impresionó a las tropas bajo su mando con su coraje bajo fuego. Fue llamado de vuelta a Australia en 1941 para servir como Oficial General Comandante de las Fuerzas del Hogar. El 6 de abril de 1942, asumió el mando del Segundo Ejército. Durante 1943 comandó dos veces la Fuerza de Nueva Guinea en los combates de la campaña de Nueva Guinea. Su servicio activo terminó con su nombramiento como Alto Comisionado de la India en noviembre de 1943.