V srpnu 1945 byl Brown jmenován zástupcem náčelníka štábu 6. armády pod velením generála Waltera Kruegera. Jako zkušený štábní důstojník se podílel na plánování operace Downfall, plánované invaze do Japonska. Nicméně
Japonské impérium se 2. září 1945 vzdalo a operace byla zrušena. Brown byl vyznamenán medailí Bronzové hvězdy za svou účast na plánování. V této funkci se také podílel na okupaci Japonska.