In augustus 1945 werd Brown benoemd tot adjunct-stafchef van het zesde leger onder generaal Walter Krueger. Als ervaren stafofficier nam hij deel aan de planning van Operatie Downfall, de geplande invasie van Japan. Maar het Japanse Rijk
Op 2 september 1945 gaf hij zich over en de operatie werd afgelast. Brown werd onderscheiden met de Bronze Star Medal voor zijn deelname aan de planning. Terwijl hij in deze hoedanigheid diende, nam hij ook deel aan de bezetting van Japan.