Durante agosto de 1945, Brown foi nomeado subxefe de Estado Maior do Sexto Exército baixo o mando do xeneral Walter Krueger. Como oficial experimentado, participou na planificación da Operación Downfall, a invasión planeada de Xapón. Con todo, o Imperio do Xapón
Rendiuse o 2 de setembro de 1945, e a operación foi cancelada. Brown foi condecorado coa Medalla da Estrela de Bronce pola súa participación na planificación. Mentres servía neste cargo, tamén participou na Ocupación do Xapón.